Nasıl çalışır?
Yerel bir dil modelini çalıştırmadan önce model boyutunu, ağırlık biçimini ve önbellek hassasiyetini seçin. Bağlam uzunluğunu, eşzamanlı dizi sayısını ve ekran kartı kapasitesini girip bileşenlerin ayrı ayrı ne kadar bellek kullanacağını inceleyin. Özellikle uzun bağlamlarda KV önbelleği önemli bir yer tutar. Ekrandaki sonuç bir kapasite tahminidir. Modeli çalıştıran yazılımın ve başka uygulamaların kullandığı bellek, ölçülen değeri değiştirebilir. Aynı ayarlarda bağlamı iki katına çıkarmak KV önbelleğini yaklaşık iki katına yükseltir.
Nasıl kullanılır?
Bir Model ön ayarı seçin veya Özel model altında mimari ayrıntılarını girin.
Ağırlık hassasiyetini ve KV önbellek hassasiyetini bağımsız olarak ayarlayın.
Çalıştırmayı planladığınız iş yükü için Bağlam uzunluğunu ve Eşzamanlı dizileri girin.
GPU belleğinizi ve GPU'ların sayısını girin. Arıza ve Max bağlamını uygun şekilde gözden geçirin.
Öne çıkan özellikler
- Llama 3.1, Qwen2.5, Mistral 7B ve Gemma 2 için ön ayarlar
- Ağırlıklar, KV önbellek ve çalışma zamanı yükü için ayrı tahminler
- Bağımsız ağırlık kontrolü ve KV önbellek hassasiyeti
- Ortak kartlar için uygun kontroller ve çoklu GPU kurulumlarını eşit olarak bölme
Yöntem ve formüller
Ağırlıklar yaklaşık parametre sayısı × bit/8 bayttır. KV önbelleği 2 × katman × KV başı × baş boyutu × token × dizi × değer başına bayt ile tahmin edilir. Çalışma alanı için ayrıca pay ayrılır.
Kullanım alanları
- Bir ev iş istasyonunun 8K bağlamı ile Llama 3.1 8B'yi çalıştırıp çalıştıramayacağını tahmin edin.
- İki paralel belge özeti için KV önbellek ayarlarını karşılaştırın.
- Bir çıkarım sunucusu kiralamadan önce tek bir GPU ve bölünmüş bir modeli karşılaştırın.
Uygulamalı örnekler
8.192 token bağlamda Llama 3.1 8B
Llama 3.1 8B, Q4_K_M ağırlık, FP16 önbellek, 8.192 token, bir dizi ve 24 GB kapasiteli tek GPU.
KV önbelleği 1 GiB, toplam 6,5 GiB. Belleğe sığar.
Diğer ayarlar sabitken bağlamı iki katına çıkarmak önbelleği de iki katına çıkarır.
İki kartta Llama 3.1 70B
Llama 3.1 70B, Q4_K_M ağırlık, FP16 önbellek, 8.192 token, bir dizi ve 24 GB kapasiteli iki GPU.
Yaklaşık 46,8 GiB gerekir. Ayrılan bellekle birlikte kapasite yetersizdir.
Kartın ilan edilen kapasitesi ondalık GB cinsindendir. Hesap ek bellek payı içerir.
Sınırlamalar
- • Çıkarım çalışma süreleri çalışma belleğinde farklılık gösterir. Tahminler, kartlar arasında eşit bir bölünme olduğunu ve kart başına ekstra yük atladığını varsayar.
- • Maksimum bağlam bellek tahminidir. Model mimarisi ve çalışma süresi daha düşük bir bağlam sınırı dayatabilir.
- • Eğitim ve sistem-hafıza boşaltma ayrı tahminler gerektirir.
Dosyalarınız ve gizliliğiniz
LLM ekran kartı bellek hesabı aracına verdiğiniz dosyalar ve bilgiler cihazınızda işlenir.
Tarayıcınız dosyaları bir işlem sunucusuna göndermeden işler.
Microdeck araca girdiğiniz metinleri ve dosyaları kaydetmez. Sayfanın yüklenmesi için internet bağlantısı kullanılır.
Sekmeyi kapatmadan önce saklamak istediğiniz sonuçları indirin veya kopyalayın. Bazı araçlar taslakları tarayıcınıza kaydeder.
Sık sorulan sorular
GPU belleği ne kadar daha uzun bir bağlam kullanır?
Aynı hassasiyet ve sıra sayımında, iki kat daha uzun bir bağlam önbellek belleğinin iki katı gerektirir. Ağırlık belleği sabit kalır.
Nominal 4 bitlik bir model neden parametre başına dört bitten fazla kullanır?
Nicel dosyalar ayrıca ölçeklendirme faktörleri gibi bilgileri de saklar. Bazı tensörler daha yüksek hassasiyet kullanabilir, bu nedenle Q4_K_M bu tahminde ağırlık başına yaklaşık 4.85 etkili bit kullanır.
46.8 GiB iş yükü iki 24 GB karta sığabilir mi?
İki kartta herhangi bir rezervden önce 48 ondalık GB bulunur. İkili GiB'de daha az kullanılabilir bellek vardır, bu nedenle bu örnek kısa düşer.