Microdeck.tools Tamamen tarayıcınızda

LLM ekran kartı bellek hesabı

Yeni

Yerel bir dil modelini çalıştırmadan önce model boyutunu, ağırlık biçimini ve önbellek hassasiyetini seçin. Model hacmi, bağlam ve kesinliğe göre ekran kartı belleğini tahmin edin.

Tamamen tarayıcınızda Sunucuda saklanmaz Anında sonuç

Bu araç size zaman kazandırdı mı? Microdeck’in ücretsiz kalmasına ve bakımına katkıda bulunun. Katkı isteğe bağlıdır · En az $3.

Nasıl çalışır?

Yerel bir dil modelini çalıştırmadan önce model boyutunu, ağırlık biçimini ve önbellek hassasiyetini seçin. Bağlam uzunluğunu, eşzamanlı dizi sayısını ve ekran kartı kapasitesini girip bileşenlerin ayrı ayrı ne kadar bellek kullanacağını inceleyin. Özellikle uzun bağlamlarda KV önbelleği önemli bir yer tutar. Ekrandaki sonuç bir kapasite tahminidir. Modeli çalıştıran yazılımın ve başka uygulamaların kullandığı bellek, ölçülen değeri değiştirebilir. Aynı ayarlarda bağlamı iki katına çıkarmak KV önbelleğini yaklaşık iki katına yükseltir.

Nasıl kullanılır?

1

Bir Model ön ayarı seçin veya Özel model altında mimari ayrıntılarını girin.

2

Ağırlık hassasiyetini ve KV önbellek hassasiyetini bağımsız olarak ayarlayın.

3

Çalıştırmayı planladığınız iş yükü için Bağlam uzunluğunu ve Eşzamanlı dizileri girin.

4

GPU belleğinizi ve GPU'ların sayısını girin. Arıza ve Max bağlamını uygun şekilde gözden geçirin.

Öne çıkan özellikler

  • Llama 3.1, Qwen2.5, Mistral 7B ve Gemma 2 için ön ayarlar
  • Ağırlıklar, KV önbellek ve çalışma zamanı yükü için ayrı tahminler
  • Bağımsız ağırlık kontrolü ve KV önbellek hassasiyeti
  • Ortak kartlar için uygun kontroller ve çoklu GPU kurulumlarını eşit olarak bölme

Yöntem ve formüller

Ağırlıklar yaklaşık parametre sayısı × bit/8 bayttır. KV önbelleği 2 × katman × KV başı × baş boyutu × token × dizi × değer başına bayt ile tahmin edilir. Çalışma alanı için ayrıca pay ayrılır.

Kullanım alanları

  • Bir ev iş istasyonunun 8K bağlamı ile Llama 3.1 8B'yi çalıştırıp çalıştıramayacağını tahmin edin.
  • İki paralel belge özeti için KV önbellek ayarlarını karşılaştırın.
  • Bir çıkarım sunucusu kiralamadan önce tek bir GPU ve bölünmüş bir modeli karşılaştırın.

Uygulamalı örnekler

8.192 token bağlamda Llama 3.1 8B

Girdi
Llama 3.1 8B, Q4_K_M ağırlık, FP16 önbellek, 8.192 token, bir dizi ve 24 GB kapasiteli tek GPU.
Çıktı
KV önbelleği 1 GiB, toplam 6,5 GiB. Belleğe sığar.

Diğer ayarlar sabitken bağlamı iki katına çıkarmak önbelleği de iki katına çıkarır.

İki kartta Llama 3.1 70B

Girdi
Llama 3.1 70B, Q4_K_M ağırlık, FP16 önbellek, 8.192 token, bir dizi ve 24 GB kapasiteli iki GPU.
Çıktı
Yaklaşık 46,8 GiB gerekir. Ayrılan bellekle birlikte kapasite yetersizdir.

Kartın ilan edilen kapasitesi ondalık GB cinsindendir. Hesap ek bellek payı içerir.

Sınırlamalar

  • • Çıkarım çalışma süreleri çalışma belleğinde farklılık gösterir. Tahminler, kartlar arasında eşit bir bölünme olduğunu ve kart başına ekstra yük atladığını varsayar.
  • • Maksimum bağlam bellek tahminidir. Model mimarisi ve çalışma süresi daha düşük bir bağlam sınırı dayatabilir.
  • • Eğitim ve sistem-hafıza boşaltma ayrı tahminler gerektirir.

Dosyalarınız ve gizliliğiniz

LLM ekran kartı bellek hesabı aracına verdiğiniz dosyalar ve bilgiler cihazınızda işlenir.

Dosya yüklemeden çalışır

Tarayıcınız dosyaları bir işlem sunucusuna göndermeden işler.

Girdileriniz gizli kalır

Microdeck araca girdiğiniz metinleri ve dosyaları kaydetmez. Sayfanın yüklenmesi için internet bağlantısı kullanılır.

Sonuçlarınızı kaydedin

Sekmeyi kapatmadan önce saklamak istediğiniz sonuçları indirin veya kopyalayın. Bazı araçlar taslakları tarayıcınıza kaydeder.

Sık sorulan sorular

GPU belleği ne kadar daha uzun bir bağlam kullanır?

Aynı hassasiyet ve sıra sayımında, iki kat daha uzun bir bağlam önbellek belleğinin iki katı gerektirir. Ağırlık belleği sabit kalır.

Nominal 4 bitlik bir model neden parametre başına dört bitten fazla kullanır?

Nicel dosyalar ayrıca ölçeklendirme faktörleri gibi bilgileri de saklar. Bazı tensörler daha yüksek hassasiyet kullanabilir, bu nedenle Q4_K_M bu tahminde ağırlık başına yaklaşık 4.85 etkili bit kullanır.

46.8 GiB iş yükü iki 24 GB karta sığabilir mi?

İki kartta herhangi bir rezervden önce 48 ondalık GB bulunur. İkili GiB'de daha az kullanılabilir bellek vardır, bu nedenle bu örnek kısa düşer.

İlgili araçları keşfedin

Microdeck’i destekleyin

İsteğe bağlı · En az $3 · Hesap gerekmez

Bir tutar seçin (USD)Seçilen tutar$5

En düşük destek tutarı $3 USD.

İsteğe bağlı · En az $3 · Ödeme sayfası Gumroad’da açılır.