Microdeck.tools 100 % im Browser

VRAM-Bedarf-Rechner für lokale LLMs

New

Berechnen Sie, wie viel VRAM ein Sprachmodell bei FP16, 8-Bit oder 4-Bit und gegebener Kontextlänge braucht und ob es auf Ihre GPU passt.

100 % im Browser Kein Server-Upload Sofort-Ergebnisse

Hat Ihnen dieses Tool Zeit gespart? Helfen Sie mit, Microdeck kostenlos und aktuell zu halten. Freiwillig · Ab $3.

So funktioniert es unter der Haube

Model weights take parameters × bits per weight ÷ 8 bytes. The KV cache grows with context: 2 × layers × KV heads × head dimension × tokens × batch × bytes per value. The tool adds a runtime overhead of about 10% of the weights plus 0.5 GiB for CUDA context and activations, then compares the total with the VRAM you have.

Schritt-für-Schritt-Anleitung

1

Pick a preset model or choose custom and enter parameters, layers, KV heads and head dimension.

2

Choose the quantization (FP16, Q8, Q6, Q5, Q4 or Q3 style) and the KV cache precision.

3

Set the context length and batch size you plan to use.

4

Enter the VRAM per GPU and the number of GPUs to see whether the model fits and how much is left.

Wichtige Funktionen & Vorteile

  • Presets for Llama 3.1, Mistral 7B, Qwen2.5 and Gemma 2 with their real layer and KV head counts
  • Separate lines for weights, KV cache and overhead so you see what to cut first
  • Fit check against common GPU sizes and multi-GPU setups
  • Runs locally; nothing you type is sent anywhere

Methodik, Formeln & technische Standards

Effective bits per weight for GGUF-style quantizations are averages (Q4_K_M is about 4.85 bits, Q8_0 about 8.5). Real files differ slightly by architecture.

Häufige Anwendungsfälle aus der Praxis

  • Deciding whether a 24 GB card can run a 32B model at 4-bit with a long context.
  • Sizing a multi-GPU server before renting hardware.
  • Seeing how much memory a longer context window costs.

Praxisbeispiele & Grenzfälle

Llama 3.1 8B KV cache

Eingabe
Llama 3.1 8B, 8,192 tokens, batch 1, FP16 cache
Ausgabe
1.00 GiB of KV cache

128 KiB per token: 2 × 32 layers × 8 KV heads × 128 dims × 2 bytes.

Weights of a 70B model

Eingabe
70B parameters at 16 bits
Ausgabe
140 GB of weights

Far beyond one consumer GPU, which is why 70B is usually run at 4-bit or split across cards.

Hinweise zu Grenzen & Genauigkeit

  • • This is an estimate. Inference engines differ in overhead, and activation memory depends on the backend and batch shape.
  • • It does not model offloading to system RAM, tensor-parallel duplication or training memory (gradients and optimizer state).

Lokale Verarbeitung im Browser & Datenschutz

Herkömmliche Online-Konverter laden Ihre Dokumente, Texte oder Mediendateien auf fremde Server. VRAM-Bedarf-Rechner für lokale LLMs läuft direkt in Ihrem Browser-Tab:

Verarbeitung in diesem Tab

Ihre Texte und Dateien werden lokal berechnet, ohne Inhalte an einen Verarbeitungsserver zu senden.

Keine Speicherung von Eingaben

Microdeck protokolliert oder speichert weder Ihre Dateien noch Texteingaben (normale CDN-Abrufe laden lediglich die statische Seite).

Flüchtiger Tab-Speicher

Arbeitsergebnisse bleiben ausschließlich im Arbeitsspeicher des Tabs und werden beim Zurücksetzen oder Schließen freigegeben.

Häufig gestellte Fragen (FAQ)

Why does the KV cache matter?

It grows linearly with context length and batch size. At very long contexts it can rival the weights, so a model that fits at 4K tokens may not fit at 128K.

Does a 4-bit model lose quality?

Usually a little. Q4_K_M and Q5 variants are widely used because the quality loss is small compared with the memory saved, but it depends on the model and task.

Can I run a model that is larger than my VRAM?

Some runtimes offload layers to system RAM, which works but is much slower. This tool only checks whether everything fits on the GPU.

Ähnliche Mikro-Tools entdecken

Microdeck unterstützen

Vollkommen freiwillig · Ab $3 · Kein Konto nötig

Betrag wählen (USD):Ausgewählt:$5

Der Mindestbetrag beträgt $3 USD.

Vollkommen freiwillig · Ab $3 · Checkout öffnet über Gumroad.