Microdeck.tools 100% ブラウザ完結

ローカルLLM向けVRAM必要量計算機

New

FP16・8ビット・4ビットと指定のコンテキスト長で言語モデルが必要とするVRAMを計算し、お使いのGPUに収まるか確認します。

100% ブラウザ完結 サーバー送信なし 即時処理

このツールは作業時間の短縮に役立ちましたか? Microdeckの無料運営と継続開発への応援(任意・$3〜)。

仕組みと内部処理

Model weights take parameters × bits per weight ÷ 8 bytes. The KV cache grows with context: 2 × layers × KV heads × head dimension × tokens × batch × bytes per value. The tool adds a runtime overhead of about 10% of the weights plus 0.5 GiB for CUDA context and activations, then compares the total with the VRAM you have.

使い方ステップ

1

Pick a preset model or choose custom and enter parameters, layers, KV heads and head dimension.

2

Choose the quantization (FP16, Q8, Q6, Q5, Q4 or Q3 style) and the KV cache precision.

3

Set the context length and batch size you plan to use.

4

Enter the VRAM per GPU and the number of GPUs to see whether the model fits and how much is left.

主な機能と特長

  • Presets for Llama 3.1, Mistral 7B, Qwen2.5 and Gemma 2 with their real layer and KV head counts
  • Separate lines for weights, KV cache and overhead so you see what to cut first
  • Fit check against common GPU sizes and multi-GPU setups
  • Runs locally; nothing you type is sent anywhere

計算ロジック・仕様・技術基準

Effective bits per weight for GGUF-style quantizations are averages (Q4_K_M is about 4.85 bits, Q8_0 about 8.5). Real files differ slightly by architecture.

主な利用シーン

  • Deciding whether a 24 GB card can run a 32B model at 4-bit with a long context.
  • Sizing a multi-GPU server before renting hardware.
  • Seeing how much memory a longer context window costs.

入出力の例・エッジケース

Llama 3.1 8B KV cache

入力
Llama 3.1 8B, 8,192 tokens, batch 1, FP16 cache
出力
1.00 GiB of KV cache

128 KiB per token: 2 × 32 layers × 8 KV heads × 128 dims × 2 bytes.

Weights of a 70B model

入力
70B parameters at 16 bits
出力
140 GB of weights

Far beyond one consumer GPU, which is why 70B is usually run at 4-bit or split across cards.

仕様上の制限・精度に関するご注意

  • • This is an estimate. Inference engines differ in overhead, and activation memory depends on the backend and batch shape.
  • • It does not model offloading to system RAM, tensor-parallel duplication or training memory (gradients and optimizer state).

ブラウザ内ローカル処理とプライバシー保護

一般的なWebツールは文書やメディアを外部サーバーへ送信します。ローカルLLM向けVRAM必要量計算機 はお使いのブラウザタブ内のみで完結します:

このタブ内で処理完結

入力テキストやファイルは端末内で処理され、外部の処理サーバーへアップロードされません。

入力データのログ保存なし

作業内容や貼り付けたデータを保存・記録しません(通常の静的配信CDNリクエストのみ発生します)。

タブ単位の一時メモリ管理

作業データはタブ内のメモリ上のみに保持され、リセットまたはタブを閉じると破棄されます。

よくある質問 (FAQ)

Why does the KV cache matter?

It grows linearly with context length and batch size. At very long contexts it can rival the weights, so a model that fits at 4K tokens may not fit at 128K.

Does a 4-bit model lose quality?

Usually a little. Q4_K_M and Q5 variants are widely used because the quality loss is small compared with the memory saved, but it depends on the model and task.

Can I run a model that is larger than my VRAM?

Some runtimes offload layers to system RAM, which works but is much slower. This tool only checks whether everything fits on the GPU.

関連するマイクロツール

Microdeckを応援する

完全任意 · $3から · アカウント登録不要

金額を選択 (USD):選択中:$5

最小金額は $3 USD です。

完全任意 · $3から · Gumroadの安全な決済ページが開きます。