Microdeck.tools 100% 브라우저 실행

로컬 LLM VRAM 요구량 계산기

New

FP16, 8비트, 4비트와 지정한 컨텍스트 길이에서 언어 모델에 필요한 VRAM을 계산하고 GPU에 들어가는지 확인합니다.

100% 브라우저 실행 서버 업로드 없음 즉시 결과 확인

이 도구가 시간을 절약하는 데 도움이 되었나요? Microdeck을 무료로 유지하고 개선하는 데 힘을 보태주세요. 자율 참여 · $3부터.

작동 원리 및 구조

Model weights take parameters × bits per weight ÷ 8 bytes. The KV cache grows with context: 2 × layers × KV heads × head dimension × tokens × batch × bytes per value. The tool adds a runtime overhead of about 10% of the weights plus 0.5 GiB for CUDA context and activations, then compares the total with the VRAM you have.

단계별 사용 방법

1

Pick a preset model or choose custom and enter parameters, layers, KV heads and head dimension.

2

Choose the quantization (FP16, Q8, Q6, Q5, Q4 or Q3 style) and the KV cache precision.

3

Set the context length and batch size you plan to use.

4

Enter the VRAM per GPU and the number of GPUs to see whether the model fits and how much is left.

주요 기능 및 장점

  • Presets for Llama 3.1, Mistral 7B, Qwen2.5 and Gemma 2 with their real layer and KV head counts
  • Separate lines for weights, KV cache and overhead so you see what to cut first
  • Fit check against common GPU sizes and multi-GPU setups
  • Runs locally; nothing you type is sent anywhere

계산 방식, 공식 및 기술 표준

Effective bits per weight for GGUF-style quantizations are averages (Q4_K_M is about 4.85 bits, Q8_0 about 8.5). Real files differ slightly by architecture.

실제 활용 사례

  • Deciding whether a 24 GB card can run a 32B model at 4-bit with a long context.
  • Sizing a multi-GPU server before renting hardware.
  • Seeing how much memory a longer context window costs.

입출력 예시 및 엣지 케이스

Llama 3.1 8B KV cache

입력
Llama 3.1 8B, 8,192 tokens, batch 1, FP16 cache
출력
1.00 GiB of KV cache

128 KiB per token: 2 × 32 layers × 8 KV heads × 128 dims × 2 bytes.

Weights of a 70B model

입력
70B parameters at 16 bits
출력
140 GB of weights

Far beyond one consumer GPU, which is why 70B is usually run at 4-bit or split across cards.

제한 사항 및 정확도 안내

  • • This is an estimate. Inference engines differ in overhead, and activation memory depends on the backend and batch shape.
  • • It does not model offloading to system RAM, tensor-parallel duplication or training memory (gradients and optimizer state).

브라우저 로컬 처리 및 개인정보 보호

일반 웹 변환기는 문서나 미디어 파일을 원격 서버에 업로드합니다. 로컬 LLM VRAM 요구량 계산기 도구는 현재 브라우저 탭 내부에서만 실행됩니다:

현재 탭에서 직접 처리

입력 텍스트와 파일은 외부 서버로 전송되지 않고 기기 내에서 로컬로 계산됩니다.

입력 데이터 로그 미보관

도구에 붙여넣은 파일이나 데이터를 서버에 기록하거나 저장하지 않습니다.

일시적 탭 메모리 수명주기

작업 결과는 브라우저 탭 메모리에만 유지되며 탭을 닫거나 초기화하면 즉시 해제됩니다.

자주 묻는 질문 (FAQ)

Why does the KV cache matter?

It grows linearly with context length and batch size. At very long contexts it can rival the weights, so a model that fits at 4K tokens may not fit at 128K.

Does a 4-bit model lose quality?

Usually a little. Q4_K_M and Q5 variants are widely used because the quality loss is small compared with the memory saved, but it depends on the model and task.

Can I run a model that is larger than my VRAM?

Some runtimes offload layers to system RAM, which works but is much slower. This tool only checks whether everything fits on the GPU.

관련 마이크로 도구 살펴보기

Microdeck 후원하기

100% 자율 후원 · $3부터 · 회원가입 불필요

금액 선택 (USD):선택 금액:$5

최소 후원 금액은 $3 USD입니다.

100% 자율 · $3부터 · Gumroad 안전 결제 창이 열립니다.