Microdeck.tools 100% Trên trình duyệt

Tính VRAM Cần Cho LLM Chạy Cục Bộ

New

Tính lượng VRAM mà một mô hình ngôn ngữ cần ở FP16, 8-bit hoặc 4-bit với độ dài ngữ cảnh cho trước, và xem GPU của bạn có đủ không.

100% Trên trình duyệt Không tải lên máy chủ Kết quả tức thì

Công cụ này có giúp bạn tiết kiệm thời gian không? Chung tay giữ Microdeck miễn phí và ổn định. Hoàn toàn tự nguyện · Từ $3.

Nguyên lý hoạt động

Trọng số mô hình chiếm số tham số × số bit ÷ 8 byte. KV cache tăng theo ngữ cảnh: 2 × số lớp × số KV head × kích thước head × số token × batch × số byte mỗi giá trị. Công cụ cộng thêm phần dư khoảng 10% trọng số cộng 0,5 GiB cho ngữ cảnh CUDA và activation, rồi so tổng với VRAM bạn có.

Hướng dẫn từng bước

1

Chọn mô hình có sẵn hoặc chọn tùy chỉnh và nhập số tham số, số lớp, số KV head, kích thước head.

2

Chọn kiểu lượng tử hóa (FP16, Q8, Q6, Q5, Q4, Q3) và độ chính xác của KV cache.

3

Nhập độ dài ngữ cảnh và batch dự định dùng.

4

Nhập VRAM mỗi GPU và số GPU để biết mô hình có vừa không và còn dư bao nhiêu.

Tính năng nổi bật & Hiệu năng

  • Có sẵn Llama 3.1, Mistral 7B, Qwen2.5, Gemma 2 với số lớp và KV head thực tế
  • Tách riêng trọng số, KV cache và phần dư để biết nên cắt khoản nào trước
  • Kiểm tra vừa/không vừa với các cỡ GPU phổ biến và nhiều GPU
  • Chạy cục bộ, không gửi dữ liệu nào đi

Phương pháp tính, Công thức & Tiêu chuẩn

Số bit hiệu dụng cho dạng GGUF là giá trị trung bình (Q4_K_M khoảng 4,85 bit, Q8_0 khoảng 8,5 bit). File thực tế lệch nhẹ tùy kiến trúc.

Tình huống sử dụng thực tế

  • Quyết định card 24 GB có chạy được mô hình 32B ở 4-bit với ngữ cảnh dài không.
  • Tính cấu hình nhiều GPU trước khi thuê máy.
  • Xem ngữ cảnh dài hơn tốn thêm bao nhiêu bộ nhớ.

Ví dụ minh họa & Trường hợp biên

Llama 3.1 8B KV cache

Đầu vào
Llama 3.1 8B, 8,192 tokens, batch 1, FP16 cache
Kết quả
1.00 GiB of KV cache

128 KiB per token: 2 × 32 layers × 8 KV heads × 128 dims × 2 bytes.

Weights of a 70B model

Đầu vào
70B parameters at 16 bits
Kết quả
140 GB of weights

Far beyond one consumer GPU, which is why 70B is usually run at 4-bit or split across cards.

Lưu ý về giới hạn & Độ chính xác

  • • Đây là ước tính. Mỗi engine suy luận có phần dư khác nhau, bộ nhớ activation phụ thuộc backend và kích thước batch.
  • • Không tính việc đẩy bớt sang RAM hệ thống, nhân bản khi chạy song song tensor hay bộ nhớ khi huấn luyện.

Xử lý trực tiếp trên trình duyệt & Bảo mật

Các trang chuyển đổi thông thường tải tài liệu, mã nguồn hoặc video của bạn lên máy chủ từ xa. Tính VRAM Cần Cho LLM Chạy Cục Bộ chạy hoàn toàn ngay trong tab trình duyệt của bạn:

Xử lý ngay tại tab này

Nội dung và tệp của bạn được tính toán ngay tại máy, không gửi lên bất kỳ máy chủ xử lý nào.

Không lưu nhật ký dữ liệu

Microdeck không ghi lại hay lưu trữ tệp và văn bản bạn dán vào công cụ.

Bộ nhớ tạm của trình duyệt

Kết quả làm việc chỉ nằm trong bộ nhớ tab hiện tại và tự giải phóng khi bạn đặt lại hoặc đóng tab.

Câu hỏi thường gặp (FAQ)

Vì sao KV cache quan trọng?

Nó tăng tuyến tính theo độ dài ngữ cảnh và batch. Ở ngữ cảnh rất dài, nó có thể ngang trọng số, nên mô hình vừa ở 4K token có thể không vừa ở 128K.

Mô hình 4-bit có giảm chất lượng không?

Thường giảm ít. Q4_K_M và Q5 được dùng rộng rãi vì mất mát nhỏ so với lượng bộ nhớ tiết kiệm, nhưng còn tùy mô hình và tác vụ.

Chạy mô hình lớn hơn VRAM được không?

Một số runtime đẩy bớt lớp sang RAM hệ thống, chạy được nhưng chậm hơn nhiều. Công cụ này chỉ kiểm tra xem toàn bộ có vừa trên GPU không.

Khám phá công cụ liên quan

Ủng hộ Microdeck

Hoàn toàn tự nguyện · Từ $3 · Không cần tài khoản

Chọn mức ủng hộ (USD):Đã chọn:$5

Mức ủng hộ tối thiểu là $3 USD.

Hoàn toàn tự nguyện · Từ $3 · Thanh toán qua Gumroad.