Nguyên lý hoạt động
Trọng số mô hình chiếm số tham số × số bit ÷ 8 byte. KV cache tăng theo ngữ cảnh: 2 × số lớp × số KV head × kích thước head × số token × batch × số byte mỗi giá trị. Công cụ cộng thêm phần dư khoảng 10% trọng số cộng 0,5 GiB cho ngữ cảnh CUDA và activation, rồi so tổng với VRAM bạn có.
Hướng dẫn từng bước
Chọn mô hình có sẵn hoặc chọn tùy chỉnh và nhập số tham số, số lớp, số KV head, kích thước head.
Chọn kiểu lượng tử hóa (FP16, Q8, Q6, Q5, Q4, Q3) và độ chính xác của KV cache.
Nhập độ dài ngữ cảnh và batch dự định dùng.
Nhập VRAM mỗi GPU và số GPU để biết mô hình có vừa không và còn dư bao nhiêu.
Tính năng nổi bật & Hiệu năng
- Có sẵn Llama 3.1, Mistral 7B, Qwen2.5, Gemma 2 với số lớp và KV head thực tế
- Tách riêng trọng số, KV cache và phần dư để biết nên cắt khoản nào trước
- Kiểm tra vừa/không vừa với các cỡ GPU phổ biến và nhiều GPU
- Chạy cục bộ, không gửi dữ liệu nào đi
Phương pháp tính, Công thức & Tiêu chuẩn
Số bit hiệu dụng cho dạng GGUF là giá trị trung bình (Q4_K_M khoảng 4,85 bit, Q8_0 khoảng 8,5 bit). File thực tế lệch nhẹ tùy kiến trúc.
Tình huống sử dụng thực tế
- Quyết định card 24 GB có chạy được mô hình 32B ở 4-bit với ngữ cảnh dài không.
- Tính cấu hình nhiều GPU trước khi thuê máy.
- Xem ngữ cảnh dài hơn tốn thêm bao nhiêu bộ nhớ.
Ví dụ minh họa & Trường hợp biên
Llama 3.1 8B KV cache
Llama 3.1 8B, 8,192 tokens, batch 1, FP16 cache
1.00 GiB of KV cache
128 KiB per token: 2 × 32 layers × 8 KV heads × 128 dims × 2 bytes.
Weights of a 70B model
70B parameters at 16 bits
140 GB of weights
Far beyond one consumer GPU, which is why 70B is usually run at 4-bit or split across cards.
Lưu ý về giới hạn & Độ chính xác
- • Đây là ước tính. Mỗi engine suy luận có phần dư khác nhau, bộ nhớ activation phụ thuộc backend và kích thước batch.
- • Không tính việc đẩy bớt sang RAM hệ thống, nhân bản khi chạy song song tensor hay bộ nhớ khi huấn luyện.
Xử lý trực tiếp trên trình duyệt & Bảo mật
Các trang chuyển đổi thông thường tải tài liệu, mã nguồn hoặc video của bạn lên máy chủ từ xa. Tính VRAM Cần Cho LLM Chạy Cục Bộ chạy hoàn toàn ngay trong tab trình duyệt của bạn:
Nội dung và tệp của bạn được tính toán ngay tại máy, không gửi lên bất kỳ máy chủ xử lý nào.
Microdeck không ghi lại hay lưu trữ tệp và văn bản bạn dán vào công cụ.
Kết quả làm việc chỉ nằm trong bộ nhớ tab hiện tại và tự giải phóng khi bạn đặt lại hoặc đóng tab.
Câu hỏi thường gặp (FAQ)
Vì sao KV cache quan trọng?
Nó tăng tuyến tính theo độ dài ngữ cảnh và batch. Ở ngữ cảnh rất dài, nó có thể ngang trọng số, nên mô hình vừa ở 4K token có thể không vừa ở 128K.
Mô hình 4-bit có giảm chất lượng không?
Thường giảm ít. Q4_K_M và Q5 được dùng rộng rãi vì mất mát nhỏ so với lượng bộ nhớ tiết kiệm, nhưng còn tùy mô hình và tác vụ.
Chạy mô hình lớn hơn VRAM được không?
Một số runtime đẩy bớt lớp sang RAM hệ thống, chạy được nhưng chậm hơn nhiều. Công cụ này chỉ kiểm tra xem toàn bộ có vừa trên GPU không.
Khám phá công cụ liên quan
Đếm Token AI & Ước Tính Chi Phí LLM
Ước tính số token, chi phí API và dung lượng VRAM ngay trên trình duyệt, không gửi dữ liệu ra ngoài
Quy Đổi Dung Lượng (GB/GiB) & Tính Thời Gian Tải File
Đổi đồng thời Bytes, KB/KiB, MB/MiB, GB/GiB, TB/TiB, Bits và ước tính thời gian tải lên/tải xuống có tính hao hụt giao thức TCP
Chuyển JSON Sang Zod, Pydantic & JSON Schema
Tạo schema kiểm tra dữ liệu Zod, Pydantic và JSON Schema cho LLM ngay trên trình duyệt