كيف تعمل الأداة؟
قدّر ذاكرة بطاقة الرسوميات المطلوبة للنموذج اعتمادًا على أوزانه ودقتها وطول السياق وذاكرة KV. قارن الإعدادات قبل تجربة النموذج على جهازك. يجمع التقدير ذاكرة الأوزان حسب عدد المعلمات ودقتها وذاكرة KV بحسب طول السياق، ثم يضيف هامش التشغيل المخصص. أدخل عدد معلمات النموذج ودرجة ضغط الأوزان وعدد رموز السياق. اضبط إعدادات ذاكرة KV وحجم الدفعة والمعاملات الإضافية لتقدير المكونات المؤثرة في ذاكرة بطاقة الرسوميات.
طريقة الاستخدام
أدخل عدد معلمات النموذج ودرجة ضغط الأوزان وعدد رموز السياق.
اضبط إعدادات ذاكرة KV وحجم الدفعة والمعاملات الإضافية لتقدير المكونات المؤثرة في ذاكرة بطاقة الرسوميات.
قارن إجمالي الذاكرة بذاكرة البطاقة المتاحة، واترك هامشًا لاختلاف مكتبة التشغيل والإعدادات الفعلية.
أهم الميزات
- حساب ذاكرة الأوزان المضغوطة
- تقدير ذاكرة KV
- مقارنة طول السياق وحجم الدفعة
- تقدير متطلبات وحدة الرسوميات
الطريقة والمعادلات
يجمع التقدير ذاكرة الأوزان حسب عدد المعلمات ودقتها وذاكرة KV بحسب طول السياق، ثم يضيف هامش التشغيل المخصص.
حالات الاستخدام
- تقدير ما إذا كان يمكن لمحطة عمل منزلية تشغيل لاما 3.1 8B مع سياق 8K.
- قارن إعدادات مخبأ KV لملخصين متوازيين للوثيقة.
- قارن وحدة معالجة جينية واحدة ونموذج منقسم قبل استئجار مضيف استدلال.
أمثلة تطبيقية
Llama 3.1 8B بسياق 8K
Llama 3.1 8B، أوزان Q4_K_M وذاكرة KV بنوع FP16، عدد 8,192 رمزًا وتسلسل واحد وبطاقة 24 GB.
الإجمالي التقديري 6.5 GiB ومنها 1 GiB لذاكرة KV. تكفي البطاقة.
تتضاعف ذاكرة KV عند مضاعفة السياق مع ثبات الدقة وعدد التسلسلات.
Llama 3.1 70B على بطاقتين
Llama 3.1 70B، أوزان Q4_K_M وذاكرة KV بنوع FP16، عدد 8,192 رمزًا وتسلسل واحد وبطاقتان سعة كل منهما 24 GB.
الإجمالي التقديري 46.8 GiB. الذاكرة المتاحة غير كافية.
تعلن السعة التجارية بوحدة GB العشرية، ويخصم الحساب احتياطي التشغيل.
حدود الأداة
- • يعتمد التقدير على إعدادات النموذج ومحرك التشغيل وطريقة توزيع الذاكرة.
- • اترك مساحة إضافية للنظام والعروض المؤقتة وجرّب الإعداد الفعلي.
ملفاتك وخصوصيتك
تعالج أداة حاسبة ذاكرة بطاقة الرسوميات للنماذج ملفاتك ومدخلاتك على جهازك.
يتولى متصفحك المعالجة من دون إرسال الملفات إلى خادم.
لا يسجل Microdeck النصوص أو الملفات التي تستخدمها في الأدوات. تحتاج الصفحة إلى اتصال بالإنترنت كي تُحمّل.
نزّل النتائج التي تريد الاحتفاظ بها أو انسخها قبل إغلاق علامة التبويب. تحفظ بعض الأدوات المسودات في متصفحك.
الأسئلة الشائعة
لماذا تزيد الذاكرة عند زيادة طول السياق؟
تخزن ذاكرة KV بيانات لكل رمز في السياق. تتغير المساحة مع عدد الرموز والدقة وعدد التسلسلات.
هل تكفي السعة المكتوبة على بطاقة الرسوميات إذا اقترب منها التقدير؟
اترك مساحة للنظام ومحرك التشغيل، وراجع الفرق بين وحدتي GB وGiB قبل مقارنة الرقمين.
هل يقلل ضغط الأوزان ذاكرة KV أيضًا؟
يمكن أن تُضبط دقة الأوزان ودقة KV كلٌّ على حدة؛ راجع إعدادات المحرك الفعلي.
أدوات ذات صلة
عداد رموز النماذج وحاسبة تكلفة API
قدّر عدد الرموز في مطالبة أو رد، وقارن تكاليف الإدخال والإخراج وفق الأسعار المرجعية للنماذج.
حاسبة وحدات البيانات وزمن النقل
حوّل بين البت والبايت ووحدات مثل MB وMiB وGB وGiB، ثم قدّر زمن نقل ملف من حجمه وسرعة الاتصال.
مولد Zod وPydantic من JSON
ألصق عينة JSON أو عدة عينات لاستنتاج بنية مشتركة.