Microdeck.tools يعمل بالكامل داخل المتصفح

حاسبة ذاكرة بطاقة الرسوميات للنماذج

جديد

قدّر ذاكرة بطاقة الرسوميات المطلوبة للنموذج اعتمادًا على أوزانه ودقتها وطول السياق وذاكرة KV. قارن الإعدادات قبل تجربة النموذج على جهازك.

يعمل بالكامل داخل المتصفح لا تُخزَّن بياناتك على الخادم نتائج فورية

هل وفّرت عليك هذه الأداة وقتًا؟ ساهم في صيانة Microdeck وإبقائه مجانيًا. الدعم اختياري ويبدأ من $3.

كيف تعمل الأداة؟

قدّر ذاكرة بطاقة الرسوميات المطلوبة للنموذج اعتمادًا على أوزانه ودقتها وطول السياق وذاكرة KV. قارن الإعدادات قبل تجربة النموذج على جهازك. يجمع التقدير ذاكرة الأوزان حسب عدد المعلمات ودقتها وذاكرة KV بحسب طول السياق، ثم يضيف هامش التشغيل المخصص. أدخل عدد معلمات النموذج ودرجة ضغط الأوزان وعدد رموز السياق. اضبط إعدادات ذاكرة KV وحجم الدفعة والمعاملات الإضافية لتقدير المكونات المؤثرة في ذاكرة بطاقة الرسوميات.

طريقة الاستخدام

1

أدخل عدد معلمات النموذج ودرجة ضغط الأوزان وعدد رموز السياق.

2

اضبط إعدادات ذاكرة KV وحجم الدفعة والمعاملات الإضافية لتقدير المكونات المؤثرة في ذاكرة بطاقة الرسوميات.

3

قارن إجمالي الذاكرة بذاكرة البطاقة المتاحة، واترك هامشًا لاختلاف مكتبة التشغيل والإعدادات الفعلية.

أهم الميزات

  • حساب ذاكرة الأوزان المضغوطة
  • تقدير ذاكرة KV
  • مقارنة طول السياق وحجم الدفعة
  • تقدير متطلبات وحدة الرسوميات

الطريقة والمعادلات

يجمع التقدير ذاكرة الأوزان حسب عدد المعلمات ودقتها وذاكرة KV بحسب طول السياق، ثم يضيف هامش التشغيل المخصص.

حالات الاستخدام

  • تقدير ما إذا كان يمكن لمحطة عمل منزلية تشغيل لاما 3.1 8B مع سياق 8K.
  • قارن إعدادات مخبأ KV لملخصين متوازيين للوثيقة.
  • قارن وحدة معالجة جينية واحدة ونموذج منقسم قبل استئجار مضيف استدلال.

أمثلة تطبيقية

Llama 3.1 8B بسياق 8K

المدخلات
Llama 3.1 8B، أوزان Q4_K_M وذاكرة KV بنوع FP16، عدد 8,192 رمزًا وتسلسل واحد وبطاقة 24 GB.
المخرجات
الإجمالي التقديري 6.5 GiB ومنها 1 GiB لذاكرة KV. تكفي البطاقة.

تتضاعف ذاكرة KV عند مضاعفة السياق مع ثبات الدقة وعدد التسلسلات.

Llama 3.1 70B على بطاقتين

المدخلات
Llama 3.1 70B، أوزان Q4_K_M وذاكرة KV بنوع FP16، عدد 8,192 رمزًا وتسلسل واحد وبطاقتان سعة كل منهما 24 GB.
المخرجات
الإجمالي التقديري 46.8 GiB. الذاكرة المتاحة غير كافية.

تعلن السعة التجارية بوحدة GB العشرية، ويخصم الحساب احتياطي التشغيل.

حدود الأداة

  • • يعتمد التقدير على إعدادات النموذج ومحرك التشغيل وطريقة توزيع الذاكرة.
  • • اترك مساحة إضافية للنظام والعروض المؤقتة وجرّب الإعداد الفعلي.

ملفاتك وخصوصيتك

تعالج أداة حاسبة ذاكرة بطاقة الرسوميات للنماذج ملفاتك ومدخلاتك على جهازك.

من دون رفع الملفات

يتولى متصفحك المعالجة من دون إرسال الملفات إلى خادم.

مدخلاتك تبقى خاصة

لا يسجل Microdeck النصوص أو الملفات التي تستخدمها في الأدوات. تحتاج الصفحة إلى اتصال بالإنترنت كي تُحمّل.

احفظ نتائجك

نزّل النتائج التي تريد الاحتفاظ بها أو انسخها قبل إغلاق علامة التبويب. تحفظ بعض الأدوات المسودات في متصفحك.

الأسئلة الشائعة

لماذا تزيد الذاكرة عند زيادة طول السياق؟

تخزن ذاكرة KV بيانات لكل رمز في السياق. تتغير المساحة مع عدد الرموز والدقة وعدد التسلسلات.

هل تكفي السعة المكتوبة على بطاقة الرسوميات إذا اقترب منها التقدير؟

اترك مساحة للنظام ومحرك التشغيل، وراجع الفرق بين وحدتي GB وGiB قبل مقارنة الرقمين.

هل يقلل ضغط الأوزان ذاكرة KV أيضًا؟

يمكن أن تُضبط دقة الأوزان ودقة KV كلٌّ على حدة؛ راجع إعدادات المحرك الفعلي.

أدوات ذات صلة

ادعم Microdeck

دعم اختياري يبدأ من $3 ومن دون حساب

اختر مبلغًا بالدولار الأمريكيالمبلغ المحدد$5

الحد الأدنى للدعم $3 بالدولار الأمريكي.

الدعم اختياري ويبدأ من $3. تفتح صفحة الدفع على Gumroad.