حاسبة حجم النموذج اللغوي والتكميم

أدخل عدد معاملات النموذج لترى حجم أوزانه في كل صيغة شائعة، من FP32 حتى Q2، بوحدتي GB وGiB، ومقدار ما يوفّره كل تكميم مقارنةً بـ FP16. وأضف عدد البتات لكل وزن الخاص بك لأي صيغة أخرى.

تتم المعالجة محليًا في متصفحك. لا يتم رفع بياناتك إلى خوادمنا.

مثلًا 8 لنموذج 8B. على نماذج مزيج الخبراء تحميل جميع معاملاتها.

يضيف صفًا لصيغة غير مدرجة، مثل 4.5.

النتيجة

تقدير

أدخل عدد المعاملات لعرض الأحجام.

حجم النموذج حسب الصيغة
الصيغةالبتات لكل وزنالحجم (GB)الحجم (GiB)مقارنةً بـ FP16
FP32323229.8+100%
FP16161614.90%
BF16161614.90%
Q8_0≈ 8.50088.57.92−46.9%
INT8887.45−50%
Q6_K≈ 6.56336.566.11−59%
Q5_K_M≈ 5.70365.75.31−64.4%
Q4_K_M≈ 4.89444.894.56−69.4%
Q3_K_M≈ 3.99643.72−75%
Q2_K≈ 3.15933.162.94−80.3%

الصيغ من Q8_0 إلى Q2_K هي صيغ GGUF: وبتاتها لكل وزن هي متوسطات النموذج كاملًا المنشورة في README الخاص بأداة quantize في llama.cpp (قيست على Llama-3.1-8B وتشمل الطبقات التي تحتفظ بدقة أعلى). وتختلف البتات الفعلية لكل وزن بحسب النموذج وإعدادات التكميم.

أمثلة

أمثلة محلولة (الأحجام بوحدة GiB):

المعاملاتFP16Q8_0Q4_K_M
7B13.046.933.99
8B14.97.924.56
70B130.3969.2739.88

الصيغة والمنهجية

حجم الأوزان هو:

الحجم بالبايت = المعاملات × البتات لكل وزن ÷ 8GB = البايتات ÷ 1,000,000,000GiB = البايتات ÷ 1,073,741,824التغيّر مقارنةً بـ FP16 = (البتات لكل وزن ÷ 16 − 1) × 100

عن الصيغ

  • يخزّن FP32 كل وزن في 32 بتًا؛ ويستخدم FP16 وBF16 ‏16 بتًا (ويحتفظ BF16 بالمدى العددي لـ FP32 بدقة أقل).
  • يخزّن INT8 أعدادًا صحيحة من 8 بتات؛ أما Q8_0 فهو صيغة GGUF بالكتل تخزّن أيضًا معامل مقياس لكل كتلة، لذلك يزيد قليلًا على 8 بتات.
  • الصيغ Q6_K وQ5_K_M وQ4_K_M وQ3_K_M وQ2_K هي تكميمات «K» في GGUF: بتات أقل لكل وزن وجودة أقل كلما انخفض الرقم.

ما لا يشمله هذا الحجم

  • يحتاج تشغيل النموذج أيضًا إلى ذاكرة لـ KV المؤقتة (التي تنمو مع طول السياق) ولبرنامج التشغيل: استخدم حاسبة VRAM للنماذج اللغوية لمعرفة الإجمالي.
  • تضيف الملفات الحقيقية بيانات وصفية وتخزينًا إضافيًا آخر، وتختلف البتات الفعلية لكل وزن بحسب النموذج وإعدادات التكميم، فاعتبر النتيجة تقديرًا. وأي هامش «ضمن بضع نقاط مئوية» تقدير من ToolQuarter لم يُتحقق منه، وقد يكون التباين الفعلي أكبر.
  • تخزّن نماذج مزيج الخبراء جميع الخبراء: استخدم إجمالي المعاملات.

المنهجية والمراجع

تدعم هذه المصادر الأولية الطرق التي تعتمد عليها هذه الأداة. لا يعني الاطلاع عليها التحقق من كل نتيجة تنتجها الحاسبة، والأرقام المدرجة بوصفها افتراضات هي من وضع ToolQuarter.

الحجم عملية حسابية بسيطة على عدد المعاملات. أما بتات الوزن في صيغ GGUF فمصدرها قياسات منشورة من llama.cpp.

  • llama.cpp: quantize README: مصدر بتات الوزن للصيغ Q8_0 وQ6_K وQ5_K_M وQ4_K_M وQ3_K_M وQ2_K (مثلًا Q4_K_M تساوي 4.8944). وهي متوسطات للملف كاملًا قيست على Llama-3.1-8B، ولهذا تختلف عن الرقم الوارد في الاسم. ()
  • PyTorch: Tensor Attributes: يعرّف الفاصلة العائمة بـ 32 بتًا، والفاصلة العائمة بـ 16 بتًا (1 بت إشارة و5 بتات للأس و10 للجزء الكسري)، وbfloat16 (1 و8 و7)، والعدد الصحيح بـ 8 بتات التي تقف خلف صفوف FP32 وFP16 وBF16 وINT8. ()

افتراضات ToolQuarter (بلا مصدر أولي):

  • الحجم = المعاملات × بتات الوزن ÷ 8 يقدّر تخزين الأوزان انطلاقًا من عدد المعاملات المُدخل. وتُحتسب أوزان التضمينات متى كانت جزءًا من ذلك العدد. وتستخدم FP32 وFP16 وBF16 وINT8 عرض البتات الاسمي لكل منها؛ ولا يحتسب التقدير بصورة منفصلة أي تخزين إضافي مثل مقاييس التكميم أو البيانات الوصفية للملف.
  • تختلف البتات الفعلية لكل وزن بحسب النموذج وإعدادات التكميم، وقد قاست llama.cpp نموذجًا واحدًا. وأي هامش «ضمن بضع نقاط مئوية» تقدير من ToolQuarter لم يُتحقق منه، وقد يكون التباين الفعلي أكبر. واستخدام العدد الكلي للمعاملات مع نماذج خليط الخبراء إرشاد من ToolQuarter ولم يُقرأ له مصدر.

كيفية الاستخدام

  1. أدخل عدد المعاملات بالمليارات (مثلًا 8 لنموذج 8B).
  2. يمكنك إضافة قيمة بتات مخصّصة لكل وزن لصيغة أخرى.
  3. اقرأ حجم الأوزان في كل صيغة، بوحدتي GB وGiB، ومقدار التوفير مقارنةً بـ FP16.
  4. استخدم حاسبة VRAM للنماذج اللغوية لإضافة ذاكرة KV المؤقتة وحمل التشغيل.

الأسئلة الشائعة

لماذا لا يساوي Q4_K_M أربعة بتات بالضبط لكل وزن؟

تخزّن تكميمات «K» في GGUF كتلًا صغيرة مع قيم مقياس وتُبقي بعض المصفوفات بدقة أعلى، لذلك يكون متوسط النموذج كاملًا أعلى مما يوحي به الاسم: نحو 4.89 بت لـ Q4_K_M في أرقام llama.cpp المنشورة.

هل حجم الملف هو نفسه الذاكرة التي أحتاجها؟

لا. يحتاج تشغيل النموذج أيضًا إلى ذاكرة لـ KV المؤقتة، وهي تنمو مع طول السياق، ولحمل برنامج التشغيل. استخدم حاسبة VRAM للنماذج اللغوية لمعرفة الإجمالي.

ما الفرق بين FP16 وBF16؟

كلاهما يستخدم 16 بتًا فحجمهما واحد. يحتفظ BF16 بالمدى العددي الواسع لـ FP32 بدقة أقل؛ أما FP16 فدقته أعلى لكن مداه أضيق.

هل أقارن بوحدة GB أم GiB مع قرصي أو بطاقتي الرسومية؟

تُذكر أحجام الأقراص والتنزيلات عادةً بوحدة GB، بينما تُحسب سعة البطاقات الرسومية وذاكرة RAM عادةً بوحدة GiB. تعرض هذه الأداة الاثنتين لتقارن بين قيمتين من النوع نفسه.

ما مدى دقة حجم ملف النموذج الحقيقي؟

هو تقريب: تضيف الملفات الحقيقية بيانات وصفية وتخزينًا إضافيًا آخر، وتختلف البتات الفعلية لكل وزن بحسب النموذج وإعدادات التكميم. وأي هامش «ضمن بضع نقاط مئوية» تقدير من ToolQuarter لم يُتحقق منه، وقد يكون التباين الفعلي أكبر.

آخر تحديث: