حاسبة VRAM للنماذج اللغوية
قدّر حجم ذاكرة البطاقة الرسومية أو ذاكرة النظام التي يحتاجها نموذج لغوي كبير لتشغيله محليًا. اختر نموذجًا جاهزًا أو أدخل حجمه، ثم اختر التكميم وطول السياق، لتطّلع على الأوزان وذاكرة KV المؤقتة وحمل التشغيل، مع بقاء كل الافتراضات ظاهرة وقابلة للتعديل.
النتيجة
تقدير
أدخل عدد المعاملات لعرض التقدير.
- أوزان النموذج
- ذاكرة KV المؤقتة
- حمل التشغيل
- الإجمالي المقدَّر
- الموصى به (مع الهامش)
تتبع الأوزان وذاكرة KV المؤقتة صيغًا دقيقة تُطبَّق على أرقامك. أما البتات الفعلية لصيغة التكميم وحمل التشغيل والهامش فهي افتراضات: يعتمد الاستهلاك الفعلي على برنامج التشغيل وإصداره.
أمثلة
أمثلة محلولة (حمل التشغيل 1 GiB وذاكرة KV المؤقتة بدقة FP16):
| النموذج | التكميم · السياق | الأوزان | ذاكرة KV | الإجمالي |
|---|---|---|---|---|
| Llama 3.1 8B | Q4_K_M · 8,192 | 4.56 GiB | 1 GiB | 6.56 GiB |
| Llama 3.1 70B | Q4_K_M · 8,192 | 39.88 GiB | 2.5 GiB | 43.38 GiB |
| Qwen2.5 7B Instruct | FP16 · 32,768 | 14.17 GiB | 1.75 GiB | 16.92 GiB |
جداول مرجعية: ذاكرة النماذج اللغوية بحسب النموذج والصيغة
يُقدَّر تخزين الأوزان بالصيغة: المعاملات × بتات الوزن ÷ 8؛ وتُضاف إليه ذاكرة KV المؤقتة وحمل التشغيل.
يفترض كلا الجدولين ما يلي: سياق من 8,192 رمز؛ عدد التسلسلات 1؛ دقة ذاكرة KV المؤقتة FP16؛ حمل تشغيل 1 GiB. ولا يتضمنان هامش الأمان: فهامش الأمان الافتراضي في الحاسبة 10%، لذا أضفه إن أردت رقمًا موصى به.
جميع القيم بوحدة GiB (كل GiB يساوي 1,073,741,824 بايت) بمنزلتين عشريتين. والنماذج المعروضة هي الإعدادات الجاهزة في الحاسبة.
| النموذج | FP16 | Q8_0 | Q4_K_M |
|---|---|---|---|
| Llama 3.1 8B | 14.90 | 7.92 | 4.56 |
| Llama 3.1 70B | 130.39 | 69.27 | 39.88 |
| Llama 3.1 405B | 754.37 | 400.80 | 230.76 |
| Qwen2.5 7B Instruct | 14.17 | 7.53 | 4.34 |
| Qwen2.5 14B Instruct | 27.38 | 14.55 | 8.38 |
| Qwen2.5 32B Instruct | 60.54 | 32.16 | 18.52 |
| Qwen3 8B | 15.27 | 8.11 | 4.67 |
لا يشمل ذاكرة KV المؤقتة ولا حمل التشغيل ولا التنشيطات ولا هامش الأمان.
| النموذج | ذاكرة KV المؤقتة | الإجمالي FP16 | الإجمالي Q8_0 | الإجمالي Q4_K_M |
|---|---|---|---|---|
| Llama 3.1 8B | 1.00 | 16.90 | 9.92 | 6.56 |
| Llama 3.1 70B | 2.50 | 133.89 | 72.77 | 43.38 |
| Llama 3.1 405B | 3.94 | 759.31 | 405.73 | 235.70 |
| Qwen2.5 7B Instruct | 0.44 | 15.61 | 8.97 | 5.77 |
| Qwen2.5 14B Instruct | 1.50 | 29.88 | 17.05 | 10.88 |
| Qwen2.5 32B Instruct | 2.00 | 63.54 | 35.16 | 21.52 |
| Qwen3 8B | 1.13 | 17.40 | 10.24 | 6.80 |
يشمل ذاكرة KV المؤقتة وحمل التشغيل المذكورين أعلاه. ولا يشمل هامش الأمان ولا ذروات التنشيطات ولا مخصصات برنامج التشغيل غير المنمذجة.
ما لا تخبرك به هذه الجداول
- هذه تقديرات مبنية على صيغ لا قياسات أداء. وقد لا تعمل في برنامج تشغيل بعينه إعدادات تتسع نظريًا.
- تعتمد أحجام Q8_0 وQ4_K_M على بتات الوزن الفعلية المنشورة لصيغ GGUF في llama.cpp، وقد قيست على نموذج واحد (Llama-3.1-8B)؛ وقد تختلف الملفات الفعلية.
- الإجماليات تقديرات قبل التوزيع الخاص ببرنامج التشغيل. فهي لا تعني أن كل الذاكرة تعمل كمجمّع واحد، ولا أن نموذجًا مدرجًا يتسع في معالج رسومي واحد؛ ولا يُنمذج نقل الطبقات ولا التوزيع على عدة معالجات.
- تعرض الجداول نماذج كثيفة. أما نماذج خليط الخبراء فتحتاج إلى العدد الكلي للمعاملات ومعالجة منفصلة لمكان تخزين الخبراء.
- قد تستخدم النماذج ذات انتباه النافذة المنزلقة أو الانتباه الكامن ذاكرة KV أقل بكثير من الصيغة القياسية المستخدمة هنا.
الصيغة والمنهجية
تجمع الحاسبة ثلاثة أجزاء:
الأوزان = المعاملات × البتات لكل وزن ÷ 8ذاكرة KV = 2 × الطبقات × رؤوس KV × بُعد الرأس × الرموز × البايتات لكل قيمة × التسلسلاتالإجمالي = الأوزان + ذاكرة KV + حمل التشغيلالموصى به = الإجمالي × (1 + الهامش ÷ 100)ما لا يغطيه هذا التقدير
- على نماذج مزيج الخبراء تحميل جميع الخبراء، فاستخدم إجمالي المعاملات لا المعاملات «النشطة».
- قد تستخدم النماذج ذات الانتباه الكامن متعدد الرؤوس أو النافذة المنزلقة أو الانتباه الهجين ذاكرة KV أقل بكثير من الصيغة القياسية.
- قد تحتاج معالجة الموجّه لوقت قصير إلى ذاكرة أكبر من التوليد المستقر، ويضيف كل برنامج تشغيل مخازنه المؤقتة الخاصة.
- يختلف GB (10^9 بايت) عن GiB (2^30 بايت) بنحو 7%: وعادةً تكون البطاقات والذاكرة المباعة على أنها «24 GB» بسعة 24 GiB.
المنهجية والمراجع
تدعم هذه المصادر الأولية الطرق التي تعتمد عليها هذه الأداة. لا يعني الاطلاع عليها التحقق من كل نتيجة تنتجها الحاسبة، والأرقام المدرجة بوصفها افتراضات هي من وضع ToolQuarter.
تُحسب الأوزان وذاكرة KV المؤقتة بعمليات حسابية على الأرقام التي تدخلها. أما حمل التشغيل وهامش الأمان فهما افتراضان من ToolQuarter، ويتوقف استهلاك الذاكرة الفعلي على برنامج التشغيل.
- llama.cpp: quantize README: مصدر بتات الوزن لصيغ التكميم GGUF (مثلًا Q4_K_M تساوي 4.8944)، وقد قيست على Llama-3.1-8B. وتختلف النماذج والملفات الأخرى. ()
- PagedAttention paper (arXiv:2309.06180v1): تعطي ذاكرة KV لكل رمز بالصيغة 2 (المفاتيح والقيم) × الحجم المخفي × الطبقات × البايتات لكل قيمة، مع مثال بحجم 800 كيلوبايت لكل رمز لنموذج 13B بدقة FP16. وتكتب هذه الأداة الناتج نفسه بعدد رؤوس KV وبُعد الرأس، فتشمل أيضًا النماذج التي تتشارك رؤوس KV. ()
- Mixtral of Experts paper (arXiv:2401.04088v1): تعرّف المعاملات الكلية والنشطة في نموذج خليط الخبراء: لكل رمز وصول إلى 47 مليار معامل لكنه يستخدم 13 مليارًا. ولا تتناول الورقة الذاكرة. ()
- llama.cpp: server README: توثّق --cpu-moe و--n-cpu-moe اللذين يُبقيان أوزان خليط الخبراء في ذاكرة المعالج المركزي بدل VRAM، و--gpu-layers وهو أقصى عدد من الطبقات المخزّنة في VRAM. ()
- NIST: Prefixes for binary multiples: يعرّف الجيبي بايت بأنه 2^30 بايت (1,073,741,824) والجيجابايت بأنه 10^9 بايت، ولهذا يختلف GB عن GiB بنحو 7%. ()
افتراضات ToolQuarter (بلا مصدر أولي):
- حمل التشغيل (1 GiB افتراضيًا) وهامش الأمان (10%) قاعدتان تقريبيتان من ToolQuarter وليسا رقمين من مصدر. ويتوقف الحمل الفعلي على برنامج التشغيل وإصداره، وقد تحتاج معالجة الطلب إلى ذاكرة أكبر لوقت قصير مقارنة بالتوليد المستقر؛ ولا تُنمذج ذاكرة التنشيطات.
- استخدام العدد الكلي للمعاملات مع نماذج خليط الخبراء استنتاج من ToolQuarter: يجب تخزين جميع الخبراء في مكان ما، لكن بعض برامج التشغيل تستطيع إبقاء أوزان الخبراء في ذاكرة النظام بدل ذاكرة VRAM (مثل خيار --cpu-moe في llama.cpp). وكون البطاقة المباعة بوصف «24 GB» تملك 24 GiB افتراض عملي: راجع مواصفات الشركة المصنّعة.
كيفية الاستخدام
- اختر نموذجًا جاهزًا أو أدخل عدد المعاملات بالمليارات.
- اختر التكميم وطول السياق الذي تنوي استخدامه.
- افتح «البنية» وأدخل الطبقات ورؤوس KV وبُعد الرأس (يملؤها النموذج الجاهز) لتضمين ذاكرة KV المؤقتة.
- عدّل افتراضات الحمل والهامش إن كنت تعرف برنامج التشغيل، ثم اقرأ الإجمالي.
الأسئلة الشائعة
كم ذاكرة VRAM أحتاج لتشغيل نموذج 8B؟
يعتمد ذلك على التكميم والسياق. فمثلًا مع Q4_K_M يحتاج نموذج 8B إلى نحو 4.6 GiB للأوزان؛ ومع سياق 8K (نحو 1 GiB من ذاكرة KV المؤقتة) وحمل تشغيل يقارب 1 GiB، خطّط لنحو 6.6 GiB، أو نحو 7.2 GiB مع هامش 10%. وأوزان FP16 وحدها تبلغ نحو 14.9 GiB.
لماذا يحتاج السياق الأطول إلى ذاكرة أكبر؟
تخزّن ذاكرة KV المؤقتة المفاتيح والقيم لكل رمز في السياق ولكل طبقة، لذلك تنمو خطيًا مع طول السياق وعدد التسلسلات المتزامنة. وقد تحتاج السياقات الطويلة إلى ذاكرة أكبر من الأوزان نفسها.
هل هذه النتيجة دقيقة؟
جزءا الأوزان وذاكرة KV المؤقتة حساب دقيق على الأرقام التي تدخلها. أما البتات الفعلية لكل وزن في صيغة التكميم وحمل التشغيل والهامش فهي تقديرات وافتراضات، فاعتبر الإجمالي رقمًا للتخطيط واترك بعض الهامش.
ما الفرق بين GB وGiB؟
يساوي 1 GB مليار بايت (1,000,000,000)، ويساوي 1 GiB 1,073,741,824 بايت. وتُحسب ذاكرة البطاقات الرسومية وذاكرة RAM عادةً بوحدة GiB حتى لو كُتب عليها GB، لذلك تعرض هذه الأداة الوحدتين وتقارن بوحدة GiB.
هل يحتاج نموذج مزيج الخبراء إلى ذاكرة أقل؟
ليس بالنسبة للأوزان: يجب تحميل جميع الخبراء، فتتبع الذاكرة إجمالي المعاملات. والمنخفض فقط هو الحساب لكل رمز.
آخر تحديث: