مخطط ذاكرة النموذج اللغوي على عدة بطاقات رسومية
خطّط لما إذا كان النموذج يتسع عبر عدة بطاقات رسومية. أدخل عدد البطاقات وذاكرة VRAM لكل منها وحجم النموذج والتكميم وذاكرة KV المؤقتة وطريقة التقسيم، لترى الذاكرة المجمّعة وما يجب أن تحمله كل بطاقة وكم بطاقة ستحتاج.
النتيجة
تقدير
أدخل عدد البطاقات وذاكرة VRAM لكل بطاقة وحجم النموذج للتخطيط.
| البطاقة | الذاكرة المطلوبة | نسبتها من VRAM |
|---|
الذاكرة المجمّعة ليست ضمانًا
- لا تعني ذاكرة VRAM المجمّعة سرعة خطية: تضيف البطاقات الإضافية ذاكرة، لكن الاتصال بينها (PCIe أو NVLink) كثيرًا ما يحدّ السرعة.
- يختلف الدعم بين الأطر: التقسيم بالطبقات مدعوم على نطاق واسع، أما التوازي بالموتّرات فيتوقف على المحرّك وغالبًا يتطلب أن يقسم عدد البطاقات عدد رؤوس الانتباه.
- تفترض الخطة بطاقات متطابقة وتقسيمًا متساويًا أو بطبقات كاملة. ولا تُنمذج البطاقات المختلطة ولا فقاعات خط الأنابيب ولا مخازن الإطار المؤقتة.
- هذه خطة للذاكرة فقط: لا تتنبأ بالسرعة ولا بدعم برنامج التشغيل لديك للنموذج.
أمثلة
أمثلة محلولة (Llama 3.1 وQ4_K_M وسياق 8K وذاكرة KV بدقة FP16 وحمل 1 GiB لكل بطاقة):
| البطاقات | النموذج | التقسيم | البطاقة الأكثر حملًا | النتيجة |
|---|---|---|---|---|
| 1 × 24 GiB | Llama 3.1 70B | بالطبقات | 43.38 GiB / 24 GiB | لا يتسع |
| 2 × 24 GiB | Llama 3.1 70B | بالطبقات | 22.19 GiB / 24 GiB | يتسع |
| 4 × 80 GiB | Llama 3.1 405B | بالموتّرات | 59.67 GiB / 80 GiB | يتسع |
الصيغة والمنهجية
يقسّم المخطط النموذج ويضيف حمل كل بطاقة الخاص:
الأوزان = المعاملات × البتات لكل وزن ÷ 8لكل بطاقة = (الأوزان + ذاكرة KV) × حصة النموذج على تلك البطاقة + حمل التشغيلالتقسيم بالطبقات: تحمل البطاقة الأكثر حملًا ⌈الطبقات ÷ البطاقات⌉ طبقة؛ التقسيم بالموتّرات: تحمل كل بطاقة 1 ÷ البطاقاتيتسع إذا كان ما يلزم لكل بطاقة ≤ VRAM لكل بطاقةللاطلاع على الأحجام المعتادة بحسب النموذج والصيغة، راجع جداول مرجع VRAM للنماذج اللغوية.
المنهجية والمراجع
تدعم هذه المصادر الأولية الطرق التي تعتمد عليها هذه الأداة. لا يعني الاطلاع عليها التحقق من كل نتيجة تنتجها الحاسبة، والأرقام المدرجة بوصفها افتراضات هي من وضع ToolQuarter.
يقسّم المخطط الأوزان وذاكرة KV المؤقتة بحسب طريقة التقسيم ويضيف حمل كل معالج رسومي. وتبيّن المصادر كيف تقسّم برامج التشغيل النماذج بين المعالجات؛ والذاكرة المجمّعة ليست مجمّعًا مشتركًا واحدًا، ولا تُقدَّر السرعة.
- llama.cpp: server README: توثّق أوضاع التقسيم في llama.cpp: layer (الافتراضي؛ يقسّم الطبقات وذاكرة KV بين المعالجات بنمط الأنبوب)، وrow (يقسّم الأوزان بحسب الصفوف مع معالج رئيسي يحمل النتائج الوسيطة وKV)، وtensor (تجريبي)، إضافة إلى --tensor-split لنسب غير متساوية. وتضع برامج التشغيل ذاكرة KV في أماكن مختلفة، لذلك فالتقسيم المتساوي المستخدم هنا تبسيط. ()
- vLLM: Parallelism and Scaling: تصف التوازي التنسوري لنموذج أكبر من معالج رسومي واحد لكنه يتسع في عقدة واحدة، والتوازي الأنبوبي الذي يقسّم بحسب الطبقات ويدعم التقسيمات غير المتساوية. وتنصح بالتوازي الأنبوبي حين لا تملك المعالجات NVLink بسبب حمل الاتصال. ()
- Megatron-LM paper (arXiv:1909.08053v4): تصف التوازي النموذجي داخل الطبقة (التنسوري)، حيث تُقسَّم كل طبقة بين المعالجات وتحتاج كل كتلة إلى عملية تجميع شامل بينها. وقد قيست كفاءة التوسّع البالغة 76% على 512 معالجًا في التدريب لا في الاستدلال: فهي تبيّن أن التوسّع ليس مجانيًا، لا ما سيحققه إعدادك. ()
- NIST: Prefixes for binary multiples: يعرّف الجيبي بايت بأنه 2^30 بايت (1,073,741,824) والجيجابايت بأنه 10^9 بايت، ولهذا يختلف GB عن GiB بنحو 7%. ()
افتراضات ToolQuarter (بلا مصدر أولي):
- معالجات رسومية متطابقة، وتقسيم تنسوري متساوٍ، وتوزيع طبقات كاملة في التقسيم بالطبقات، وحمل تشغيل واحد لكل معالج (نحو 0.5 إلى 1 GiB) هي افتراضات تبسيطية من ToolQuarter. ولا تُنمذج المعالجات المختلطة ولا فقاعات الأنبوب ولا مخازن الإطار المؤقتة ولا طريقة وضع كل برنامج تشغيل لذاكرة KV.
- الذاكرة المجمّعة ليست إلا مجموع ذاكرة المعالجات: فهي ليست مجمّعًا مشتركًا واحدًا، والخطة التي تتسع نظريًا لا تثبت أن برنامج التشغيل يدعم النموذج أو التقسيم، ولا تَعِد بأي سرعة. وكون التوازي التنسوري يحتاج عادةً إلى أن يقسم عدد المعالجات عدد رؤوس الانتباه مذكور في هذه الصفحة دون مصدر مقروء: راجع وثائق محرّكك.
كيفية الاستخدام
- أدخل عدد البطاقات الرسومية وذاكرة VRAM لكل منها بوحدة GiB.
- اختر نموذجًا جاهزًا أو أدخل معاملاته، واختر التكميم.
- أدخل ذاكرة KV المؤقتة (من حاسبة ذاكرة KV المؤقتة) واختر طريقة التقسيم؛ وأضف عدد الطبقات لتقسيم دقيق بالطبقات.
- اقرأ هل يتسع النموذج في البطاقة الأكثر حملًا، والتخصيص لكل بطاقة، وكم بطاقة ستحتاج.
الأسئلة الشائعة
هل تعمل بطاقتان سعة كل منهما 24 GiB كبطاقة واحدة سعتها 48 GiB؟
من حيث اتساع النموذج، جزئيًا فقط: إذا استطاع برنامج التشغيل تقسيم النموذج فإن الذاكرة تتجمّع، لكنها ليست مجمّعًا مشتركًا واحدًا، وتدفع كل بطاقة حملها الخاص، ولا يكون التقسيم متساويًا دائمًا. أما من حيث السرعة فلا: يضيف الاتصال بين البطاقات كلفة، ونادرًا ما يكون المكسب خطيًا.
ما الفرق بين التقسيم بالطبقات والتقسيم بالموتّرات؟
يمنح التقسيم بالطبقات كل بطاقة كتلة من الطبقات الكاملة ويمرّر البيانات من بطاقة إلى التي تليها؛ وهو مدعوم على نطاق واسع. أما التقسيم بالموتّرات فيوزّع كل طبقة على جميع البطاقات، وقد يكون أسرع مع اتصال سريع بينها، لكنه يتوقف على المحرّك وغالبًا يتطلب أن يقسم عدد البطاقات عدد رؤوس الانتباه.
لماذا تحتاج كل بطاقة إلى حملها الخاص؟
لكل بطاقة سياق تشغيل ومخازن حساب مؤقتة خاصة بها، لذلك يُدفع هذا الحمل مرة لكل بطاقة لا مرة واحدة إجمالًا.
هل يمكنني خلط بطاقات مختلفة؟
تسمح بذلك برامج تشغيل كثيرة، لكن هذا المخطط يفترض بطاقات متطابقة. ومع البطاقات المختلطة كثيرًا ما تحدّ أصغر بطاقة التقسيم المتساوي.
من أين أحصل على رقم ذاكرة KV المؤقتة؟
استخدم حاسبة ذاكرة KV المؤقتة مع بنية النموذج وطول السياق لديك، ثم أدخل هنا إجماليها.
آخر تحديث: