هل يستطيع جهازي تشغيل هذا النموذج اللغوي؟
تحقّق مما إذا كان نموذج لغوي محلي يتسع في ذاكرتك. أدخل ذاكرة VRAM لبطاقتك الرسومية أو الذاكرة الموحّدة أو ذاكرة النظام، واختر نموذجًا وتكميمًا، لترى هل يتسع، وكم تبقّى أو نقص من الذاكرة، وأي صيغة أقل دقة أو نموذج أصغر يمكنك تجربته.
النتيجة
أدخل الذاكرة المتوفرة لديك وحجم النموذج للتحقق.
- الحاجة المقدَّرة
- الموصى به (مع الهامش)
- المتاح
- الفارق
هذا فحص للذاكرة فقط. لا يتنبأ بالسرعة (رموز في الثانية) ولا يضمن أن برنامج تشغيل معيّنًا يدعم النموذج.
أمثلة
أمثلة محلولة (ذاكرة KV المؤقتة بدقة FP16، حمل التشغيل 1 GiB، هامش 10%):
| الذاكرة | النموذج · التكميم · السياق | النتيجة |
|---|---|---|
| 8 GiB بطاقة رسومية | Llama 3.1 8B · Q4_K_M · 8,192 | يتسع بارتياح. الذاكرة الفائضة عن المقدار الموصى به: 0.29 GiB. |
| 24 GiB بطاقة رسومية | Qwen2.5 32B Instruct · Q4_K_M · 8,192 | يتسع لكن بالكاد. يتسع مع بقاء 1.98 GiB، وهو أقل من هامش 10%: توقّع مشكلات مع الموجّهات الأطول أو التطبيقات الأخرى العاملة. |
| 24 GiB بطاقة رسومية | Llama 3.1 70B · Q4_K_M · 8,192 | لا يتسع. ينقص 19.88 GiB. |
| 64 GiB موحّدة | Llama 3.1 70B · Q4_K_M · 8,192 | يتسع بارتياح. الذاكرة الفائضة عن المقدار الموصى به: 12.28 GiB. |
الصيغة والمنهجية
يقارن الفحص الذاكرة التي لديك بالحاجة المقدَّرة:
المتاح = الذاكرة − المحجوزالحاجة = الأوزان + ذاكرة KV + حمل التشغيليتسع بارتياح إذا كان المتاح ≥ الحاجة × (1 + الهامش ÷ 100)يتسع لكن بالكاد إذا كانت الحاجة ≤ المتاح < الحاجة × (1 + الهامش ÷ 100)ما لا يغطيه هذا الفحص
- السرعة: اتساع النموذج في الذاكرة لا يخبر شيئًا عن الرموز في الثانية، وهي تتوقف على عرض نطاق الذاكرة والحساب وبرنامج التشغيل.
- تفريغ الطبقات: التقسيم بين البطاقة الرسومية وذاكرة النظام غير منمذج؛ تسأل الأداة هل يتسع كل شيء في الذاكرة التي اخترتها.
- قد تحتاج النماذج ذات الانتباه الكامن متعدد الرؤوس أو النافذة المنزلقة أو الانتباه الهجين ذاكرة KV أقل بكثير من الصيغة القياسية.
- تختلف برامج التشغيل في مخازنها المؤقتة وفي النماذج والصيغ التي تدعمها.
- للاطلاع على الأحجام المعتادة بحسب النموذج والصيغة، راجع جداول مرجع VRAM للنماذج اللغوية.
المنهجية والمراجع
تدعم هذه المصادر الأولية الطرق التي تعتمد عليها هذه الأداة. لا يعني الاطلاع عليها التحقق من كل نتيجة تنتجها الحاسبة، والأرقام المدرجة بوصفها افتراضات هي من وضع ToolQuarter.
يستخدم الفحص العمليات الحسابية نفسها للأوزان وذاكرة KV المؤقتة كما في حاسبة VRAM ويقارنها بالذاكرة التي تدخلها. والذاكرة المحجوزة وعتبات الملاءمة قواعد تقريبية من ToolQuarter، وملاءمة الذاكرة لا تقول شيئًا عن السرعة.
- llama.cpp: quantize README: مصدر بتات الوزن لصيغ التكميم GGUF (مثلًا Q4_K_M تساوي 4.8944)، وقد قيست على Llama-3.1-8B. وتختلف النماذج والملفات الأخرى. ()
- PagedAttention paper (arXiv:2309.06180v1): تعطي ذاكرة KV لكل رمز بالصيغة 2 (المفاتيح والقيم) × الحجم المخفي × الطبقات × البايتات لكل قيمة، مع مثال بحجم 800 كيلوبايت لكل رمز لنموذج 13B بدقة FP16. وتكتب هذه الأداة الناتج نفسه بعدد رؤوس KV وبُعد الرأس. ()
- llama.cpp: server README: توثّق الخيار --gpu-layers، وهو أقصى عدد من الطبقات المخزّنة في VRAM، وبه يمكن لبرنامج تشغيل واحد وضع جزء من النموذج فقط على المعالج الرسومي. ولا تنمذج هذه الأداة نقل الطبقات. ()
- NIST: Prefixes for binary multiples: يعرّف الجيبي بايت بأنه 2^30 بايت (1,073,741,824) والجيجابايت بأنه 10^9 بايت، ولهذا يختلف GB عن GiB بنحو 7%. ()
افتراضات ToolQuarter (بلا مصدر أولي):
- الذاكرة المحجوزة (0.5 GiB للمعالج الرسومي و4 GiB للذاكرة الموحّدة أو المعالج المركزي) وحمل التشغيل البالغ 1 GiB وهامش الأمان 10% التي تفصل بين «يلائم براحة» و«يلائم لكن بصعوبة» و«لا يلائم» قواعد تقريبية من ToolQuarter وليست حدودًا مقيسة.
- مقدار ما يستطيع المعالج الرسومي عنونته من مجمّع ذاكرة موحّد، وفكرة أن عرض نطاق الذاكرة يحدّ عادةً من سرعة المعالج المركزي، عبارتان عامتان من ToolQuarter لم يُقرأ لهما مصدر هنا. والنتيجة فحص ذاكرة نظري: لا يقدّر السرعة ولا يؤكد أن برنامج التشغيل يدعم النموذج.
كيفية الاستخدام
- اختر المكان الذي سيعمل فيه النموذج وأدخل الذاكرة المتوفرة لديك بوحدة GiB.
- اختر نموذجًا جاهزًا أو أدخل معاملاته، ثم اختر التكميم وطول السياق.
- افتح «البنية» (يملؤها النموذج الجاهز) حتى تُضمَّن ذاكرة KV المؤقتة.
- اقرأ هل يتسع النموذج، ثم اتبع الاقتراحات إن لم يتسع.
الأسئلة الشائعة
هل يمكنني تشغيل نموذج أكبر من ذاكرة VRAM لدي؟
تستطيع بعض برامج التشغيل تفريغ جزء من النموذج إلى ذاكرة النظام أو المعالج، وينجح ذلك لكنه أبطأ بكثير عادةً. وتجيب هذه الأداة عن سؤال أشد صرامة: هل يتسع كل شيء في الذاكرة التي اخترتها؟
هل اتساع النموذج في الذاكرة يعني أنه سيعمل بسرعة؟
لا. تتوقف السرعة على عرض نطاق الذاكرة وحساب البطاقة الرسومية وبرنامج التشغيل. وتفحص هذه الأداة الذاكرة فقط ولا تعد بأي سرعة.
ماذا أفعل إن لم يتسع النموذج؟
استخدم تكميمًا أقل دقة، أو قصّر السياق، أو قلّل عدد التسلسلات المتزامنة، أو خزّن ذاكرة KV المؤقتة بدقة أقل، أو اختر نموذجًا أصغر، أو زِد الذاكرة (مثلًا بعدة بطاقات رسومية).
كيف تُعامَل الذاكرة الموحّدة؟
تتشارك البطاقة الرسومية والمعالج مجموعة واحدة، فتكون المجموعة كلها متاحة للنموذج ما عدا ما يستخدمه النظام والتطبيقات الأخرى. وتحدّ بعض الأنظمة أيضًا الجزء الذي تستطيع البطاقة الوصول إليه؛ فارفع المقدار المحجوز لمراعاة ذلك.
لماذا تُوصَف النتيجة بأنها «بالكاد» وليس «يتسع»؟
في التقدير هامش عدم يقين: تضيف برامج التشغيل مخازن مؤقتة وقد يرتفع الاستخدام الفعلي لحظيًا فوق المتوسط. وتعني «بالكاد» أن النموذج يتسع نظريًا لكنه يترك أقل من هامشك، فقد تتسبب فروق صغيرة في فشله.
آخر تحديث: