حاسبة ذاكرة KV المؤقتة

ذاكرة KV المؤقتة هي الذاكرة التي يستخدمها النموذج اللغوي ليتذكّر الرموز السابقة، وتنمو مع طول السياق. أدخل طبقات النموذج ورؤوس KV وبُعد الرأس (أو اختر نموذجًا جاهزًا) وطول السياق والدقة وعدد التسلسلات لتحسبها بدقة، وتعرف مقدار ما توفّره انتباه الاستعلامات المجمّعة.

تتم المعالجة محليًا في متصفحك. لا يتم رفع بياناتك إلى خوادمنا.

أرقام النماذج الجاهزة مأخوذة من الوثائق الرسمية لكل نموذج، وآخر تحقق منها بتاريخ 3 أكتوبر 2026. يمكنك تعديل أي رقم.

المصدر: Llama 3 paper, Table 3

البنية (مطلوبة لذاكرة KV المؤقتة)

ستجد هذه الأرقام في ملف config.json أو بطاقة النموذج. لا يُخمَّن شيء: اترك الحقول الثلاثة فارغة لاستبعاد ذاكرة KV المؤقتة.

عادةً الحجم المخفي مقسومًا على عدد رؤوس الانتباه.

تُستخدم فقط لإظهار ما توفّره انتباه الاستعلامات المجمّعة.

رموز الموجّه والرد التي تبقى في الذاكرة.

1 لمحادثة واحدة. يحتاج كل تسلسل إضافي إلى ذاكرة KV خاصة به.

النتيجة

دقيق للانتباه القياسي

أدخل الطبقات ورؤوس KV وبُعد الرأس وطول السياق لعرض ذاكرة KV المؤقتة.

أمثلة

أمثلة محلولة (تسلسل واحد):

النموذجالسياق (بالرموز)دقة KVذاكرة KV المؤقتة
Llama 3.1 8B8,192FP161 GiB
Llama 3.1 70B131,072FP1640 GiB
Qwen2.5 7B Instruct32,768FP161.75 GiB

الصيغة والمنهجية

في الانتباه الكامل القياسي تكون الذاكرة حسابًا دقيقًا:

ذاكرة KV = 2 × الطبقات × رؤوس KV × بُعد الرأس × الرموز × البايتات لكل قيمة × التسلسلاتالبايتات لكل رمز = 2 × الطبقات × رؤوس KV × بُعد الرأس × البايتات لكل قيمةنسبة التجميع = رؤوس الانتباه ÷ رؤوس KVذاكرة الانتباه القياسي = ذاكرة KV × نسبة التجميع

من المفيد أن تعرف

  • العامل 2 هو المفاتيح مع القيم؛ وكلاهما يُخزَّن لكل طبقة ولكل رمز.
  • البايتات لكل قيمة: FP32 أربعة، وFP16/BF16 اثنان، وFP8 واحد؛ أما نوعا الذاكرة Q8_0 وQ4_0 في llama.cpp فيستخدمان نحو 1.06 و0.56.
  • قد تستخدم النماذج ذات الانتباه الكامن متعدد الرؤوس أو النافذة المنزلقة أو الانتباه الهجين أقل بكثير من هذه الصيغة، وقد تختلف برامج التشغيل التي تُجزّئ كتل الذاكرة أو تتشاركها.
  • لا يُخمَّن شيء: إن نقص رقم فابحث عنه في ملف config.json للنموذج أو بطاقته.

المنهجية والمراجع

تدعم هذه المصادر الأولية الطرق التي تعتمد عليها هذه الأداة. لا يعني الاطلاع عليها التحقق من كل نتيجة تنتجها الحاسبة، والأرقام المدرجة بوصفها افتراضات هي من وضع ToolQuarter.

حجم الذاكرة المؤقتة حساب دقيق للانتباه الكامل القياسي على الأرقام التي تدخلها. وتدعم المصادر الصيغة وأنماط مشاركة الرؤوس وأنواع التخزين؛ وقد تستهلك تصميمات الانتباه الأخرى أقل.

  • PagedAttention paper (arXiv:2309.06180v1): تعطي ذاكرة KV لكل رمز بالصيغة 2 (المفاتيح والقيم) × الحجم المخفي × الطبقات × البايتات لكل قيمة، مع مثال بحجم 800 كيلوبايت لكل رمز لنموذج 13B بدقة FP16. وتصف أيضًا كيف يقلّل التقسيم إلى صفحات الذاكرة المهدورة، لذلك قد تختلف برامج التشغيل الفعلية عن الصيغة البسيطة. ()
  • GQA paper (arXiv:2305.13245v3): تعرّف الانتباه متعدد الاستعلامات (MQA)، وفيه رأس مفتاح-قيمة واحد مشترك بين كل رؤوس الاستعلام، وانتباه الاستعلام المجمّع (GQA)، وفيه أكثر من رأس واحد لكن أقل من رؤوس الاستعلام. وقلّة رؤوس المفتاح-القيمة تعني تخزينًا أقل، وهذا ما تعرضه الأداة بوصفه رؤوس الانتباه ÷ رؤوس KV. ()
  • Mistral 7B paper (arXiv:2310.06825v1): تصف انتباه النافذة المنزلقة مع ذاكرة مؤقتة دوّارة ذات حجم ثابت توقف نموّ الذاكرة (أقل بمقدار 8 مرات عند 32 ألف رمز في الورقة)، لذلك قد تبالغ الصيغة القياسية في التقدير لهذه النماذج. ()
  • DeepSeek-V2 paper (arXiv:2405.04434v5): تذكر أن الانتباه الكامن متعدد الرؤوس يضغط ذاكرة KV في متجه كامن (أصغر بنسبة 93.3% من DeepSeek 67B في تلك الورقة)، لذلك لا تصف الصيغة القياسية النماذج ذات هذا التصميم. ()
  • llama.cpp: server README: تسرد أنواع بيانات ذاكرة KV التي يقبلها llama.cpp للمفاتيح والقيم (f32 وf16 وbf16 وq8_0 وq4_0 وغيرها؛ والافتراضي f16). ()
  • ggml: ggml-common.h: تُظهر تخطيط الكتل خلف عدد البايتات: يخزّن Q8_0 مقياسًا من 2 بايت مع 32 قيمة من بايت واحد (34 بايتًا لكل 32 قيمة، أي نحو 1.06) ويخزّن Q4_0 مقياسًا من 2 بايت مع 16 بايتًا (18 لكل 32، أي نحو 0.56). ()

افتراضات ToolQuarter (بلا مصدر أولي):

  • FP32 = 4 وFP16 وBF16 = 2 وFP8 = 1 بايت لكل قيمة هي العروض المعتادة. ويتوقف دعم ذاكرة FP8 على برنامج التشغيل (قائمة llama.cpp أعلاه لا تتضمنه) ولم يُقرأ له مصدر هنا.
  • أن ذاكرة KV بدقة أقل قد تؤثر قليلًا في جودة المخرجات، وأكثر عند 4 بتات، إرشاد عام من ToolQuarter بلا مصدر مقروء: جرّب بطلباتك الخاصة. ولا تخمّن الأداة أي معمارية أبدًا: الطبقات ورؤوس KV وبُعد الرأس تأتي منك أو من إعداد جاهز.

كيفية الاستخدام

  1. اختر نموذجًا جاهزًا، أو أدخل الطبقات ورؤوس KV وبُعد الرأس من إعدادات النموذج.
  2. أدخل طول السياق بالرموز وعدد التسلسلات المتزامنة.
  3. اختر الدقة التي تُخزَّن بها ذاكرة KV المؤقتة (FP16 هي القيمة المعتادة).
  4. يمكنك إدخال رؤوس الانتباه لترى ما توفّره انتباه الاستعلامات المجمّعة.

الأسئلة الشائعة

ما ذاكرة KV المؤقتة؟

أثناء توليد النص يحتفظ النموذج بمفاتيح الانتباه وقيمه لكل رمز سابق حتى لا يعيد حسابها. وهذه البيانات المخزَّنة هي ذاكرة KV المؤقتة. وتنمو مع كل رمز ومع كل تسلسل متزامن.

ماذا تعني GQA وMQA بالنسبة للذاكرة؟

في انتباه الاستعلامات المجمّعة تتشارك عدة رؤوس انتباه رأس مفتاح/قيمة واحدًا؛ وفي انتباه الاستعلام الواحد تتشاركه جميعها. وتصغر الذاكرة بنسبة رؤوس الانتباه إلى رؤوس KV، مثلًا 4× لنموذج فيه 32 رأس انتباه و8 رؤوس KV.

أين أجد طبقات النموذج ورؤوس KV وبُعد الرأس؟

في ملف config.json الخاص به على Hugging Face (القيم num_hidden_layers وnum_key_value_heads وhead_dim، أو hidden_size ÷ num_attention_heads) أو في بطاقة النموذج أو بحثه. ولا تخمّن هذه الأداة هذه القيم أبدًا.

هل يقلّل تخزين ذاكرة KV المؤقتة بعدد بتات أقل من الجودة؟

يقلّل الذاكرة (فـ Q8_0 نحو نصف FP16) وقد يؤثر قليلًا في جودة المخرجات، وأكثر عند 4 بتات. ويتوقف الدعم على برنامج التشغيل، فاختبر بموجّهاتك الخاصة.

هل النتيجة دقيقة؟

الصيغة دقيقة للانتباه الكامل القياسي بالأرقام التي تدخلها. وقد تستخدم النماذج ذات النافذة المنزلقة أو الانتباه الكامن أو الهجين، وبرامج التشغيل التي تُجزّئ كتل الذاكرة أو تتشاركها، أقل من ذلك أو تتصرف بشكل مختلف.

آخر تحديث: