مخطط حجم القطع للتوليد المعزز بالاسترجاع (RAG)

عند تقسيم المستندات إلى قطع (Chunks) للتوليد المعزز بالاسترجاع (RAG)، يحافظ التداخل على السياق عند الحدود لكنه يكرّر نصًّا عليك تضمينه وتخزينه. أدخل حجم المجموعة النصية وعدد مستنداتها وحجم القطعة والتداخل، لترى الخطوة الفعلية وعدد القطع والرموز المكرّرة وأثر ذلك على التخزين والاسترجاع.

تتم المعالجة محليًا في متصفحك. لا يتم رفع بياناتك إلى خوادمنا.

الحجم الإجمالي لجميع المستندات معًا.

تُحوَّل الكلمات إلى رموز بنحو 1.33 رمز للكلمة في النثر الإنجليزي؛ وتستهلك اللغات الأخرى والشيفرة أكثر.

يُفترض أن تتوزع المجموعة بالتساوي بينها.

الطول المستهدف لكل قطعة.

نسبة من كل قطعة تتكرر في بداية القطعة التالية. تُقرَّب للأسفل إلى رموز كاملة.

التخزين والاسترجاع (اختياري)

أضف حجم التضمين وعدد القطع التي تسترجعها لكل استعلام لترى الأثر على التخزين والاسترجاع.

حجم مخرجات نموذج التضمين لديك، من وثائقه.

يُسمى غالبًا top-k.

النتيجة

حساب دقيق على أرقامك

أدخل حجم المجموعة وإعدادات القطع للتخطيط.

حساب دقيق بافتراضين مبسَّطين: المستندات متساوية الحجم والقطع بعدد ثابت من الرموز. أما المقسِّمات الفعلية التي تقطع عند الجمل أو العناوين فتنتج قطعًا غير متساوية.

أمثلة

أمثلة محلولة:

المجموعة (بالرموز)المستنداتالقطعة / التداخلالقطعالرموز المراد تضمينها
1,5001512 / 15%41,728
1,000,000100512 / 10%2,2001,107,100
50,000,00020,0001,024 / 20%60,00058,160,000
10,000,000100,000512 / 15%100,00010,000,000

الصيغة والمنهجية

بالنسبة للقطع ثابتة الحجم مع تداخل بالرموز تكون الأعداد دقيقة:

رموز التداخل = الجزء الصحيح(حجم القطعة × نسبة التداخل)الخطوة = حجم القطعة − رموز التداخلالقطع لكل مستند = 1 + السقف((رموز المستند − حجم القطعة) ÷ الخطوة)، أو 1 إذا اتسع المستند في قطعة واحدةالرموز المكرّرة = المستندات × (القطع لكل مستند − 1) × رموز التداخلالرموز المراد تضمينها = رموز المجموعة + الرموز المكرّرة

من المفيد أن تعرف

  • يعتمد أفضل حجم للقطعة على محتواك وأسئلتك. يبدأ كثير من الفرق من بضع مئات إلى نحو ألف رمز وتداخل 10–20%، ثم تختبر جودة الاسترجاع على استعلامات حقيقية.
  • يمنع التداخل قطع الجمل والأفكار عند الحدود، لكن كل رمز متداخل يُضمَّن ويُخزَّن ويُفهرَس مرتين.
  • القطع الأصغر تعني متجهات أكثر للتخزين والبحث؛ والقطع الأكبر متجهات أقل لكن نصًّا أكثر غير ذي صلة يُرسل للنموذج عند كل تطابق.
  • تحاسب واجهات التضمين بحسب الرموز، فـ«الرموز المراد تضمينها» هي أيضًا حجم التضمين لديك. أضف التداخل إلى التكلفة لا المجموعة وحدها.
  • التقسيم بحسب البنية (الفقرات والعناوين وكتل الشيفرة) يتفوق عادةً على عدد ثابت من الرموز. استخدم هذه الأرقام كأساس للتخطيط.

كيفية الاستخدام

  1. أدخل حجم المجموعة بالرموز أو بالكلمات وعدد المستندات.
  2. اضبط حجم القطعة ونسبة التداخل.
  3. يمكنك إضافة أبعاد التضمين ودقته وعدد القطع المسترجَعة لكل استعلام.
  4. اقرأ الخطوة وعدد القطع والرموز المكرّرة والتخزين، وقارن بين نسب التداخل.

الأسئلة الشائعة

ما هي الخطوة (stride) في تقسيم القطع؟

الخطوة هي المسافة التي تتحركها نافذة القطعة في كل مرة: حجم القطعة ناقص التداخل. مع قطع من 512 رمزًا وتداخل 76 رمزًا تكون الخطوة 436، فتبدأ كل قطعة جديدة بعد 436 رمزًا من سابقتها.

كم تداخلًا أستخدم؟

لا توجد إجابة واحدة. يستخدم كثير من الفرق نحو 10–20%. بلا تداخل يكون الحجم أصغر لكن قد تُقطع الأفكار من منتصفها؛ والتداخل العالي جدًّا يضاعف المتجهات وتكلفة التضمين. اختبر جودة الاسترجاع بأسئلتك أنت.

كيف يُحسب عدد القطع؟

إذا اتسع المستند في قطعة واحدة أنتج قطعة واحدة. وإلا أنتج 1 زائد عدد الخطوات اللازمة لتغطية الباقي: 1 + السقف((رموز المستند − حجم القطعة) ÷ الخطوة). وتضرب الحاسبة ذلك في عدد المستندات.

لماذا يزيد التداخل تكلفة التضمين؟

تظهر الرموز المتداخلة في قطعتين، فتُضمَّن وتُخزَّن مرتين. ويضيف رقم «الرموز المراد تضمينها» تلك الرموز المكرّرة إلى حجم المجموعة.

هل النتيجة دقيقة لمستنداتي؟

الحساب دقيق للمستندات متساوية الحجم والقطع ثابتة الرموز. أما المستندات الفعلية فتختلف أحجامها وكثير من المقسِّمات يقطع عند الجمل أو العناوين، لذلك اعتبر النتيجة تقديرًا للتخطيط وتحقق منها في مسارك الفعلي.

آخر تحديث: