مخطط حجم القطع للتوليد المعزز بالاسترجاع (RAG)
عند تقسيم المستندات إلى قطع (Chunks) للتوليد المعزز بالاسترجاع (RAG)، يحافظ التداخل على السياق عند الحدود لكنه يكرّر نصًّا عليك تضمينه وتخزينه. أدخل حجم المجموعة النصية وعدد مستنداتها وحجم القطعة والتداخل، لترى الخطوة الفعلية وعدد القطع والرموز المكرّرة وأثر ذلك على التخزين والاسترجاع.
النتيجة
حساب دقيق على أرقامك
أدخل حجم المجموعة وإعدادات القطع للتخطيط.
- التداخل بالرموز
- الخطوة الفعلية (بالرموز)
- القطع لكل مستند
- إجمالي القطع
- رموز التداخل المكرّرة
- الرموز المراد تضمينها
- حمل التداخل
- القطع دون تداخل
- قطع إضافية بسبب التداخل
- متوسط القطعة المخزَّنة (بالرموز)
- تخزين المتجهات الخام
- الرموز المسترجَعة لكل استعلام
حساب دقيق بافتراضين مبسَّطين: المستندات متساوية الحجم والقطع بعدد ثابت من الرموز. أما المقسِّمات الفعلية التي تقطع عند الجمل أو العناوين فتنتج قطعًا غير متساوية.
أمثلة
أمثلة محلولة:
| المجموعة (بالرموز) | المستندات | القطعة / التداخل | القطع | الرموز المراد تضمينها |
|---|---|---|---|---|
| 1,500 | 1 | 512 / 15% | 4 | 1,728 |
| 1,000,000 | 100 | 512 / 10% | 2,200 | 1,107,100 |
| 50,000,000 | 20,000 | 1,024 / 20% | 60,000 | 58,160,000 |
| 10,000,000 | 100,000 | 512 / 15% | 100,000 | 10,000,000 |
الصيغة والمنهجية
بالنسبة للقطع ثابتة الحجم مع تداخل بالرموز تكون الأعداد دقيقة:
رموز التداخل = الجزء الصحيح(حجم القطعة × نسبة التداخل)الخطوة = حجم القطعة − رموز التداخلالقطع لكل مستند = 1 + السقف((رموز المستند − حجم القطعة) ÷ الخطوة)، أو 1 إذا اتسع المستند في قطعة واحدةالرموز المكرّرة = المستندات × (القطع لكل مستند − 1) × رموز التداخلالرموز المراد تضمينها = رموز المجموعة + الرموز المكرّرةمن المفيد أن تعرف
- يعتمد أفضل حجم للقطعة على محتواك وأسئلتك. يبدأ كثير من الفرق من بضع مئات إلى نحو ألف رمز وتداخل 10–20%، ثم تختبر جودة الاسترجاع على استعلامات حقيقية.
- يمنع التداخل قطع الجمل والأفكار عند الحدود، لكن كل رمز متداخل يُضمَّن ويُخزَّن ويُفهرَس مرتين.
- القطع الأصغر تعني متجهات أكثر للتخزين والبحث؛ والقطع الأكبر متجهات أقل لكن نصًّا أكثر غير ذي صلة يُرسل للنموذج عند كل تطابق.
- تحاسب واجهات التضمين بحسب الرموز، فـ«الرموز المراد تضمينها» هي أيضًا حجم التضمين لديك. أضف التداخل إلى التكلفة لا المجموعة وحدها.
- التقسيم بحسب البنية (الفقرات والعناوين وكتل الشيفرة) يتفوق عادةً على عدد ثابت من الرموز. استخدم هذه الأرقام كأساس للتخطيط.
كيفية الاستخدام
- أدخل حجم المجموعة بالرموز أو بالكلمات وعدد المستندات.
- اضبط حجم القطعة ونسبة التداخل.
- يمكنك إضافة أبعاد التضمين ودقته وعدد القطع المسترجَعة لكل استعلام.
- اقرأ الخطوة وعدد القطع والرموز المكرّرة والتخزين، وقارن بين نسب التداخل.
الأسئلة الشائعة
ما هي الخطوة (stride) في تقسيم القطع؟
الخطوة هي المسافة التي تتحركها نافذة القطعة في كل مرة: حجم القطعة ناقص التداخل. مع قطع من 512 رمزًا وتداخل 76 رمزًا تكون الخطوة 436، فتبدأ كل قطعة جديدة بعد 436 رمزًا من سابقتها.
كم تداخلًا أستخدم؟
لا توجد إجابة واحدة. يستخدم كثير من الفرق نحو 10–20%. بلا تداخل يكون الحجم أصغر لكن قد تُقطع الأفكار من منتصفها؛ والتداخل العالي جدًّا يضاعف المتجهات وتكلفة التضمين. اختبر جودة الاسترجاع بأسئلتك أنت.
كيف يُحسب عدد القطع؟
إذا اتسع المستند في قطعة واحدة أنتج قطعة واحدة. وإلا أنتج 1 زائد عدد الخطوات اللازمة لتغطية الباقي: 1 + السقف((رموز المستند − حجم القطعة) ÷ الخطوة). وتضرب الحاسبة ذلك في عدد المستندات.
لماذا يزيد التداخل تكلفة التضمين؟
تظهر الرموز المتداخلة في قطعتين، فتُضمَّن وتُخزَّن مرتين. ويضيف رقم «الرموز المراد تضمينها» تلك الرموز المكرّرة إلى حجم المجموعة.
هل النتيجة دقيقة لمستنداتي؟
الحساب دقيق للمستندات متساوية الحجم والقطع ثابتة الرموز. أما المستندات الفعلية فتختلف أحجامها وكثير من المقسِّمات يقطع عند الجمل أو العناوين، لذلك اعتبر النتيجة تقديرًا للتخطيط وتحقق منها في مسارك الفعلي.
آخر تحديث: