حاسبة سعة المستندات في نافذة السياق
كم من النص يمكنك إعطاؤه للنموذج دفعة واحدة؟ أدخل نافذة السياق والمساحة التي تريد حجزها للتعليمات والإجابة، فتحوّل هذه الحاسبة الباقي إلى كلمات وصفحات وأحرف ومستندات كاملة. ولأن التحويل من الرموز (التوكنات) إلى الكلمات يعتمد على اللغة والمجزّئ، فهي تعرض رقمًا متحفظًا وآخر معتادًا وثالثًا متفائلًا، وكل الافتراضات قابلة للتعديل.
النتيجة
تقدير
أدخل نافذة السياق وافتراضاتك لترى ما يتّسع.
- الرموز المتاحة للنص
| المقياس | متحفظ | معتاد | متفائل |
|---|
أمثلة
أمثلة محلولة (صفحات من 500 كلمة، دون تعديل للمجزّئ):
| النافذة (بالرموز) | النص | المحجوز (بالرموز) | الصفحات (من المتحفظ إلى المتفائل) | الكلمات (المعتاد) |
|---|---|---|---|---|
| 8,192 | نثر إنجليزي | 1,000 | 9 – 12 | 5,407 |
| 32,768 | نثر إنجليزي | 2,000 | 38 – 51 | 23,133 |
| 128,000 | نثر إنجليزي | 8,000 | 150 – 200 | 90,225 |
| 128,000 | نثر إسباني | 8,000 | 126 – 185 | 80,000 |
| 128,000 | نثر عربي | 8,000 | 57 – 133 | 48,000 |
| 1,000,000 | نثر إنجليزي | 16,000 | 1230 – 1640 | 739,849 |
الصيغة والمنهجية
الحساب دقيق؛ أما قيم الرموز لكل كلمة فهي افتراضات:
الرموز المتاحة = نافذة السياق − الرموز المحجوزةالكلمات = الرموز المتاحة ÷ (الرموز لكل كلمة × تعديل المجزّئ)، مع التقريب للأسفلالصفحات = الكلمات ÷ الكلمات في الصفحةالأحرف = الكلمات × الأحرف لكل كلمةالمستندات الكاملة = الصفحات ÷ صفحات المستند، مع التقريب للأسفلمن المفيد أن تعرف
- قيست الرموز لكل كلمة على صفحات ToolQuarter نفسها بمجزّئات OpenAI (الإنجليزية نحو 1.2 والإسبانية من 1.35 إلى 1.6 والعربية من 1.8 إلى 4.2) ثم وُسّعت إلى نطاقات. وتختلف مجزّئات المزوّدين الآخرين.
- تستهلك الشيفرة والجداول والأرقام والمفردات غير المألوفة رموزًا أكثر لكل كلمة. أدخل لها قيمًا أعلى أو استخدم عمود المتحفظ.
- توثّق Anthropic أن مجزّئاتها الأحدث تنتج نحو 30% رموزًا أكثر للنص نفسه. اضبط تعديل المجزّئ على نحو 1.3 لتلك النماذج.
- تُحتسب الصور والصفحات الممسوحة وملفات PDF التي تحتاج إلى OCR بطريقة مختلفة. هذه الحاسبة مخصّصة للنص العادي.
- احتفظ بمساحة لتعليماتك وللإجابة: هذا ما تفيده الرموز المحجوزة.
المنهجية والمراجع
تدعم هذه المصادر الأولية الطرق التي تعتمد عليها هذه الأداة. لا يعني الاطلاع عليها التحقق من كل نتيجة تنتجها الحاسبة، والأرقام المدرجة بوصفها افتراضات هي من وضع ToolQuarter.
ما يملأ نافذة السياق هو الرموز، لا حجم الملف ولا عدد الصفحات. وتحويل الكلمات إلى رموز يتوقف على اللغة والمحتوى وأداة الترميز.
- OpenAI API: Key concepts: قاعدة OpenAI التقريبية للإنجليزية، نحو 0.75 كلمة أو 4 أحرف لكل رمز، هي أساس القيمة الافتراضية 1.33 رمز لكل كلمة. ()
- Gemini API: Understand and count tokens: تعطي Google قاعدة مشابهة لنماذج Gemini: كل 100 رمز تعادل نحو 60 إلى 80 كلمة إنجليزية، وهذا قريب من 1.2 إلى 1.6 رمز لكل كلمة المستخدمة للإنجليزية. ()
- Anthropic: Token counting: تذكر أن أدوات الترميز الأحدث في Claude تنتج نحو 30% رموزًا أكثر للنص نفسه، وتنصح بإعادة العدّ بالنموذج الذي تنوي استخدامه، وهذا سبب حقل تعديل أداة الترميز. ()
- Anthropic: PDF support: بالنسبة إلى ملفات PDF تذكر Anthropic أن الصفحة تستهلك عادةً من 1,500 إلى 3,000 رمز نصي إضافة إلى رموز الصور بحسب المحتوى. فعدد الصفحات أو حجم الملف وحدهما لا يحددان عدد الرموز، وهذه الأداة مخصصة للنص العادي. ()
افتراضات ToolQuarter (بلا مصدر أولي):
- قيم الرموز لكل كلمة للإسبانية والعربية (النموذجية 1.5 و2.5) وعدد الأحرف لكل كلمة مأخوذة من قياسات ToolQuarter بأدوات ترميز OpenAI على صفحاتها، وليست أرقام أي مزوّد.
- 500 كلمة للصفحة بمسافة مفردة و250 بمسافة مزدوجة اصطلاحان شائعان تفترضهما ToolQuarter بلا مصدر أولي: عدّلهما بحسب مستندك. وعمودا المتحفظ والمتفائل نطاقان اختارتهما ToolQuarter.
كيفية الاستخدام
- أدخل نافذة السياق لنموذجك والرموز التي تحجزها للتعليمات والرد.
- اختر نوع النص، أو عدّل افتراضات الرموز لكل كلمة والأحرف لكل كلمة والكلمات في الصفحة.
- يمكنك إدخال حجم المستند الواحد بالصفحات.
- اقرأ السعة المتحفظة والمعتادة والمتفائلة وخطّط بالمتحفظة.
الأسئلة الشائعة
كم صفحة تتّسع لها نافذة سياق من 128,000 رمز؟
مع حجز 8,000 رمز ونثر إنجليزي عادي بمعدل 500 كلمة للصفحة، تتّسع نحو 150 إلى 200 صفحة: قرابة 180 في الحالة المعتادة. وتتّسع صفحات أقل بالإسبانية وأقل منها بالعربية لأن كلماتها تستهلك رموزًا أكثر.
لماذا تعرض الحاسبة ثلاثة أرقام؟
يعتمد عدد الرموز لكل كلمة على اللغة والمفردات والمجزّئ، لذلك سيكون أي رقم واحد دقة زائفة. القيمة المتحفظة هي الآمنة للتخطيط، والمتفائلة هي ما قد تحصل عليه مع إنجليزية بسيطة شائعة.
لماذا يتّسع نص أقل بالإسبانية والعربية مقارنةً بالإنجليزية؟
تقسّم المجزّئات كلمات اللغات الأخرى إلى أجزاء أكثر مما تفعل مع الكلمات الإنجليزية الشائعة، فيكلّف العدد نفسه من الكلمات رموزًا أكثر. وتعكس إعدادات اللغات قياسات على صفحات حقيقية.
هل يمكنني ملء النافذة كلها بالمستندات؟
لا. تحتاج أيضًا إلى مساحة لتعليماتك وسؤالك والإجابة، وهذا ما تمثّله الرموز المحجوزة. تطرحها الحاسبة قبل أن تحسب مقدار النص الذي يتّسع.
ما مدى دقة النتيجة؟
الحساب دقيق، لكن النتيجة لا تكون أفضل من افتراض الرموز لكل كلمة. وللحصول على رقم أقرب لنصك، عُدّه بعدّاد التوكنات ثم أدخل النسبة التي تقيسها.
آخر تحديث: