عدّاد وتقدير توكنات الذكاء الاصطناعي
الصق طلبًا أو مستندًا لترى عدد أحرفه وكلماته وتقديرًا لعدد رموز (توكنات) الذكاء الاصطناعي، مع طول الرد المتوقع للتخطيط. يكون رقم الرموز افتراضيًا تقديرًا يُعرض على شكل نطاق لأن كل نموذج يجزّئ النص بطريقة مختلفة؛ أما لترميزَي o200k_base وcl100k_base من OpenAI فيمكنك التحويل إلى عدّ دقيق يعمل كله داخل متصفحك.
النتيجة
تقدير
اكتب نصًا أو الصقه لعدّه.
- الطريقة
- الأحرف
- الأحرف دون مسافات
- الكلمات
- الأسطر
- الرموز
- النطاق المعقول
- المخرجات المتوقعة
- إجمالي الطلب
أمثلة
قيست باستخدام مجزّئات OpenAI على صفحات ToolQuarter نفسها وعلى عيّنة شيفرة (2026-10-03). تعطي مجزّئات المزوّدين الآخرين أعدادًا مختلفة.
| العيّنة | الأحرف | الكلمات | الرموز (o200k_base) | الرموز (cl100k_base) |
|---|---|---|---|---|
| نثر إنجليزي | 16,883 | 2,591 | 3,133 | 3,148 |
| نثر إسباني | 19,554 | 2,854 | 3,855 | 4,545 |
| نثر عربي | 14,592 | 2,292 | 4,189 | 9,579 |
| شيفرة وJSON | 6,240 | — | 2,240 | 2,240 |
الصيغة والمنهجية
أعداد الأحرف والكلمات والأسطر دقيقة. أما رقم الرموز فتقدير ما لم تختر ترميزًا دقيقًا:
الرموز المقدّرة = Σ على الأبجديات (أحرف تلك الأبجدية ÷ الأحرف لكل رمز)النطاق = المجموع نفسه بنسبتَي المتحفظ والمتفائلإجمالي الطلب = رموز الإدخال + رموز المخرجات المتوقعةيفترض التقدير هذه النسب من الأحرف لكل رمز (المتحفظ يعطي أكبر عدد من الرموز والمتفائل أقل عدد):
| الأبجدية | متحفظ | معتاد | متفائل |
|---|---|---|---|
| اللاتينية (الإنجليزية والإسبانية…) | 3 | 4 | 5 |
| العربية | 1.5 | 2.5 | 3.5 |
| الصينية واليابانية والكورية | 0.9 | 1.2 | 1.6 |
| أبجديات أخرى (السيريلية واليونانية…) | 1.5 | 3 | 4.5 |
من المفيد أن تعرف
- تُنسب المسافات والأرقام وعلامات الترقيم إلى الأبجديات بالتناسب مع الحروف المحيطة بها.
- يشمل العدّ الدقيق ترميزَي o200k_base وcl100k_base من OpenAI فقط. أما Claude وGemini فلكل منهما مجزّئه الخاص: وتوثّق Anthropic أن نماذجها الأحدث تُنتج نحو 30% رموزًا أكثر للنص نفسه مقارنةً بما قبلها.
- تتضمن الطلبات الفعلية أيضًا تنسيقًا حول كل رسالة وتعريفات الأدوات وأي صور أو ملفات، وهذه الأداة لا تراها.
- لا يُنزَّل المجزّئ الدقيق إلى متصفحك إلا عندما تختاره. ولا يُرفع نصك.
- للحصول على عدّ رسمي لاستهلاك Claude أو Gemini أو OpenAI، استخدم نقطة عدّ الرموز لدى المزوّد نفسه أو أرقام الاستهلاك في رد واجهة البرمجة.
المنهجية والمراجع
تدعم هذه المصادر الأولية الطرق التي تعتمد عليها هذه الأداة. لا يعني الاطلاع عليها التحقق من كل نتيجة تنتجها الحاسبة، والأرقام المدرجة بوصفها افتراضات هي من وضع ToolQuarter.
تكون أعداد الرموز دقيقة للترميز المدعوم من OpenAI الذي تختاره. أما بقية أعداد الرموز فهي تقديرات مبنية على عدد الأحرف لكل رمز. وتُحسب أعداد الأحرف والكلمات والأسطر بصورة منفصلة.
- OpenAI tiktoken: أداة الترميز المفتوحة المصدر من OpenAI لنماذجها. وتعتمد العدّات الدقيقة على ترميزاتها المسمّاة، مثل o200k_base. ()
- gpt-tokenizer: نسخة JavaScript من tiktoken تعمل في متصفحك للعدّ الدقيق. وتدرج o200k_base وcl100k_base ضمن الترميزات المدعومة. ()
- OpenAI API: Key concepts: قاعدة OpenAI التقريبية للإنجليزية: نحو 4 أحرف أو 0.75 كلمة لكل رمز، وهي تنسجم مع تقدير نحو 4 أحرف لكل رمز للأبجدية اللاتينية. ()
- Gemini API: Understand and count tokens: قاعدة Google التقريبية لنماذج Gemini: نحو 4 أحرف لكل رمز، وكل 100 رمز تعادل نحو 60 إلى 80 كلمة إنجليزية. ()
- Anthropic: Token counting: تصف Anthropic نقطة العدّ الخاصة بها، وتذكر أن أعدادها تقديرية وقد تختلف قليلًا، وأن نماذج Claude الأحدث تنتج نحو 30% رموزًا أكثر للنص نفسه. ()
افتراضات ToolQuarter (بلا مصدر أولي):
- نطاقات الأحرف لكل رمز للأبجدية اللاتينية والعربية والصينية واليابانية والكورية والكتابات الأخرى (مثل 3 و4 و5 للاتينية) هي من وضع ToolQuarter. وُسّعت انطلاقًا من قياسات بالترميزين o200k_base وcl100k_base على صفحات ToolQuarter في 3 أكتوبر 2026، وليست أرقام أي مزوّد.
- جدول العيّنات (الإنجليزية والإسبانية والعربية والشيفرة) قياس من ToolQuarter وليس مرجعًا. وتبقى النتيجة تقديرية مع Claude وGemini وغيرهما من أدوات الترميز: استخدم عدّ المزوّد نفسه للحصول على رقم رسمي.
كيفية الاستخدام
- الصق طلبك أو مستندك أو اكتبه.
- اترك الطريقة على «تقدير» لأي نموذج، أو اختر ترميزًا دقيقًا من OpenAI.
- يمكنك إدخال الطول الذي تتوقعه للرد.
- اقرأ الرموز والنطاق والإجمالي، ثم انسخ النتيجة أو خطّط للنافذة بمخطط السياق.
الأسئلة الشائعة
كم رمزًا تساوي الكلمة الواحدة؟
في النثر الإنجليزي تساوي الكلمة نحو 1.2 إلى 1.5 رمز، أي نحو أربعة أحرف لكل رمز. أما اللغات الأخرى والأرقام والشيفرة فتستهلك عادةً رموزًا أكثر لكل كلمة. وتقيس هذه الأداة نصك الفعلي بدل تطبيق قاعدة واحدة.
هل العدّ دقيق مع ChatGPT وClaude وGemini؟
الدقيق فقط هو ترميزا OpenAI المعروضان هنا، ولنماذج OpenAI التي تستخدمهما فقط. أما مع Claude وGemini وغيرهما فالرقم تقدير له نطاق. استخدم عدّاد المزوّد نفسه عندما تحتاج إلى رقم بمستوى الفوترة.
هل يُرسل نصي إلى أي مكان؟
لا. يعمل العدّ والتقدير داخل متصفحك. وإذا اخترت ترميزًا دقيقًا فستُنزَّل بيانات المجزّئ إلى جهازك، لكن نصك لا يُرفع ولا يُخزَّن ولا يُرسل إلى أي تحليلات.
لماذا تستهلك العربية والإسبانية والشيفرة رموزًا أكثر من الإنجليزية؟
تُدرَّب المجزّئات في الغالب على نصوص إنجليزية، فتكون الكلمات الإنجليزية الشائعة رمزًا واحدًا بينما تُقسَّم كلمات اللغات الأخرى إلى أجزاء أكثر. وتتفتت الشيفرة والأرقام أيضًا إلى رموز صغيرة كثيرة. لذلك يستخدم التقدير نسبًا مختلفة لكل أبجدية.
لماذا أخطط لطول المخرجات؟
يتقيّد الطلب بإدخاله وردّه معًا، ويُحاسَب الرد بسعر أعلى. وإدخال مخرجات متوقعة يُظهر إجمالي رموز الطلب لتتحقق من نافذة السياق والتكلفة.
آخر تحديث: