مقدّر زمن الاستدلال والإنتاجية للذكاء الاصطناعي
كم سيستغرق الرد؟ أدخل رموز الطلب والمخرجات مع سرعة المعالجة المسبقة (مدى سرعة قراءة النموذج للطلب) وسرعة التوليد (مدى سرعة كتابته)، مقيستين على إعدادك أو مفترضتين، لتحصل على زمن المعالجة المسبقة وزمن التوليد والزمن الإجمالي والرموز الفعلية في الثانية والطلبات في الدقيقة. وأضف حملًا ثابتًا للشبكة أو الطوابير، أو تزامنًا للإنتاجية المتوازية المثالية. وإذا كنت تعرف سرعة التوليد فقط فإن الوضع البسيط يقدّر زمن التوليد وحده.
النتيجة
تقدير
أدخل الرموز وسرعة التوليد لتقدير الزمن.
- زمن المعالجة المسبقة
- زمن التوليد
- الحمل الثابت
- زمن الاستجابة الإجمالي
- الزمن المقدَّر حتى أول رمز
- سرعة الإخراج الفعلية
- الطلبات في الدقيقة (واحدًا تلو الآخر)
- الطلبات في الدقيقة على التوازي
- سرعة الإخراج على التوازي
الوضع البسيط: لم تُدخل سرعة معالجة مسبقة، لذلك لا يُحتسب زمن الطلب ولا يُقدَّر الزمن حتى أول رمز. ويشمل الإجمالي التوليد وأي حمل فقط.
يُقدَّر الزمن حتى أول رمز بأنه الحمل + زمن المعالجة المسبقة + زمن كتابة رمز واحد.
تفترض الأرقام المتوازية أن كل طلب يحتفظ بالسرعة نفسها. وتتباطأ الأنظمة الفعلية عادةً تحت الحمل، فاعتبرها حدًّا أقصى.
حساب دقيق على السرعات التي تدخلها، وهي مقيسة أو مفترضة: فالنتيجة تقدير لزمن استجابة فعلي، لا قياس أداء لأي نموذج أو عتاد.
أمثلة
أمثلة محلولة بسرعات توضيحية (وليست قياسات أداء لأي نموذج أو عتاد)، بلا حمل:
| السيناريو | رموز الطلب / الإخراج | السرعات (معالجة مسبقة / توليد) | الزمن الإجمالي | الزمن حتى أول رمز |
|---|---|---|---|---|
| رد محادثة قصير | 500 / 300 | 2,000 / 60 رمز/ث | 5.25 ث | 267 مللي ث |
| إجابة على مستندات مسترجَعة | 6,000 / 400 | 1,500 / 40 رمز/ث | 14 ث | 4.03 ث |
| تلخيص مستند طويل | 100,000 / 1,000 | 1,000 / 30 رمز/ث | 2 د 13 ث | 1 د 40 ث |
الصيغة والمنهجية
الحساب دقيق للأرقام التي تدخلها:
زمن المعالجة المسبقة = رموز الطلب ÷ سرعة المعالجة المسبقةزمن التوليد = رموز الإخراج ÷ سرعة التوليدالزمن الإجمالي = الحمل الثابت + زمن المعالجة المسبقة + زمن التوليدالسرعة الفعلية = رموز الإخراج ÷ الزمن الإجمالي؛ الطلبات في الدقيقة = 60 ÷ الزمن الإجماليالزمن حتى أول رمز ≈ الحمل الثابت + زمن المعالجة المسبقة + 1 ÷ سرعة التوليدمن المفيد أن تعرف
- السرعات مُدخلات لا حقائق عن نموذج. ولا تخمّن هذه الأداة الرموز في الثانية من اسم بطاقة رسومية أو نموذج: قِس على إعدادك أو استخدم رقمًا تثق به.
- تتفاوت السرعات الفعلية بحسب المعالجة الدفعية والطوابير والمستخدمين الآخرين وطول الطلب وبيئة التشغيل والتكميم وفك الترميز الاستباقي والعتاد. والرقم المقيس الواحد لقطة.
- المعالجة المسبقة أسرع عادةً بكثير لكل رمز من التوليد، ولذلك تضيف الطلبات الطويلة زمنًا أقل من المخرجات الطويلة.
- تبدو الاستجابات المتدفقة أسرع مما يوحي به الزمن الإجمالي، لأن أولى الرموز تصل بعد الزمن حتى أول رمز.
- تحت الحمل الكبير يتباطأ كل طلب. والأرقام المتوازية حدّ أقصى مثالي.
كيفية الاستخدام
- أدخل رموز الطلب والإخراج.
- أدخل سرعتَي المعالجة المسبقة والتوليد اللتين قستهما أو تفترضهما. واترك المعالجة المسبقة فارغة للوضع البسيط.
- يمكنك إضافة حمل ثابت وعدد من الطلبات المتوازية.
- اقرأ أزمنة المعالجة المسبقة والتوليد والإجمالي والسرعة الفعلية والطلبات في الدقيقة.
الأسئلة الشائعة
كيف أقدّر المدة التي سيستغرقها رد نموذج لغوي؟
اقسم رموز الطلب على سرعة المعالجة المسبقة، واقسم رموز الإخراج على سرعة التوليد، وأضف أي حمل ثابت. وتفعل هذه الحاسبة ذلك من السرعات التي تدخلها.
ما الفرق بين سرعة المعالجة المسبقة وسرعة التوليد؟
المعالجة المسبقة هي مدى سرعة قراءة النموذج لطلبك ومعالجته، عادةً في كتل كبيرة متوازية، فهي سريعة لكل رمز. أما التوليد فيكتب رمزًا واحدًا في كل مرة وهو أبطأ. وكلتاهما رموز في الثانية، وتُقاسان على حدة.
هل تخبرني بالرموز في الثانية لبطاقتي الرسومية أو نموذجي؟
لا. فالسرعة تعتمد على بيئة التشغيل والتكميم والمعالجة الدفعية وطول السياق وغير ذلك كثير، لذلك لا تخمّنها هذه الأداة من اسم. قِس إعدادك أو أدخل رقمًا من مصدر تثق به.
ما هو الزمن حتى أول رمز؟
هو الانتظار قبل ظهور أول رمز مولَّد: أي حمل ثابت زائد زمن معالجة الطلب زائد أول رمز. ولا يُقدَّر إلا عندما تُدخل سرعة معالجة مسبقة.
لماذا الأرقام المتوازية حدّ أقصى فقط؟
لأنها تضرب سرعة طلب واحد في عدد الطلبات، كأن كل طلب يعمل وحده. وفي الواقع يغيّر العتاد المشترك والمعالجة الدفعية والطوابير سرعة كل طلب، فقِس الإنتاجية الفعلية تحت الحمل.
آخر تحديث: