رموز الذكاء الاصطناعي والكلمات: قِس الطلب قبل تقدير التكلفة

افصل الكلمات ومحارف Unicode والرموز

قد تصبح الكلمة رمزاً واحداً أو أجزاء عدة مع علامات الترقيم والمسافات. يشرح Hugging Face طرق الكلمات والمحارف والأجزاء الفرعية. تؤثر اللغة والإملاء والكود والمسافات ومفردات المحلل في النتيجة، لذلك لا يكفي طول النص الظاهر.

يجيب عد Unicode عن سؤال آخر: قد يحتاج المحرف وحدات ترميز أو بايتات متعددة، وقد يتكون الرمز المرئي من نقاط ترميز عدة. لا يوجد تحويل عالمي من أي منها إلى رموز نموذج. نسبة الحروف لكل رمز تقريب لعينة محددة، لا خاصية ثابتة لكل اللغات.

عُد عينة محلية بمحلل معلوم

عند استعمال صيغة Hugging Face tokenizers حمّل tokenizer.json الصحيح محلياً وشفّر ملف UTF-8. دوّن هوية النموذج أو المحلل وإصدار ملفه والحزمة وإدراج الرموز الخاصة. يستهدف المثال واجهة tokenizers 0.23.2 ، ويعطل الحشو والاقتطاع ويعد النص الخام دون إضافة رموز خاصة.

احصل على ملف المحلل من التوزيع الرسمي للنموذج المقصود. لا ينزل المثال نموذجاً ولا يرسل النص إلى خادم ولا يحاكي قالب API مستضاف كاملاً. يفيد الناتج فقط إذا طابق المحلل والإعدادات السؤال الذي تقيسه؛ نجاح تشغيل الكود لا يكفي لإثبات مطابقة الفوترة.

# Example environment: tokenizers==0.23.2
from pathlib import Path
from importlib.metadata import version
from tokenizers import Tokenizer

# Use the matching tokenizer.json already saved locally.
tokenizer = Tokenizer.from_file("tokenizer.json")
tokenizer.no_padding()
tokenizer.no_truncation()
text = Path("sample.txt").read_text(encoding="utf-8")
encoded = tokenizer.encode(text, add_special_tokens=False)
print("tokenizers version:", version("tokenizers"))
print("raw-text tokens:", len(encoded.ids))
# Record tokenizer identity/revision separately.
# This is not a complete chat-request or billing count.

احتسب الطلب كله عند تخطيط السياق

قد يضم طلب المحادثة تعليمات النظام والسجل والمقاطع المسترجعة وتعريفات الأدوات والتنسيق بجانب الرسالة الأخيرة. قد يضيف قالب المحادثة رموز تحكم حول الأدوار والحدود. عد الفقرة الأخيرة فقط قد يقلل تقدير المدخلات بصورة كبيرة.

للمزود المستضاف استخدم وسيلة عد الطلب الموثقة عندما تدعم أنواع مدخلاتك. تصف وثائق Claude عد المدخلات المنظمة وحالات تتطلب بيانات الاستخدام الفعلي. التزم بحدود التقدير المعلنة، خصوصاً للأدوات والصور والمستندات؛ لا تعامل كل مدخل كنص بسيط.

لا تلصق بيانات الدخول أو نصوص العملاء الحساسة في عدادات مجهولة. يعمل المحلل المحلي على النص الخام، بينما يرسل نداء المزود الطلب إليه. اختر المسار المناسب للبيانات قبل القياس، وسجّل ما الذي أرسلته وما الذي قسته محلياً.

أنشئ ورقة مقارنة قابلة لإعادة التنفيذ

اختر عينات تمثل التطبيق: رسالة دعم وكود وجدول ومقطع بكل لغة مستخدمة. احتفظ بالبايتات الأصلية حتى لا تغير المقارنة نهايات الأسطر أو الترقيم أو المسافات بين تشغيلين. اختلاف الإدخال يمنع نسبة الفرق إلى المحلل وحده.

لكل عينة دوّن الهوية والإصدار وخيار الرموز الخاصة وعد النص وتقدير الطلب الكامل إن توفر. اترك غير المقاس فارغاً بدلاً من إحلال نسبة تخمينية. اختلاف العد بين محللين نتيجة لهذه العينات، وليس تصنيفاً لجودة اللغة أو فهم النموذج.

احجز مساحة المخرجات قبل زيادة المدخلات

في مثال افتراضي يسمح النموذج بسياق إجمالي 32,000 رمز لهذا النوع من الطلبات. احجز 4,000 للمخرجات و 2,000 هامش تخطيط؛ تبقى 26,000 للمدخلات المقاسة. إذا استهلكت التعليمات والسجل والأدوات 8,000 ، بقي 18,000 للمحتوى المسترجع.

ليست هذه مواصفات نموذج حالي. قد يعرّف المزود السياق والمخرجات والاستدلال والأدوات بصورة مختلفة. راجع العقد الحالي وأدخل قياساتك في حاسب ميزانية السياق. دخول الطلب في الحد لا يعني أن كل مقطع مدخل مفيد للمهمة؛ الميزانية ليست بديلاً عن اختيار المحتوى.

Hypothetical planning budget:
32,000 combined context
− 4,000 output reserve
− 2,000 planning buffer
= 26,000 input budget

26,000 − 8,000 instructions/history/tools
= 18,000 available for retrieved content

طابق التقدير مع الاستخدام والتكلفة الفعليين

بعد اختبار حقيقي صغير احتفظ بحقول الاستخدام المعادة وقارنها بتقدير الطلب نفسه. افصل المدخلات المخزنة والمخرجات والاستدلال وغيرها من فئات الفوترة الموثقة. تقدير أغفل تعريف أداة لا يصلحه تغيير نسبة الكلمات إلى الرموز.

استخدم حاسب تكلفة الرموز مع الأعداد المقاسة والأسعار الحالية التي تدخلها. افصل المدخل والمخرج واحتفظ بوحدة السعر مثل التكلفة لكل مليون رمز. ورقة التكلفة المفيدة قابلة للإعادة من الاستخدام والأسعار المعلنة، ولا تعتمد على تحويل عالمي من الكلمات.