Yapay zekâ tokenı ve kelime: maliyetten önce isteği ölçün

Kelime, Unicode karakteri ve tokenı ayırın

Bir kelime tek token, birkaç alt parça veya boşluk ve işaret içeren birimler olabilir. Kelime, karakter ve alt kelime yöntemleri farklıdır. Dil, yazım, kod, boşluk ve sözlük bölünmeyi etkiler.

Unicode sayısı başka soruyu yanıtlar. Karakter birden çok kod birimi veya bayt, görünen simge birden çok kod noktası içerebilir. Evrensel token dönüşümü yoktur. Karakter-token oranı yalnız belirtilen örneklem için kaba yaklaşım olabilir.

Bilinen tokenizer ile yerel örnek sayın

Hugging Face biçiminde doğru yerel tokenizer.json dosyasını yükleyip UTF-8 metni kodlayın. Model kimliği, dosya revizyonu, paket sürümü ve özel token ayarını kaydedin. Örnek tokenizers 0.23.2 kullanır; doldurma ve kesmeyi kapatır, özel token eklemez.

Dosyayı hedef modelin resmî dağıtımından alın. Kod model indirmez, metni sunucuya göndermez ve tam sohbet API biçimini üretmez. Sayı ancak tokenizer ile ayarlar ölçtüğünüz soruya uyuyorsa anlamlıdır.

# Example environment: tokenizers==0.23.2
from pathlib import Path
from importlib.metadata import version
from tokenizers import Tokenizer

# Use the matching tokenizer.json already saved locally.
tokenizer = Tokenizer.from_file("tokenizer.json")
tokenizer.no_padding()
tokenizer.no_truncation()
text = Path("sample.txt").read_text(encoding="utf-8")
encoded = tokenizer.encode(text, add_special_tokens=False)
print("tokenizers version:", version("tokenizers"))
print("raw-text tokens:", len(encoded.ids))
# Record tokenizer identity/revision separately.
# This is not a complete chat-request or billing count.

Bağlam planında bütün isteği dahil edin

Sohbette son mesaja sistem talimatı, geçmiş, getirilen pasajlar, araç tanımları ve biçim eklenebilir. Sohbet şablonları roller ve mesaj sınırlarına kontrol tokenları koyar. Yalnız son paragrafı saymak girdiyi eksik gösterir.

Mevcutsa giriş türlerinizi destekleyen resmî istek sayımını kullanın. Araç, görsel ve belgelerin tahmin sınırları veya gerçek kullanım gereksinimleri olabilir. Bilinmeyen çevrimiçi sayaçlara kimlik bilgisi ve hassas metin vermeyin: yerel işlemle sağlayıcı uç noktasının veri akışı farklıdır.

Tekrarlanabilir karşılaştırma tablosu oluşturun

Tipik destek mesajı, kod, tablo ve uygulamanın her dilinde pasaj seçin. Satır sonu, noktalama ve boşluğun denemeler arasında değişmemesi için tam baytları koruyun.

Tokenizer kimliği ve revizyonu, özel token ayarı, ham metin sayısı ve varsa tam istek tahminini kaydedin. Ölçülmeyeni tahmini oranla doldurmayın. Farklı sayılar bu örneklerde ölçülen farktır, dil kalitesi sıralaması değildir.

Yeni girdi eklemeden çıktı alanı ayırın

Varsayımsal 32,000 birleşik bağlamdan 4,000 çıktı, 2,000 planlama payı ayrılırsa ölçülen giriş için 26,000 kalır. Talimat, geçmiş ve araçlar 8,000 kullanıyorsa getirilen içerik için 18,000 kalır.

Bunlar güncel model özelliği değil, açık varsayımlardır. Bağlam, çıktı, akıl yürütme ve araç kullanımı farklı tanımlanabilir. Güncel sözleşmeyi kontrol edip gerçek miktarları bağlam hesabına girin. Sınıra sığmak her pasajın yararlı olduğu anlamına gelmez.

Hypothetical planning budget:
32,000 combined context
− 4,000 output reserve
− 2,000 planning buffer
= 26,000 input budget

26,000 − 8,000 instructions/history/tools
= 18,000 available for retrieved content

Tahmini gerçek kullanım ve maliyetle karşılaştırın

Küçük gerçek denemeden sonra dönen kullanım alanlarını kaydedip aynı isteğin tahminiyle karşılaştırın. Önbellek girdisi, çıktı, akıl yürütme ve diğer belgelenmiş ücret kategorilerini ayırın. Eksik araç tanımı kelime-token oranı değiştirilerek düzelmez.

Maliyet hesabında gerçek token sayısıyla girdiğiniz güncel fiyatları kullanın. Giriş ve çıkışı ayrı, milyon başına fiyat gibi birimleri görünür tutun. Tekrarlanabilir bütçe evrensel kelime dönüşümüne değil ölçülmüş kullanım ve belirtilmiş tarifeye dayanır.