Tokens de IA y palabras: cuenta la solicitud antes de estimar el coste

Distingue palabras, caracteres Unicode y tokens

Una palabra puede convertirse en un token, varios fragmentos o unidades que incluyen espacios y signos. Los enfoques por palabras, caracteres y subpalabras difieren. Idioma, código, ortografía, espacios y vocabulario influyen.

Contar caracteres Unicode responde otra pregunta. Un carácter puede necesitar varias unidades de código o bytes y un símbolo visible varios puntos de código. No existe una conversión universal a tokens; una proporción solo aproxima una muestra declarada.

Mide una muestra local con el tokenizador correcto

Para el formato Hugging Face, carga el tokenizer.json adecuado y codifica un archivo UTF-8. Registra modelo, revisión del tokenizador, versión del paquete y uso de tokens especiales. El ejemplo usa tokenizers 0.23.2, desactiva relleno y truncamiento y no añade tokens especiales.

Obtén el archivo de la distribución oficial del modelo. Este código no descarga el modelo, envía texto ni reproduce toda una API de conversación. Solo responde la pregunta cuyo tokenizador y ajustes coinciden.

# Example environment: tokenizers==0.23.2
from pathlib import Path
from importlib.metadata import version
from tokenizers import Tokenizer

# Use the matching tokenizer.json already saved locally.
tokenizer = Tokenizer.from_file("tokenizer.json")
tokenizer.no_padding()
tokenizer.no_truncation()
text = Path("sample.txt").read_text(encoding="utf-8")
encoded = tokenizer.encode(text, add_special_tokens=False)
print("tokenizers version:", version("tokenizers"))
print("raw-text tokens:", len(encoded.ids))
# Record tokenizer identity/revision separately.
# This is not a complete chat-request or billing count.

Incluye toda la solicitud al planificar contexto

Una conversación puede añadir instrucciones, historial, fragmentos recuperados, herramientas y formato al mensaje reciente. Las plantillas insertan tokens de control entre roles y mensajes; contar solo el último párrafo subestima la entrada.

Usa el método oficial de conteo cuando exista y admita tus tipos de entrada. Las herramientas, imágenes y documentos pueden tener limitaciones de estimación o exigir consultar el uso real. No envíes credenciales ni datos sensibles a contadores desconocidos: un contador local y una API remota tienen tratamientos de datos distintos.

Crea una hoja reproducible de mediciones

Elige mensajes habituales, código, tablas y textos de cada idioma de la aplicación. Conserva los bytes exactos para no alterar saltos, puntuación o espacios entre ejecuciones.

Anota identificador y revisión, tokens especiales, conteo bruto y estimación completa cuando exista. Deja sin medir lo desconocido. Diferencias entre tokenizadores describen estas muestras, no su calidad lingüística.

Reserva salida antes de añadir entrada

En el ejemplo hipotético, un contexto combinado de 32,000 reserva 4,000 para salida y 2,000 como margen: quedan 26,000 para entrada medida. Si instrucciones, historial y herramientas ocupan 8,000, quedan 18,000 para contenido recuperado.

No es una especificación actual de ningún modelo. Contexto, salida, razonamiento y herramientas pueden definirse distinto. Comprueba el contrato vigente e introduce cantidades reales en la calculadora. Caber en el contexto no convierte todo el texto en útil.

Hypothetical planning budget:
32,000 combined context
− 4,000 output reserve
− 2,000 planning buffer
= 26,000 input budget

26,000 − 8,000 instructions/history/tools
= 18,000 available for retrieved content

Contrasta estimación, consumo y coste

Tras una prueba pequeña, guarda el uso devuelto y compáralo con la misma solicitud estimada. Separa entrada almacenada, salida, razonamiento y demás categorías documentadas. Omitir una herramienta no se corrige cambiando la proporción palabras-tokens.

Calcula coste con tokens reales y precios vigentes que proporciones. Separa entrada y salida y conserva unidades, como precio por millón. Un presupuesto reproducible depende de uso medido y tarifas declaradas, no de una conversión universal de palabras.