Por qué los emoji y otros idiomas cuestan más tokens
Bytes UTF-8, BPE a nivel de bytes y por qué el mismo saludo puede ocupar 4 tokens o 25.
Escribe “Hello, world.” (“Hola, mundo.”) en el Tokenizador y obtienes 4 tokens. Escribe el mismo saludo en hindi y, según el tokenizador, puedes obtener desde 6 hasta 25. Los emoji se comportan parecido: un solo 🎉 puede ocupar dos, tres o más tokens. Nada de esto es al azar. Viene de cómo se guarda el texto como bytes y de lo que el tokenizador vio durante el entrenamiento.
Todo empieza como bytes
Las computadoras guardan el texto usando una codificación, una regla fija para convertir cada carácter en bytes (un byte es un número pequeño del 0 al 255, la unidad básica de la memoria de una computadora). Hoy casi todo usa UTF-8, que le da a cada carácter entre uno y cuatro bytes:
- Letras latinas básicas, dígitos y signos de puntuación: 1 byte cada uno.
- Letras árabes, hebreas, griegas y cirílicas: 2 bytes cada una.
- Caracteres devanagari (los del hindi), chinos y japoneses: 3 bytes cada uno.
- La mayoría de los emoji: 4 bytes cada uno.
Lo puedes ver en el Tokenizador: debajo de la entrada muestra el número de puntos de código (los caracteres numerados del estándar Unicode; más o menos, caracteres) y de bytes UTF-8. “Hello, world.” son 13 caracteres y 13 bytes. El “नमस्ते दुनिया।” en hindi son 14 puntos de código pero 40 bytes.
Las fusiones siguen a los datos de entrenamiento
Los tokenizadores de GPT son tokenizadores BPE a nivel de bytes. Parten de bytes sueltos y aprenden fusiones de un gran montón de texto de entrenamiento, quedándose con los pares que aparecen más seguido. (La primera guía, Qué es un token, da la versión corta; Cómo se construyen los tokenizadores recorre las fusiones paso a paso).
Si el texto de entrenamiento está casi todo en inglés, la mayoría de las fusiones terminan siendo palabras y partes de palabras del inglés. Otras escrituras reciben menos fusiones, así que su texto se queda dividido en pedazos más pequeños. En el peor de los casos, un solo carácter queda repartido entre varios tokens, porque sus bytes nunca se fusionaron.
Hay dos cosas que llaman la atención. Primero, el inglés cuesta los mismos 4 tokens en todos, porque cada uno de estos vocabularios aprendió Hello, , y ·world hace mucho. Segundo, el más nuevo, o200k_base, es mucho mejor con las demás escrituras. Su vocabulario es más o menos el doble de grande que el de cl100k_base, y sus entradas extra incluyen muchos más pedazos de texto que no está en inglés. 世界 (“mundo” en japonés) es un token en o200k_base, mientras que cl100k_base necesita tres y parte 世 en bytes en bruto.
Emoji: varios bytes, a veces varios caracteres
El emoji 🎉 es un carácter guardado como cuatro bytes: F0 9F 8E 89. Un tokenizador que no haya fusionado esos bytes en un solo pedazo tiene que gastar varios tokens en él. El Tokenizador muestra en bytes hexadecimales los pedazos que son solo parte de un carácter, así que puedes ver exactamente dónde se hace el corte.
Los emoji populares como 👍 y ✅ son un solo token en o200k_base, mientras que en cl100k_base todavía ocupan dos o tres.
Algunos emoji ni siquiera son un solo carácter. 🛠️ es el símbolo del martillo y la llave más un selector de variación invisible que pide el estilo de emoji a color. Eso da 4 tokens en los dos tokenizadores de la época de GPT-4. Los emoji de familia como 👨👩👧 son varias personas pegadas con caracteres invisibles de “unión de ancho cero” (zero width joiner): 5 puntos de código, 18 bytes y 8 tokens en o200k_base, para lo que parece un solo símbolo.
Por qué importa el conteo
- Costo. Muchas API de IA cobran por token, así que el mismo mensaje puede costar más en un idioma que en otro.
- Contexto. La ventana de contexto de un modelo es un presupuesto de tokens. El texto que necesita más tokens la llena antes.
- Velocidad. Los modelos generan un token a la vez, así que una respuesta que necesita más tokens tarda más en escribirse.
Por eso también importan los cambios de tokenizador. Pasar de cl100k_base a o200k_base redujo el saludo en hindi de arriba de 15 tokens a 6, sin cambiar nada del texto.
Lo que conviene recordar
- Cuenta con el tokenizador correcto. El mismo texto da conteos distintos en vocabularios distintos, así que el conteo de un modelo no sirve para otro.
- La decoración no es gratis. Los emoji, los caracteres de dibujo de recuadros y los símbolos llamativos en un prompt pueden costar varios tokens cada uno sin agregar mucho significado.
- Nada es nunca “desconocido”. Como los tokenizadores a nivel de bytes siempre pueden recurrir a bytes sueltos, se puede codificar cualquier texto. El texto raro no se rechaza, solo sale caro.
Pruébalo
El Tokenizador tiene dos ejemplos hechos para este artículo: Escrituras del mundo y Emoji. Carga uno, luego cambia de tokenizador y mira cómo cambia el número de tokens. Activa también el tokenizador de LLaMA: usa más o menos un token por carácter para estas escrituras, y bytes en bruto para la mayoría de los emoji.
Preguntas frecuentes
¿Por qué los emoji usan tantos tokens?
La mayoría de los emoji ocupan cuatro bytes en UTF-8, y algunos son varios emoji unidos, como los tonos de piel o los emoji de familia. Los emoji raros no tienen un token propio, así que un tokenizador a nivel de bytes los escribe en pedazos de bytes. Un solo emoji puede costar desde un token hasta más de diez.
¿Por qué otros idiomas distintos del inglés cuestan más tokens?
Los tokenizadores aprenden sus pedazos de texto de entrenamiento que suele estar casi todo en inglés, así que las palabras en inglés reciben tokens largos y eficientes. Las escrituras que aparecen menos, o que necesitan más bytes por carácter en UTF-8, se dividen en pedazos más pequeños. La misma frase puede ocupar varias veces más tokens en hindi, tailandés o birmano que en inglés.
¿Los tokenizadores más nuevos cierran la brecha entre idiomas?
En parte. Los vocabularios más grandes entrenados con más texto multilingüe, como o200k_base, el que usa GPT-4o, reducen el número de tokens de muchos idiomas comparados con tokenizadores más antiguos como cl100k_base. La brecha se achica pero no desaparece, porque los datos de entrenamiento siguen siendo desiguales entre idiomas.
¿Usar más tokens cuesta más dinero?
Sí, en la mayoría de las API de IA. Los precios se cobran por token de entrada y de salida, y las ventanas de contexto se miden en tokens, así que el texto que se divide en más pedazos cuesta más y llena antes la ventana de contexto.
