Por qué los modelos leen tokens y no letras ni palabras
El equilibrio entre letras, palabras y pedazos de palabra, y por qué todos los modelos modernos se quedaron con los pedazos, con los bytes como red de seguridad.
Un modelo de lenguaje es un programa que hace cuentas. No puede leer directamente las letras de tu pantalla. Antes de hacer cualquier cosa con tu texto, hay que picarlo en unidades pequeñas y cambiar cada unidad por un número. Esas unidades se llaman tokens, y el picado se llama tokenización.
La pregunta obvia es: ¿qué debería ser una unidad? ¿Una sola letra? ¿Una palabra completa? Todos los modelos modernos responden “algo intermedio”, y este artículo explica por qué. Todo se reduce a un equilibrio entre cuántas unidades distintas permites y cuántas de ellas hacen falta para escribir una frase.
Dos números que tiran en sentidos opuestos
Elijas la unidad que elijas, el resultado se describe con dos números.
- El vocabulario es la lista fija de todas las unidades que conoce el modelo. Cada entrada recibe un ID, y el modelo aprende un conjunto de números aparte para cada entrada. Un vocabulario más grande significa más cosas que aprender y guardar.
- La longitud de secuencia es cuántas unidades hacen falta para escribir un texto concreto. Secuencias más largas significan más trabajo cada vez que el modelo lee o escribe.
Las unidades pequeñas dan un vocabulario pequeño pero secuencias largas. Las unidades grandes dan secuencias cortas pero un vocabulario enorme. Pruébalo abajo: el mismo texto, cortado de tres maneras.
23 caracteres · 6 palabras · 7 tokens
Mira algunos de los ejemplos. Los caracteres siempre dan la fila más larga. Las palabras dan la fila más corta en inglés, pero fallan con el japonés, que se escribe sin espacios, así que toda la frase se vuelve una sola “palabra”. La fila de subpalabras tiene una longitud parecida a la de palabras, y aun así funciona con todos los ejemplos.
Opción uno: caracteres
Usar un token por carácter tiene un atractivo real. El vocabulario es pequeño y nunca se queda corto: cualquier texto es solo una cadena de caracteres, así que el modelo nunca se puede topar con algo que no sepa escribir.
El problema es la longitud. Un carácter por sí solo lleva muy poco significado. La letra t casi no le dice nada al modelo, así que tiene que gastar su esfuerzo en volver a pegar letras para formar palabras antes de pensar en lo que significan. Y cada texto se vuelve varias veces más largo de lo necesario.
La longitud importa por dos razones concretas. Primero, el cómputo: en un transformer, cada token mira a todos los demás tokens, así que esa parte del trabajo crece con el cuadrado de la longitud. Si duplicas la longitud, esa parte cuesta unas cuatro veces más. Segundo, la ventana de contexto, el número máximo de tokens que un modelo puede recibir a la vez, es un presupuesto fijo. Si cada token contiene menos texto, cabe menos de tu documento.
“It is a truth universally acknowledged, that a single man in possession of a good fortune, must be in want of a wife.”
Opción dos: palabras completas
Las palabras completas resuelven el problema de la longitud: en inglés, el número de tokens se acerca al número de palabras. Además, cada unidad significa algo. Pero aparecen tres problemas.
- El vocabulario se dispara. Solo el inglés tiene cientos de miles de formas de palabras si cuentas plurales, tiempos verbales y compuestos (
run,runs,running,rerun…). Agrega nombres, números, errores de dedo, hashtags, código y otros idiomas, y ninguna lista está nunca completa. - Palabras desconocidas. Todo lo que falte en la lista se tiene que reemplazar por un único token comodín, que suele escribirse
[UNK]. Para el modelo, todas las palabras desconocidas se ven idénticas, así que su significado simplemente se pierde. - No todos los idiomas usan espacios. El chino, el japonés y el tailandés no ponen espacios entre palabras, así que “dividir en los espacios” ni siquiera define qué es una palabra.
Las palabras raras causan además un problema más discreto. Una palabra que aparece apenas unas cuantas veces en el texto de entrenamiento recibe su propia entrada en el vocabulario, pero el modelo ve muy pocos ejemplos para aprender mucho sobre ella.
El punto medio: pedazos de subpalabra
La tokenización por subpalabras toma la mitad útil de cada opción. Las palabras comunes, y las palabras comunes con un espacio delante, reciben un token propio, así que el inglés de todos los días se mantiene corto. Las palabras raras se deletrean con unos pocos pedazos más pequeños que a su vez son comunes: en el ejemplo de arriba, Tokenizers se convierte en Token + izers. Los pedazos se pueden reutilizar, así que el modelo aprende lo que suele significar izers a partir de muchas palabras distintas.
El vocabulario se queda en un tamaño que un modelo puede costear. El tokenizador de GPT-2 tiene unas 50,000 entradas, el tokenizador cl100k_base que usa GPT-4 tiene unas 100,000, y o200k_base tiene unas 200,000. Suena a mucho, pero es fijo y finito, a diferencia de una lista con todas las palabras.
Qué pedazos entran en la lista no lo decide un lingüista. El tokenizador los aprende de una gran muestra de texto, quedándose con los fragmentos que aparecen más seguido. Por eso los tokens rara vez coinciden con las sílabas o los prefijos del diccionario. Cómo funciona ese aprendizaje es el tema de Cómo se construyen los tokenizadores.
Los bytes: la red de seguridad
Queda una pregunta: ¿y si faltan incluso los pedazos más pequeños? Unicode, el estándar que cubre los sistemas de escritura del mundo y los emoji, tiene mucho más de 100,000 caracteres. Meterlos todos en el vocabulario desperdiciaría espacio en caracteres que casi nunca aparecen.
El truco de los tokenizadores al estilo GPT es trabajar con bytes. Las computadoras guardan el texto como bytes usando una codificación llamada UTF-8: una letra simple del inglés ocupa un byte, una letra con acento como ü ocupa dos, y la mayoría de los emoji ocupan cuatro. Solo hay 256 valores posibles de byte, así que si los 256 están en el vocabulario, se puede escribir cualquier texto, un byte a la vez si hace falta.
Lo puedes ver en el ejemplo en alemán. El emoji de jirafa 🦒 es raro, así que no hay un token único para él. En su lugar se divide en sus bytes en bruto: un token para un espacio más los dos primeros bytes F0 9F, luego A6 y luego 92. Ninguno de esos pedazos es un carácter por sí solo, pero juntos reconstruyen el emoji exactamente. Nada es desconocido nunca; las cosas raras solo cuestan más tokens. (Por qué los emoji y algunos idiomas cuestan más tokens lo analiza en detalle).
Algunos tokenizadores, como el tokenizador SentencePiece que usaban los modelos LLaMA originales, trabajan primero con caracteres y solo bajan a bytes para los caracteres que nunca vieron. El efecto es el mismo: ningún texto queda sin poder representarse.
Qué significa esto en la práctica
- Los límites y los precios van en tokens. Las ventanas de contexto y la mayoría de los precios de las API cuentan tokens, no palabras. Una regla práctica común para el inglés es que un token equivale a unas tres cuartas partes de una palabra, pero varía mucho según el idioma y el contenido.
- El mismo texto puede costar distinto. Cada modelo usa su propio tokenizador, así que la misma frase puede ser un número distinto de tokens en cada uno.
- El modelo no ve letras.
·unbelievablyes un solo token con un solo ID. El modelo nunca ve directamente las letras que tiene adentro, y esa es parte de la razón por la que las preguntas de ortografía o de contar letras pueden confundir a los modelos.
Una vez que el texto es una lista de ID de token, el siguiente paso dentro de un modelo es convertir cada ID en una lista de números con significado. Esa es la idea detrás de los embeddings, y Cómo un modelo de lenguaje convierte tus palabras en una respuesta muestra dónde encajan ambos pasos en el proceso completo. Para dividir tu propio texto con varios tokenizadores reales lado a lado, prueba el Tokenizador.
Preguntas frecuentes
¿Qué es un token en la inteligencia artificial?
Un token es un pedazo pequeño de texto que un modelo de lenguaje trata como una sola unidad: una palabra común completa, parte de una palabra más rara, un signo de puntuación o un solo byte. Cada token tiene un número de ID en el vocabulario del modelo, y el modelo solo trabaja con esos números, nunca directamente con letras.
¿Cuántas palabras son 1,000 tokens?
Para un texto normal en inglés, unas 750 palabras: una regla práctica común es que un token equivale a unas tres cuartas partes de una palabra. La proporción cambia según el tokenizador, el idioma y el contenido. El código, los números, los emoji y los idiomas distintos del inglés suelen necesitar más tokens por palabra.
¿Por qué los modelos de lenguaje no usan palabras completas como tokens?
Una lista de palabras nunca puede estar completa. Los nombres, los errores de dedo, las palabras nuevas, el código y otros idiomas se convertirían en un único token desconocido y perderían su significado, y en idiomas como el chino y el japonés no se ponen espacios entre palabras. Los tokens de subpalabra mantienen enteras las palabras comunes y deletrean las raras con pedazos más pequeños y reutilizables.
¿Por qué a la IA le cuesta contar las letras de una palabra?
El modelo ve ID de token, no letras. Una palabra como “strawberry” (“fresa”) puede ser uno o dos tokens, cada uno un solo número, así que las letras individuales no se ven directamente. El modelo tiene que haber aprendido cómo se deletrea cada token a partir de su texto de entrenamiento, y por eso las tareas de contar letras y de ortografía fallan más de lo que uno esperaría.
Lecturas recomendadas
- Byte-Pair Encoding tokenizationHugging Face LLM Course · el capítulo 6 trata los tokenizadores a fondo (en inglés)
- Let’s build the GPT TokenizerAndrej Karpathy · video · en inglés
- Byte pair encodingWikipedia · en inglés
