← Aprender · Guías del sitio
Tokens4 min de lectura

¿Qué es un token y por qué no es una palabra?

Cómo los tokenizadores cortan el texto en pedazos reutilizables, y por qué esos pedazos rara vez coinciden con las palabras.

Cuando escribes una frase en un chatbot, el modelo nunca ve tus letras, y tampoco ve tus palabras. Ve una lista de números enteros. El paso que convierte el texto en esos números se llama tokenización, y cada pedazo de texto que recibe su propio número es un token.

Aquí tienes una frase corta dividida por el tokenizador o200k_base, el que usa GPT-4o y el que viene por defecto en el Tokenizador de este sitio. Cada ficha es un token, y el número debajo es el ID de ese token: su posición en la lista de pedazos que conoce el tokenizador.

The976·cat9059·sat10139·on402·the290·mat2450.13
“The cat sat on the mat.” (“El gato se sentó en la alfombra.”) en o200k_base: 7 tokens. Los puntos marcan los espacios, que pertenecen al inicio del token siguiente.

Hasta aquí parece “una palabra, un token”. Pero ya hay dos detalles que rompen esa idea. El punto final es un token aparte. Y el espacio delante de cada palabra va pegado a la palabra: el vocabulario del modelo tiene una entrada distinta para ·cat (con espacio) y para cat (sin él).

El vocabulario es una lista fija

Un tokenizador viene con un vocabulario: una lista de pedazos de texto, cada uno emparejado con un ID. El nombre o200k_base da una pista de su tamaño, unas 200,000 entradas. El más antiguo cl100k_base (GPT-4 y GPT-3.5) tiene unas 100,000, y el de GPT-2 tiene unas 50,000.

Como la lista es fija, el tokenizador tiene que expresar cualquier entrada con los pedazos que ya tiene. Las mayúsculas, los espacios y la ortografía importan. En o200k_base, cat es el ID 8837, ·cat es el 9059 y Cat es el 23546. Para el modelo son tres números sin relación. Solo aprende que significan casi lo mismo al verlos usados de forma parecida durante el entrenamiento.

¿Por qué no usar simplemente palabras?

Un vocabulario por palabras suena más simple, pero se mete en problemas enseguida. Las palabras no se acaban nunca: nombres, errores de dedo, jerga, nombres de productos, identificadores de código, palabras de otros idiomas. Cualquier palabra que faltara en la lista tendría que reemplazarse por una marca genérica de “desconocido”, y su significado se perdería.

El extremo opuesto, un token por carácter, nunca se topa con una palabra desconocida, pero hace que cada texto sea muy largo. Los modelos trabajan más cuanto más larga es la entrada, y una sola letra casi no lleva significado por sí misma.

Los tokenizadores modernos quedan en medio. Usan pedazos de subpalabra (más pequeños que una palabra y casi siempre más grandes que una letra): las palabras comunes reciben un solo token, y las más raras se arman con unas pocas partes más pequeñas y reutilizables. El equilibrio completo se explica en Por qué los modelos leen tokens y no letras ni palabras.

o200k_base · 3 tokensunbelievable
cl100k_base · 3 tokensunbelievable
gpt2 · 4 tokensunbelievable
o200k_base, con un espacio delante · 1 token·unbelievable83614
La misma palabra (“unbelievable”, “increíble”), dividida de forma distinta por tres tokenizadores cuando abre el texto. Con un espacio delante, “ unbelievable” es un solo token en los tres.

Vale la pena mirar de nuevo esa última fila. En medio de una frase, donde la palabra va después de un espacio, es lo bastante común para ganarse su propio token. Al principio de un texto, sin espacio delante, la misma palabra es rara, así que se arma con partes.

Cómo se eligen los pedazos

Los tokenizadores de GPT usan un método llamado byte pair encoding (BPE). El entrenamiento parte de los pedazos más pequeños posibles, los bytes individuales del texto. Luego recorre una gran cantidad de texto, encuentra el par de pedazos vecinos que aparece más seguido y lo fusiona en una nueva entrada del vocabulario. Repite esto hasta que el vocabulario llega a su tamaño objetivo.

Las primeras fusiones capturan pares de letras muy comunes como in o he. Las posteriores arman palabras frecuentes completas y terminaciones como ization. Por eso tokenization sale como token + ization en los tres tokenizadores de GPT. Los pedazos son estadísticos, no gramaticales: siguen lo que era frecuente en el texto de entrenamiento, no dónde cortaría una palabra un diccionario. Para un ejemplo resuelto, fusión por fusión, mira Cómo se construyen los tokenizadores.

Las opciones de LLaMA en el Tokenizador usan otra herramienta, SentencePiece. Ahí vas a notar dos diferencias. Su vocabulario escribe los espacios como ▁ (haz clic en un token para verlo como su “pieza del vocabulario”), y todo texto empieza con un token especial <s> que marca el inicio de una secuencia.

Efectos secundarios que puedes ver

Una vez que sabes que el modelo lee tokens, algunas rarezas conocidas tienen más sentido.

  • Las preguntas de ortografía se complican. En o200k_base, strawberry (“fresa”) son tres tokens: st, raw, berry. El modelo nunca ve directamente diez letras separadas, y esa es una de las razones por las que las preguntas de contar letras confunden a los modelos.
  • Los números se cortan en trozos. Los tokenizadores de GPT dividen 1234567 en 123, 456, 7. El tokenizador de LLaMA lo divide en un token por dígito. Hacer aritmética con trozos así es más difícil de lo que parece.
  • Los límites de longitud se cuentan en tokens. La ventana de contexto de un modelo (la mayor cantidad de texto que puede leer a la vez) y muchos precios de las API se miden en tokens, no en palabras ni en caracteres.

Qué pasa después

Un ID de token por sí solo es apenas una posición en una lista. El ID 9059 no es “más” que el ID 402 en ningún sentido útil. El siguiente paso dentro de un modelo es cambiar cada ID por una lista larga de números, llamada embedding, que sí lleva significado. Ese es el tema de Cómo una palabra se convierte en 300 números.

Preguntas frecuentes

¿Qué es un token en ChatGPT?

Un token es la unidad de texto que ChatGPT lee y escribe. Las palabras comunes suelen ser un solo token, a menudo con el espacio que va delante, mientras que las palabras raras se dividen en pedazos. Cada token tiene un ID, y los límites de uso y los precios de la API se cuentan en tokens, no en palabras.

¿Cómo cuento los tokens de mi texto?

Pega el texto en una herramienta de tokenización, como el Tokenizador de WordCanvas3D, que muestra cada token y su ID para varios tokenizadores reales. En código, la biblioteca tiktoken de OpenAI cuenta los tokens para los modelos GPT. Los conteos cambian entre modelos porque cada uno tiene su propio vocabulario.

¿El espacio forma parte del token?

Por lo general, sí. Los tokenizadores al estilo GPT pegan el espacio al inicio de la palabra siguiente, así que “ cat” con espacio y “cat” sin él son tokens distintos con ID distintos. Las mayúsculas también cambian el token: “Cat” es otra entrada aparte.

¿Por qué la misma palabra se divide de formas distintas?

La división depende del vocabulario del tokenizador y del contexto, como un espacio delante o una mayúscula. “unbelievable” justo al principio de un texto son tres pedazos en o200k_base, mientras que “ unbelievable” después de un espacio es un solo token. Además, cada modelo tiene su propio vocabulario.