Cómo un modelo de lenguaje convierte tus palabras en una respuesta
Texto, tokens, vectores, un transformer y un token a la vez: todo el proceso explicado en lenguaje sencillo.
Escribes “The cat sat on the” (“El gato se sentó en la”) y un chatbot sugiere “mat” (“alfombra”). Parece que el modelo leyó tu frase, lo pensó y respondió. Lo que pasa en realidad es una cadena fija de pasos sencillos que convierte el texto en números, hace cuentas con esos números y vuelve a convertir el resultado en texto. Este artículo recorre esa cadena una vez, de principio a fin, sin dar por hecho que sabes matemáticas.
Un modelo de lenguaje es un programa entrenado para continuar texto. Un modelo de lenguaje grande (LLM) es la misma idea a una escala enorme: miles de millones de números ajustables, entrenados con una gran parte del texto que la gente ha escrito. Todo lo que sigue aplica a los modelos detrás de ChatGPT, Claude, Gemini o Llama.
Todo el proceso de un LLM, simplificado
Empieza con un prompt.
El resto del artículo recorre esos pasos uno por uno.
1. El texto se convierte en tokens
Un modelo no puede trabajar directamente con letras, así que el primer paso es un tokenizador: un programa aparte que corta el texto en pedazos llamados tokens. Un token suele ser una palabra común completa, a veces un pedazo de palabra, un signo de puntuación o un espacio. Las palabras raras se arman con varios pedazos más pequeños.
Por qué pedazos, y no letras ni palabras completas, es otra historia: mira por qué los modelos leen tokens y no letras ni palabras, y cómo se construyen los tokenizadores para conocer el algoritmo que elige los pedazos.
2. Los tokens se convierten en números de ID
Cada tokenizador tiene un vocabulario fijo: una lista numerada de todos los pedazos que conoce. Para o200k_base esa lista tiene unas 200,000 entradas. Cada token se reemplaza por su número en la lista, su ID de token. Nuestra frase se convierte en 976 9059 10139 402 290.
Estos números son solo posiciones en una lista, como números de asiento. El token 9059 (·cat) no es “más grande” ni “más” que el token 402 (·on) en ningún sentido útil. El modelo necesita algo más rico con qué trabajar.
3. Los ID se convierten en vectores
Dentro del modelo hay una tabla enorme con una fila por cada entrada del vocabulario. Cada fila es un vector: una lista de números, normalmente de unos pocos miles en un modelo grande. Buscar la fila de un token te da su embedding. Nadie escribe estos números a mano. Empiezan siendo aleatorios y se ajustan durante el entrenamiento, hasta que los tokens que se usan de forma parecida terminan con filas parecidas.
fila = ID de token · columnas = números del vector
Esa idea, el significado como posición en un espacio de números, es el corazón de qué son los embeddings, y el espacio latente explora lo que pueden capturar las direcciones de ese espacio.
4. El transformer: los tokens se miran entre sí
En este punto cada vector describe a su token por sí solo. La palabra “bank” recibe el mismo vector inicial en “river bank” (“orilla del río”) y en “bank account” (“cuenta bancaria”). El cuerpo principal del modelo, el transformer, lo resuelve. Es una pila de capas de aspecto idéntico, decenas de ellas en un modelo grande.
Cada capa hace dos cosas. Primero, atención: cada token mira hacia atrás a los tokens anteriores, decide cuáles le importan y mezcla información de ellos. Después, una pequeña red neuronal actualiza cada vector por separado. Tras muchas capas, cada vector describe a su token en contexto.
I sat by the river bank
I opened a bank account
La atención es la idea que hizo que los modelos de lenguaje modernos funcionaran tan bien. Tiene una explicación completa, paso a paso, en la atención y el transformer, explicados desde cero.
5. Solo la última posición predice
Después de la última capa sigue habiendo un vector por token. Para elegir el siguiente token, el modelo usa solo el vector de la última posición, el de ·the en nuestro ejemplo. Como la atención le permitió reunir información de todos los tokens anteriores, ese único vector lleva ahora lo que el modelo dedujo sobre toda la frase.
6. Una puntuación para cada token: los logits
El último vector se compara con cada entrada del vocabulario, lo que produce una puntuación por token: unos 200,000 números. Estas puntuaciones en bruto se llaman logits. Un logit más alto significa que el modelo considera ese token una mejor continuación. Por sí solos, los logits son difíciles de leer: pueden ser negativos y no suman nada en particular.
7. Las puntuaciones se convierten en probabilidades: softmax
Una función llamada softmax convierte los logits en probabilidades. Hace que todos los valores sean positivos y los escala para que sumen 100%. Los logits más grandes se llevan una parte mucho mayor, porque softmax aplica la exponencial a cada puntuación: dos puntos más de logit significan unas 7 veces más probabilidad.
| siguiente token | logit | probabilidad |
|---|---|---|
| ·mat | 9.0 | 38% |
| ·floor | 8.2 | 17% |
| ·bed | 7.5 | 8% |
| ·couch | 7.2 | 6% |
| ·rug | 6.8 | 4% |
| todo lo demás | menor | 27% |
8. Elegir un token
Ahora el modelo tiene una probabilidad para cada token, y algo tiene que elegir. La regla más simple, la decodificación voraz, siempre toma el primero. La mayoría de los sistemas de chat, en cambio, hacen muestreo: sacan uno al azar, ponderado por las probabilidades, así que el mismo prompt puede dar respuestas distintas.
Hay ajustes que moldean ese sorteo. El muestreo top-k se queda solo con los k tokens más probables y los reescala a 100% antes de sortear, así que los tokens muy improbables nunca pueden salir. La temperatura hace las probabilidades más marcadas o más planas. Del último vector a la siguiente palabra muestra cada uno con ejemplos interactivos.
9. Agregar y repetir
El token elegido, ·mat (ID 2450), se agrega al final del texto. Luego todo el proceso vuelve a correr sobre el texto más largo para elegir el token siguiente, y otra vez después de ese. Una respuesta de 300 tokens son 300 pasadas. Este ciclo es la razón por la que las respuestas aparecen en pantalla palabra por palabra.
Los sistemas reales evitan rehacer todo el trabajo en cada pasada guardando resultados intermedios de los tokens que ya procesaron, pero la lógica es la misma: una pasada, un token nuevo.
De dónde salen los números
Cada número que usa el modelo, la tabla de embeddings, las capas de atención y la puntuación final, es un parámetro aprendido en el entrenamiento. El entrenamiento le muestra al modelo cantidades enormes de texto, le pide predecir cada siguiente token y ajusta un poquito todos los parámetros para que el token correcto sea un poco más probable. Repetidos a lo largo de billones de tokens, esos ajustes dan como resultado un modelo que continúa bien el texto. Los asistentes de chat reciben entrenamiento adicional con conversaciones para que sus continuaciones suenen a respuestas útiles.
Ideas equivocadas comunes
- “Escribe toda la respuesta de una vez.” No. Predice un solo token, lo agrega y vuelve a correr. No tiene una respuesta terminada esperando; cada token se elige solo a partir del texto que hay hasta ese momento.
- “Busca la respuesta.” Adentro no hay ninguna base de datos de preguntas y respuestas. Solo está el conjunto fijo de parámetros aprendidos, y la respuesta se calcula de cero a partir de ellos cada vez. Por eso también un modelo puede afirmar algo falso con total seguridad: nada compara el resultado con una fuente.
- “Entiende como una persona.” Lo que tiene el modelo son patrones estadísticos aprendidos del texto, lo bastante ricos para capturar gramática, datos y algo de razonamiento. Si eso cuenta como entender está en debate. Lo que es seguro es que aprendió del texto, no de ver, tocar o vivir en el mundo.
A dónde seguir
Cada paso de arriba tiene su propio artículo: tokens, tokenizadores, embeddings, espacio latente, atención y cómo se elige el siguiente token. En este sitio puedes dividir tu propio texto con el Tokenizador y explorar vectores de palabras en el explorador de Embeddings.
Preguntas frecuentes
¿Cómo genera texto un modelo de lenguaje grande (LLM)?
Divide tu texto en tokens, convierte cada ID de token en un vector y pasa esos vectores por un transformer. La salida en la última posición se convierte en una puntuación para cada token del vocabulario. Softmax convierte las puntuaciones en probabilidades, se elige un token, se agrega al texto y el ciclo se repite hasta terminar la respuesta.
¿ChatGPT entiende lo que dice?
No lee ni piensa como las personas. Aprendió, a partir de cantidades enormes de texto, qué tokens suelen venir después de cuáles, y esos patrones capturan mucha gramática, datos y razonamiento. Si eso cuenta como entender está en debate, pero en lo mecánico cada respuesta se arma un token predicho a la vez.
¿Por qué una IA da respuestas distintas a la misma pregunta?
En cada paso el modelo produce probabilidades, no una sola respuesta fija, y la mayoría de las apps de chat hacen muestreo a partir de esas probabilidades en lugar de tomar siempre el token más probable. Ajustes como la temperatura y top-p controlan cuánto azar se permite. Sin muestreo, el mismo modelo con el mismo prompt da la misma salida.
¿De dónde saca su conocimiento un modelo de lenguaje?
Del entrenamiento. El modelo lee una colección muy grande de texto y ajusta miles de millones de números, sus parámetros, para predecir mejor el siguiente token. Los datos quedan guardados de forma implícita en esos números. No busca nada mientras responde, a menos que la app que lo rodea agregue un paso de búsqueda o recuperación.
Lecturas recomendadas
- But what is a GPT? Visual intro to transformers3Blue1Brown, YouTube · el mejor recorrido visual de todo este proceso (ahora se titula “Transformers, the tech behind LLMs”; en inglés)
- The Illustrated GPT-2Jay Alammar · el mismo proceso dibujado paso a paso, un nivel más a fondo (en inglés)
- LLM VisualizationBrendan Bycroft · un recorrido en 3D por cada número de un GPT real pequeño (en inglés)
