← Aprender · Fundamentos
Transformers5 min de lectura

Del último vector a la siguiente palabra

Logits, softmax, temperatura, top-k y top-p: cómo un modelo elige qué decir a continuación.

Un modelo de lenguaje lee tu texto como tokens, convierte cada uno en un vector y pasa esos vectores por una pila de bloques del transformer (La atención y el transformer explica esa parte). Al final, cada token tiene un vector refinado. Pero se supone que el modelo debe escribir algo. Este artículo sigue el último paso: de una lista de números a una siguiente palabra de verdad, y luego la siguiente, y la siguiente.

Un vector, una pregunta

Para predecir lo que viene, el modelo solo necesita el vector final del último token. Gracias a la atención, ese vector ya reunió lo que necesita de todo lo anterior. En la versión más pequeña de GPT-2 tiene 768 números.

El vocabulario del modelo, la lista fija de tokens que conoce (mira Por qué los modelos leen tokens), tiene 50,257 entradas en GPT-2. Ahora el trabajo es darle a cada una de esas entradas una puntuación de “¿qué tan bien encajaría como lo siguiente?”.

Del vector a las puntuaciones: el unembedding

La puntuación es una sola multiplicación. El modelo tiene una gran tabla aprendida llamada matriz de unembedding (o capa de salida), con una columna de 768 números por cada token del vocabulario. Multiplicar el último vector por esta matriz es lo mismo que calcular un producto punto con cada columna: multiplicar número por número y sumar. Una columna que apunta en una dirección parecida a la del vector obtiene una puntuación alta.

El resultado es un número por token, 50,257 en total. Estas puntuaciones en bruto se llaman logits. Pueden ser de cualquier tamaño y pueden ser negativas; solo importan sus diferencias. En GPT-2, la matriz de unembedding es la misma tabla que la tabla de embeddings del primer paso, reutilizada (un truco llamado weight tying, o pesos compartidos). Muchos modelos más nuevos tienen dos tablas separadas.

El último paso de un modelo del tamaño de GPT-2. Las formas de las barras son decorativas; los tamaños (768 y 50,257) son los de GPT-2 small. Solo la matriz de unembedding contiene 768 × 50,257 ≈ 38.6 millones de números.

De las puntuaciones a las probabilidades: softmax

Los logits son difíciles de usar directamente. Lo que queremos es una probabilidad para cada token: un número entre 0 y 1, y que todos sumen 1. La función que hace esto es softmax. Para cada logit calcula e elevado a ese logit (lo que vuelve positivo cada número y estira las diferencias) y luego lo divide entre el total.

Por ejemplo, unos logits de 2.0, 1.0 y 0.1 se convierten en probabilidades de alrededor de 65.9%, 24.2% y 9.9%. El logit más grande se lleva la mayor parte, pero todos conservan una porción. Esta lista de probabilidades es la verdadera salida del modelo: no una palabra, sino una distribución de probabilidad sobre todas las palabras que podría decir a continuación.

Elegir una palabra: la decodificación

Convertir esa distribución en un solo token se llama decodificación, y hay varias maneras de hacerlo. Pruébalas abajo. Las palabras candidatas y sus logits son inventados para ilustrar, y para que todo se lea fácil hacemos como si el vocabulario tuviera solo estas 12 palabras. Las matemáticas que se les aplican son las reales.

The cat sat on the ___

  1. mat5.241.3%
  2. floor4.418.6%
  3. couch3.911.3%
  4. bed3.68.3%
  5. sofa3.36.2%
  6. chair2.94.1%
  7. rug2.73.4%
  8. windowsill2.42.5%
  9. table2.11.9%
  10. roof1.61.1%
  11. edge1.20.8%
  12. keyboard0.90.6%

Presiona “Sacar una palabra” varias veces y mira cómo cambian las respuestas.

Logits ilustrativos para la palabra que sigue a “The cat sat on the” (“El gato se sentó en la”). Mover un control deslizante recalcula las probabilidades con exactitud: primero la temperatura, luego top-k, luego top-p, y después las palabras que quedan se reescalan para sumar 100%. Las palabras descartadas aparecen tachadas. “Sacar una palabra” elige una palabra al azar usando las probabilidades que se muestran.

Esto es lo que hace cada control.

  • La decodificación voraz siempre toma el token más probable. Pon la temperatura en 0 para verlo: “mat” recibe 100% y todos los sorteos dan lo mismo. La decodificación voraz es predecible, pero en textos largos tiende a producir una escritura sosa y repetitiva.
  • La temperatura divide cada logit entre un número T antes del softmax. Por debajo de 1, las diferencias crecen, así que la favorita se queda con todavía más probabilidad. Por encima de 1, las diferencias se achican y las palabras improbables tienen una oportunidad real. Nunca cambia el orden de las palabras, solo qué tan concentrada está la probabilidad.
  • Top-k se queda solo con los k tokens más probables y descarta el resto. Así el modelo nunca elige algo muy improbable de la larga cola de un vocabulario grande. Su punto débil es que k es fijo: a veces solo tienen sentido dos palabras, y a veces cientos.
  • Top-p, también llamado muestreo de núcleo (nucleus sampling), se queda con el grupo más pequeño de tokens principales cuyas probabilidades suman al menos p. Cuando el modelo está seguro, ese grupo es diminuto; cuando encajan muchas palabras, crece. Pon top-p en 0.50 arriba y solo sobreviven “mat” y “floor”, porque “mat” por sí sola tiene 41.3%, apenas por debajo de la mitad.
Temperaturalogit 2.0logit 1.0logit 0.1
T = 0.586.4%11.7%1.9%
T = 165.9%24.2%9.9%
T = 250.2%30.4%19.4%
Los mismos logits (2.0, 1.0, 0.1) pasados por softmax a tres temperaturas. Una temperatura más baja hace la distribución más marcada; una más alta la aplana.

Por qué la misma pregunta recibe respuestas distintas

A menos que la decodificación sea voraz, el modelo hace un sorteo al azar en cada token. Una palabra con 25% saldrá más o menos una de cada cuatro veces. En cuanto sale una palabra distinta, todo lo que sigue se predice a partir de un texto distinto, así que las pequeñas diferencias del principio crecen hasta dar respuestas completamente distintas. Por eso hacerle la misma pregunta dos veces a un chatbot puede dar dos respuestas distintas, y por eso existen ajustes como la temperatura: te permiten cambiar variedad por previsibilidad.

El ciclo: agregar y repetir

Una pasada por el modelo produce un token. Para escribir una frase, el modelo agrega el token elegido al final de la entrada y vuelve a correr, prediciendo el token que sigue. Esto se llama generación autorregresiva: cada paso se alimenta de su propia salida anterior. También es la razón por la que las respuestas aparecen en pantalla palabra por palabra.

paso 1Thecatsatonthemat
paso 2Thecatsatonthemat.
paso 3Thecatsatonthemat.<|endoftext|>fin
Una ejecución ilustrativa del ciclo de generación. Cada paso agrega un token y vuelve a correr el modelo, hasta que elige el token de fin de texto.

La generación se detiene de una de dos maneras:

  • Un token de fin de secuencia. El vocabulario contiene un token especial que significa “este texto terminó”. En GPT-2 es <|endoftext|>, ID 50256. Durante el entrenamiento, el modelo aprendió que los textos terminan con él, así que puede predecirlo como cualquier otro token. Cuando sale, la generación se detiene.
  • Un límite de longitud. El programa que corre el modelo fija un número máximo de tokens nuevos. Si se llega primero a ese límite, el texto se corta, a veces a mitad de una frase.

Los sistemas reales agregan mejoras, como reutilizar cálculos anteriores para que cada paso no empiece de cero, o buscar varias continuaciones candidatas a la vez (beam search, o búsqueda en haz). Pero el núcleo es exactamente esto: vector, logits, softmax, elegir uno, agregar, repetir.

¿Quieres ver los tokens con los que trabaja de verdad un modelo? El Tokenizador de este sitio divide cualquier texto en tokens de GPT y LLaMA con sus ID.

Preguntas frecuentes

¿Qué son los logits en un modelo de lenguaje?

Los logits son las puntuaciones en bruto que un modelo le da a cada token de su vocabulario para la siguiente posición. Salen de multiplicar el vector final por una matriz de unembedding. Más alto significa más probable, pero los logits solo se vuelven probabilidades después de que softmax los convierte en números entre 0 y 1 que suman 1.

¿Qué hace la temperatura en un LLM?

La temperatura reescala los logits antes del softmax. Por debajo de 1, hace la distribución más marcada para que dominen los tokens principales y las respuestas sean más predecibles. Por encima de 1, la aplana, lo que da más oportunidad a los tokens improbables y hace la salida más variada pero más propensa a errores. Una temperatura de 0 equivale en la práctica a tomar siempre el token más probable.

¿Cuál es la diferencia entre el muestreo top-k y top-p?

Top-k se queda solo con los k tokens más probables y hace el muestreo entre ellos. Top-p, también llamado muestreo de núcleo, se queda con el conjunto más pequeño de tokens cuyas probabilidades suman p, por ejemplo 0.9, así que el número de opciones crece cuando el modelo duda y se reduce cuando está seguro.

¿Un modelo de lenguaje planea toda su respuesta de antemano?

No de forma explícita. Produce un token a la vez, y cada token nuevo se agrega a la entrada antes de predecir el siguiente. Su estado interno puede llevar información sobre hacia dónde va una frase, pero no hay un borrador terminado aparte que vaya leyendo en voz alta.

Lecturas recomendadas