← Aprender · Fundamentos
Transformers7 min de lectura

La atención y el transformer, explicados desde cero

Cómo cada token mira a los demás para actualizar su significado, y cómo apilar esa idea construye un transformer.

Para cuando un modelo de lenguaje empieza a pensar en tu texto, cada token ya se cambió por una lista de números, su embedding(mira ¿Qué son los embeddings?). Pero ese primer vector sale de una tabla de búsqueda. Es el mismo cada vez que aparece el token, sin importar la frase que lo rodee. Este artículo explica la idea que resuelve eso, la atención, y cómo se empaqueta en el transformer, el diseño detrás de casi todos los modelos de lenguaje modernos.

Por qué importa el contexto

Mira la palabra “bank” en estas dos frases (“Nos sentamos en la orilla del río” y “Ella depositó efectivo en el banco”).

frase 1Wesatontheriverbankorilla
frase 2Shepaidcashintothebankdinero
El mismo token, dos significados. Solo las palabras de alrededor permiten distinguirlos.

Una tabla de búsqueda le da a “bank” un solo vector en las dos. Una persona lee “river” (río) y sabe al instante de qué “bank” se trata. Los pronombres dependen todavía más del contexto: en “The animal didn’t cross the street because it was too tired” (“El animal no cruzó la calle porque estaba demasiado cansado”), la palabra “it” no significa nada hasta que te das cuenta de que apunta hacia atrás, a “the animal”.

Así que un modelo necesita una forma de que cada token reúna información de otros tokens y actualice su propio vector. Eso es exactamente lo que hace la atención.

La atención: cada token hace una pregunta

Esta es la intuición. Cada token se pregunta: “¿cuáles de los otros tokens me importan?”. Le da una puntuación a cada token que puede ver, convierte las puntuaciones en porcentajes y luego toma una mezcla de la información de esos tokens, poniendo más de los que tienen porcentajes más altos. Estos porcentajes se llaman pesos de atención.

  1. The6%
  2. animal62%
  3. didn't0%
  4. cross0%
  5. the0%
  6. street14%
  7. because6%
  8. it12%
  9. wasoculto
  10. toooculto
  11. tiredoculto

“it” pone el 62% de su atención en “animal”. Los tokens posteriores le quedan ocultos.

Pesos ilustrativos, escritos a mano para mostrar la idea; no salen de un modelo real. Pasa el cursor, toca o navega con tabulador a un token de la izquierda para ver cuánta atención le presta a cada token de la derecha. Los tokens que vienen después están ocultos, como en un generador de texto.

Con “it” seleccionado, la mayor parte del peso va a “animal”. Después de este paso, el vector de “it” lleva parte del significado de “animal”, que es lo que necesitan las partes posteriores del modelo. En un modelo real nadie escribe estos pesos a mano. Se calculan a partir de los propios vectores, usando números que el modelo aprendió durante el entrenamiento.

Consultas, claves y valores

¿Cómo decide un token quién importa? Piensa en una búsqueda en una biblioteca. Escribes una consulta (query: lo que estás buscando). Cada libro tiene una clave (key), como la etiqueta en su lomo (de qué trata). Comparas tu consulta con cada etiqueta, y cuanto mejor coincide, más lees del contenido de ese libro, su valor (value).

En un transformer, cada token cumple los tres papeles. Su vector se multiplica por tres matrices aprendidas distintas para producir tres vectores nuevos:

  • consulta: lo que este token está buscando;
  • clave: lo que este token ofrece, para que los demás lo encuentren;
  • valor: la información que entrega si alguien le presta atención.

Luego, para el token que está mirando, la receta tiene cuatro pasos. Comparar su consulta con cada clave usando un producto punto: multiplicar los dos vectores número por número y sumar los resultados. Las direcciones parecidas dan un número grande. Escalar las puntuaciones dividiéndolas entre la raíz cuadrada de la longitud del vector. Aplicarles softmax: una función que convierte cualquier lista de números en números positivos que suman 1. Por último, mezclar los valores, cada uno multiplicado por su peso.

tokenclave / valorq · kpeso
thek[0.10, -0.30]v[0.10, 0.10]··
animalk[1.20, 0.90]v[0.90, 0.20]··
itk[0.60, 0.40]v[0.30, 0.60]··
salida·
Paso 1 de 5: Consultas, claves y valores

El token “it” tiene una consulta [1.00, 1.50]: lo que está buscando. Cada token que puede mirar (incluido él mismo) tiene una clave, lo que ofrece, y un valor, lo que va a entregar.

Un ejemplo de juguete con vectores de 2 números para que se vea la aritmética. Los números son inventados, pero cada paso se calcula exactamente como lo calcula un transformer. Los modelos reales usan vectores de decenas a cientos de números por cabeza.

Escrita de forma compacta, para todos los tokens a la vez, esta es la fórmula del artículo de 2017 que presentó el transformer: softmax(QKᵀ / √d) · V. Q, K y V son las consultas, claves y valores de todos los tokens apilados en tablas, y d es la longitud de un vector clave.

Máscara causal: prohibido espiar hacia adelante

Los generadores de texto como GPT escriben un token a la vez, de izquierda a derecha (Del último vector a la siguiente palabra explica ese ciclo). Durante el entrenamiento, el modelo aprende a predecir cada siguiente token de un texto. Si un token pudiera ver las palabras que vienen después, simplemente copiaría la respuesta.

Por eso estos modelos usan una máscara causal: antes del softmax, las puntuaciones de todos los tokens posteriores se ponen en menos infinito, que softmax convierte en un peso de exactamente cero. Cada token puede mirarse a sí mismo y a todo lo anterior, nunca lo posterior. Dibujados como una cuadrícula, los pesos forman un triángulo.

token que miraTheanimaldidn'tcrossthestreetbecauseitwastootired
The
animal
didn't
cross
the
street
because
it
was
too
tired
Los mismos pesos ilustrativos como cuadrícula. Cada fila es un token que mira; cada columna es un token al que se mira. Más brillante significa más peso. El triángulo superior rayado está enmascarado.

No todos los transformers son causales. Los modelos hechos para entender texto en lugar de escribirlo, como BERT, dejan que cada token vea toda la frase en las dos direcciones.

Muchas cabezas a la vez

Un solo conjunto de pesos solo puede expresar un tipo de relación a la vez. Pero a un token le pueden importar varias cosas: a qué sustantivo se refiere un pronombre, qué verbo va con un sujeto, cuál fue la palabra anterior.

Así que un transformer corre varios cálculos de atención lado a lado, cada uno con sus propias matrices de consulta, clave y valor. Cada uno se llama cabeza. Sus salidas se unen y se vuelven a mezclar en un solo vector. El transformer original usaba 8 cabezas por capa; la versión más pequeña de GPT-2 usa 12.

El bloque del transformer

La atención permite que los tokens compartan información. Un transformer la envuelve en un bloque con tres ingredientes más:

  • Una red feed-forward. Después de que la atención mezcló información entre tokens, el vector de cada token pasa por su cuenta por una pequeña red neuronal: el vector se expande a uno más largo (cuatro veces más largo en el diseño original), pasa por una función no lineal sencilla y se vuelve a encoger. Se cree que aquí vive buena parte del conocimiento guardado del modelo.
  • Conexiones residuales. En lugar de reemplazar el vector de un token, la salida de cada subcapa se le suma. El vector se vuelve un registro continuo que cada capa edita un poquito. Esto también hace que las pilas muy profundas sean mucho más fáciles de entrenar.
  • Normalización. Antes de cada subcapa, el vector se reescala a un tamaño estándar para que los números no exploten ni se desvanezcan al pasar por muchas capas.
bloque × Nvectores actualizadosFeed-forwardNormalizarAtención multicabezaNormalizarvectores + posiciónresidualresidual
Un bloque del transformer, leído de abajo hacia arriba, en el orden “normalizar primero” que usan la mayoría de los modelos al estilo GPT. Los caminos rojos punteados son conexiones residuales: la entrada rodea cada subcapa y se vuelve a sumar.

Apilar bloques

Un modelo son muchos de estos bloques apilados uno encima del otro, cada uno con sus propios números aprendidos. El transformer original tenía 6 en cada mitad; la versión más pequeña de GPT-2 tiene 12, y los modelos grandes tienen decenas más. Cada bloque lee los vectores que produjo el anterior y los refina. Las primeras capas suelen ocuparse de patrones locales y superficiales; las posteriores construyen rasgos más abstractos.

La forma nunca cambia en el camino: entra un vector por token y sale un vector por token. Hasta arriba, el vector del último token se convierte en una predicción sobre el siguiente token.

¿Dónde está el orden de las palabras?

Hay una trampa. La atención por sí sola ignora el orden: compara cada token con todos los demás, así que “dog bites man” (“perro muerde a hombre”) y “man bites dog” (“hombre muerde a perro”) se verían iguales. Los transformers lo resuelven dándole a cada token información de posición. El artículo original le sumaba a cada embedding un patrón fijo de ondas senoidales, distinto para cada posición. GPT-2, en cambio, aprende un vector de posición. Muchos modelos más nuevos giran los vectores de consulta y clave en un ángulo que depende de la posición (un método llamado RoPE), para que las puntuaciones de atención reflejen qué tan lejos están dos tokens.

Preguntas frecuentes

¿Qué es la atención en un transformer?

La atención permite que cada token mire a los demás tokens del texto y decida cuánto le importa cada uno. Cada token genera una consulta, una clave y un valor; su consulta se compara con todas las claves para obtener pesos, y su nuevo vector es una mezcla ponderada de los valores. Así es como el contexto cambia el significado de una palabra.

¿Qué son las consultas, las claves y los valores (query, key, value)?

Son tres vectores que se calculan a partir del vector de cada token con pesos aprendidos. La consulta describe lo que el token está buscando, la clave describe lo que ofrece y el valor es la información que transmite. Las coincidencias entre consultas y claves deciden los pesos de atención, y esos pesos mezclan los valores.

¿Qué es la atención multicabeza?

En lugar de correr la atención una sola vez, un transformer corre varias cabezas de atención lado a lado, cada una con sus propios pesos de consulta, clave y valor. Cada cabeza puede aprender a seguir relaciones distintas, como las palabras cercanas, la gramática o las referencias a un nombre anterior, y sus salidas se combinan.

¿Cómo sabe un transformer el orden de las palabras?

La atención por sí sola trata la entrada como un conjunto sin orden, así que hay que agregar la posición. El transformer original sumaba a cada embedding un patrón fijo de ondas senoidales, GPT-2 aprende un vector de posición, y muchos modelos más nuevos usan embeddings de posición rotatorios (RoPE), que giran las consultas y las claves en un ángulo que depende de la posición.

Lecturas recomendadas