← Aprender · Fundamentos
Embeddings7 min de lectura

¿Qué son los embeddings?

Convertir una palabra en una lista de números para que los significados parecidos queden cerca.

Las computadoras son buenas con los números y malas con el significado. Antes de que un modelo pueda hacer algo útil con la palabra cat (“gato”), tiene que convertirla en números. La pregunta interesante es qué números. Un embedding es la respuesta que usan casi todos los sistemas de lenguaje modernos: una lista de números para cada palabra (o token), aprendida a partir de texto y acomodada para que las palabras con significados parecidos reciban listas parecidas.

¿Por qué no darle simplemente un número a cada palabra?

La idea más simple es numerar el vocabulario: the es 1, cat es 2, y así. Esto es más o menos lo que hace un tokenizador (mira Por qué los modelos leen tokens). Pero los números son etiquetas arbitrarias. En la lista de 10,000 palabras que se usa abajo, cat es el número 5,606 y dog (“perro”) el 3,037, pero eso no dice nada sobre gatos y perros. Un modelo concluiría tan tranquilo que dog es “más chico” que cat, lo cual no tiene sentido.

La solución clásica es un vector one-hot: una lista con una casilla por cada palabra del vocabulario, todo en cero salvo un único 1 en la casilla de esa palabra. Con un vocabulario de 10,000 palabras, cada palabra se convierte en 10,000 números. Ya no hay un orden falso, pero aparece un problema nuevo: cada par de palabras es exactamente igual de distinto que cualquier otro par. cat no está más cerca de dog que de democracy (“democracia”). La representación no lleva ningún significado.

Arriba: vectores one-hot, dibujados con 16 casillas en lugar de 10,000 (ilustrativo). Cada palabra enciende su propia casilla, así que ningún par de palabras comparte nada. Abajo: los primeros 16 de los 300 números reales de GloVe para las mismas palabras (verde azulado positivo, rojo negativo). cat (gato) y dog (perro) tienen un patrón parecido; car (carro) es distinto.

Una lista corta de números aprendidos

Un embedding le da la vuelta al enfoque. Cada palabra recibe un vector denso: una lista mucho más corta (a menudo de 100 a 1,000 números, aquí 300) en la que cada posición tiene algún valor. Nadie elige estos valores a mano. Empiezan siendo aleatorios y se ajustan durante el entrenamiento hasta que las palabras que se usan de forma parecida terminan con listas parecidas.

Si tratas cada lista de 300 números como coordenadas, cada palabra se vuelve un punto en un espacio de 300 dimensiones. “Significado parecido” pasa a ser “cerca”. No podemos dibujar 300 dimensiones, pero sí podemos aplastar un puñado de palabras a dos y echar un vistazo.

catdoghorsecowlionbirdmousefishapplefruitbreadricecheesecoffeemilkfrancegermanyjapanparislondontokyoberlinredbluegreenyellowpurpletwofivetenkingqueenprincemanwomanboygirlcomputersoftwareinternetphonedigital

Más cercanas a apple entre las 10,000 palabras

  1. microsoft0.64
  2. google0.61
  3. intel0.56
  4. software0.56
  5. ibm0.56
  6. computer0.53

Las palabras en negrita también están en el mapa.

animales
comida
lugares
colores
números
personas
tecnología
Datos reales de GloVe. 42 palabras colocadas en 2D para que sus distancias se parezcan lo más posible a las distancias en 300 dimensiones (un método llamado MDS, aplicado solo a estas 42 palabras, así que la disposición es aproximada). La lista debajo del mapa es exacta: los seis vecinos más cercanos de cada palabra según la similitud coseno entre las 10,000 palabras. Prueba apple (manzana), rice (arroz) y mouse (ratón).

Los grupos se forman solos: a los vectores nunca se les dijo qué es un animal o un país. Las sorpresas enseñan igual de mucho.apple queda entre la comida y la tecnología, y todos sus vecinos más cercanos son empresas, porque el texto de entrenamiento habla mucho más de Apple la empresa que de la fruta. La palabra más cercana a rice es condoleezza, por la exsecretaria de Estado de Estados Unidos. mouse se ve atraído hacia las caricaturas y las computadoras. Un embedding refleja cómo se usan las palabras en su texto de entrenamiento, no lo que dice un diccionario.

Conocerás una palabra por las compañías que frecuenta

¿Por qué “usarse de forma parecida” debería producir “significado parecido”? Es la hipótesis distribucional, que el lingüista J.R. Firth resumió en 1957: “You shall know a word by the company it keeps” (“Conocerás una palabra por las compañías que frecuenta”). Piensa en el hueco de “I poured some ___ into my cup” (“Me serví un poco de ___ en la taza”). coffee (café), tea (té) y milk (leche) encajan;bicycle (bicicleta) no. Las palabras que encajan en los mismos huecos a lo largo de millones de frases probablemente están relacionadas, y eso es algo que una computadora puede medir sin entender nada.

Cómo se aprenden los números

Dos métodos famosos de la década de 2010 muestran la idea con claridad. Los dos leen una gran cantidad de texto y producen un vector por palabra.

  • word2vec (Mikolov y sus colegas en Google, 2013) juega a las adivinanzas. Toma una palabra de una frase e intenta predecir las palabras que la rodean (o al revés). Cada vez que falla, ajusta un poquito los vectores que intervienen. Tras miles de millones de ajustes, las palabras que predicen los mismos vecinos quedan empujadas hacia vectores parecidos.
  • GloVe (Pennington, Socher y Manning en Stanford, 2014) empieza contando cuántas veces aparece cada par de palabras cerca la una de la otra en todo el corpus. Luego ajusta los vectores para que, al comparar los vectores de dos palabras, se pueda predecir cuántas veces aparecen juntas.

Recetas distintas, mismo resultado: una tabla con una fila de números por palabra. Se llaman embeddings estáticos, porque cada palabra recibe exactamente un vector, sin importar en qué frase aparezca.

Una palabra, muchos significados: embeddings contextuales

Los vectores estáticos tienen un punto débil evidente. bank puede ser la orilla de un río o un lugar que guarda dinero, pero solo recibe un vector. En estos datos de GloVe, sus vecinos más cercanos son banks, banking, central, credit y financial. El significado de río casi desaparece.

She sat on the river bank and watched the water.

He moved his savings to another bank.

bank (estático)bank + “river”bank + “savings”se mezcla el contexto
Ilustrativo. Un embedding estático le da a “bank” un solo vector para las dos frases (“Se sentó en la orilla del río y miró el agua” y “Pasó sus ahorros a otro banco”). Un modelo contextual parte de ese mismo vector, y luego sus capas mezclan las palabras de alrededor, así que los dos usos terminan en lugares distintos.

Los modelos de lenguaje modernos conservan la tabla de búsqueda como primer paso: cada ID de token se cambia por un vector aprendido, exactamente como arriba. Pero después los vectores pasan por muchas capas de atención, donde el vector de cada token se actualiza usando los tokens de alrededor (mira La atención y el transformer). En las capas finales, “bank” en una frase sobre ríos tiene un vector distinto al de “bank” en una frase sobre ahorros. Son embeddings contextuales: el vector depende de toda la frase, no solo de la palabra.

Medir la cercanía: la similitud coseno

Para decir que dos palabras están “cerca”, necesitamos una forma de medirlo. La más común es la similitud coseno. Imagina cada vector como una flecha que sale del origen. La similitud coseno es el coseno del ángulo entre dos flechas: 1 cuando apuntan hacia el mismo lado, 0 cuando forman un ángulo recto y −1 cuando apuntan en direcciones opuestas.

catdog · 0.72car · 0.28democracy · 0.15
La similitud coseno tiene que ver con el ángulo entre dos flechas. Cada flecha está dibujada con el ángulo real entre el vector de GloVe de esa palabra y el de cat (cat–dog 0.72, unos 44°; cat–car 0.28, unos 74°; cat–democracy 0.15, unos 81°). Aquí solo importan los ángulos, no las longitudes.

En la práctica se calcula multiplicando las dos listas posición por posición, sumando los resultados (el producto punto) y dividiendo entre las longitudes de las dos flechas. Dividir entre la longitud hace que solo importe la dirección, lo cual es útil porque la longitud de un vector puede reflejar cosas como cuántas veces aparece una palabra, más que lo que significa. En los datos de GloVe, cat y dog dan 0.72 y king (rey) y queen (reina) dan 0.70, mientras que cat y car, que solo se diferencian en una letra, dan apenas 0.28. El embedding no sabe nada de ortografía, solo de uso.

La distancia en línea recta (euclidiana) también funciona, y cuando todos los vectores se escalan a longitud 1 ordena los vecinos exactamente igual que la similitud coseno.

Por qué importa

Una vez que el significado es una posición, muchas tareas se vuelven geometría. Los buscadores encuentran documentos cuyos embeddings están cerca del de tu consulta. Los sistemas de recomendación sugieren cosas cercanas a las que te gustaron. Los chatbots que buscan información en tus archivos (lo que suele llamarse generación aumentada por recuperación) convierten cada fragmento de texto en un embedding y recuperan los fragmentos más cercanos a la pregunta. Y dentro de todo modelo de lenguaje, los embeddings son la forma en que el texto entra por primera vez a la red (mira Cómo un modelo de lenguaje convierte tus palabras en una respuesta).

El espacio en el que viven estos vectores tiene más estructura que solo “cerca” y “lejos”: las direcciones también pueden llevar significado. Ese es el tema de El espacio latente. Cómo dibujar 300 dimensiones en una pantalla plana sin engañarte se explica en Ver muchas dimensiones. Para explorar 10,000 vectores de palabras reales en 3D, abre el explorador de Embeddings, y para un recorrido pensado para este sitio, mira Cómo una palabra se convierte en 300 números.

Preguntas frecuentes

¿Qué es un embedding en machine learning?

Un embedding es una lista de números, un vector, que representa algo como una palabra, una frase o una imagen. Los números se aprenden para que las cosas con significado o uso parecido terminen cerca unas de otras, lo que permite que una computadora mida la similitud con aritmética sencilla.

¿Cuál es la diferencia entre un token y un embedding?

Un token es un pedazo de texto con un número de ID, y el ID por sí mismo no lleva ningún significado. Un embedding es el vector que el modelo busca para ese ID: cientos o miles de números aprendidos que colocan al token en un espacio donde los tokens parecidos quedan cerca unos de otros.

¿Qué es la similitud coseno?

La similitud coseno mide el ángulo entre dos vectores. Vale 1 cuando apuntan hacia el mismo lado, 0 cuando forman un ángulo recto y −1 cuando apuntan en direcciones opuestas. Es la forma más común de comparar embeddings porque ignora la longitud del vector y solo mira la dirección.

¿Para qué sirven los embeddings?

Los embeddings están detrás de la búsqueda semántica, las recomendaciones, la agrupación en clústeres, la detección de duplicados y la generación aumentada por recuperación (RAG), en la que los documentos se guardan como vectores y los más cercanos a una pregunta se le pasan a un modelo de lenguaje. Dentro de todo modelo de lenguaje, el primer paso es convertir cada token en un embedding.

Lecturas recomendadas