← Aprender · Guías del sitio
Embeddings4 min de lectura

Cómo una palabra se convierte en 300 números

Qué son los embeddings de palabras, cómo los aprenden GloVe, Word2Vec y FastText, y cómo se mide la similitud.

Un tokenizador convierte el texto en ID, pero un ID es solo una posición en una lista. Nada en el número 9059 dice “cat” (gato). Para trabajar con el significado, un modelo necesita una representación en la que las palabras parecidas se vean parecidas. Esa representación es un embedding: una lista de números, a menudo de unos cientos, para cada palabra o token. A esa lista también se le llama vector, y cada posición dentro de ella es una dimensión.

Esta guía se limita a lo que muestra la página de Embeddings del sitio. Para la idea en sí, construida desde cero, lee ¿Qué son los embeddings?

La página de Embeddings de este sitio muestra tres conjuntos clásicos de embeddings de palabras: GloVe, Word2Vec y FastText. En los tres, cada palabra es una lista de exactamente 300 números.

Cómo se ven 300 números

Estos son los primeros 8 de los 300 números de cuatro palabras (king, “rey”; queen, “reina”; man, “hombre”; apple, “manzana”), tomados de los datos de GloVe que usa este sitio.

king-0.07-0.37-0.21-0.880.06-0.260.34-0.23
queen-0.08-0.30-0.18-0.81-0.660.070.21-0.34
man-0.02-0.02-0.400.270.180.28-0.270.10
apple-0.170.130.34-0.71-0.21-0.77-0.440.26
Los primeros 8 de 300 valores de GloVe, redondeados. El verde azulado es positivo, el rojo es negativo, y un color más intenso significa un valor más grande.

Ningún número por sí solo significa “de la realeza” o “fruta”. El significado está repartido entre los 300 a la vez. Aun así, incluso esta pequeña muestra deja ver un patrón:king y queen tienen una forma parecida en varias posiciones, mientras que man y apple van por su lado. Lo que las dimensiones capturan y lo que no es el tema de El espacio latente.

De dónde salen los números

Los tres modelos se basan en la misma idea, que a menudo se resume con una frase del lingüista J.R. Firth: “You shall know a word by the company it keeps” (“Conocerás una palabra por las compañías que frecuenta”). Las palabras que aparecen en contextos parecidos tienden a tener significados parecidos. Los modelos leen cantidades enormes de texto y ajustan los números de cada palabra hasta que las palabras con vecinos parecidos terminan con listas parecidas.

  • Word2Vec (Google, 2013) entrena una pequeña red neuronal con un juego de adivinanzas sencillo: predecir las palabras que rodean a una palabra dada, o la palabra a partir de las que la rodean. Después del entrenamiento, los pesos internos de la red para cada palabra se vuelven su embedding.
  • GloVe (Stanford, 2014) primero cuenta cuántas veces aparece cada par de palabras cerca la una de la otra en todo el corpus. Luego ajusta los vectores para que la relación entre los vectores de dos palabras refleje cuántas veces aparecen juntas.
  • FastText (Facebook, 2016–17) amplía Word2Vec aprendiendo también vectores para trozos de caracteres dentro de las palabras, así que walk, walking y walked (caminar, caminando, caminó) comparten partes. Eso ayuda con las palabras raras y las variantes de escritura.

Los detalles también cambian en los datos. Los vectores de GloVe de aquí están todos en minúsculas. Word2Vec y FastText conservan las mayúsculas, así que Paris y paris pueden ser entradas distintas, y el conjunto de Word2Vec incluye incluso frases unidas como prime_minister (primer ministro).

Medir la similitud

Si cada palabra es un punto en un espacio de 300 dimensiones, “significado parecido” pasa a ser “apuntar en una dirección parecida”. La medida habitual es la similitud coseno: 1 significa que los dos vectores apuntan hacia el mismo lado, 0 significa que no tienen relación (forman un ángulo recto).

ParSimilitud
cat · dog0.72
king · queen0.70
king · man0.47
cat · car0.28
king · apple0.27
Similitud coseno entre pares de palabras, calculada con los vectores de GloVe del sitio (cat, “gato”; dog, “perro”; car, “carro”).

Los números coinciden con la intuición: cat está mucho más cerca de dog que de car, aunque cat y car solo se diferencian en una letra. El embedding no sabe nada de ortografía; solo sabe de uso.

En qué se equivocan los embeddings

El uso es también de donde salen las sorpresas. En estos datos de GloVe, los vecinos más cercanos de apple son microsoft, google e intel. El texto de entrenamiento hablaba mucho más de la empresa que de la fruta.

Los opuestos también pueden quedar cerca. good (bueno) y bad (malo) tienen una similitud de alrededor de 0.72, porque aparecen en frases casi idénticas: “the food was good”, “the food was bad” (“la comida estaba buena”, “la comida estaba mala”).

Además, estos modelos son estáticos: cada palabra recibe exactamente un vector, sin importar la frase. El bank de un río (orilla) y el bank que guarda tu dinero (banco) comparten un solo punto. Los modelos de lenguaje modernos lo resuelven ajustando el vector de cada token según las palabras que lo rodean, capa por capa (La atención y el transformer muestra cómo). Pero su primer paso es el mismo que aquí: buscar un vector para cada ID de token en una gran tabla.

¿Por qué 300?

La longitud de la lista es una decisión de diseño que se toma antes del entrenamiento. Más números le dan al modelo más espacio para registrar distinciones finas, pero necesitan más datos de entrenamiento, más memoria y más cómputo. Para embeddings de palabras clásicos como estos, 300 se volvió un tamaño común. Con las 10,000 palabras que trae cada modelo aquí, son 3 millones de números por modelo.

Los modelos de lenguaje grandes usan la misma idea a mayor escala, con vectores de token que a menudo tienen miles de números.

Ver el espacio

Nadie puede imaginar 300 dimensiones. La página de Embeddings toma 1,000, 5,000 o 10,000 palabras de un modelo y comprime sus vectores a 3D para que puedas volar entre ellas. Cómo funciona esa compresión, y lo que esconde, se explica en PCA vs UMAP.

Preguntas frecuentes

¿Cuál es la diferencia entre GloVe, Word2Vec y FastText?

Word2Vec aprende los vectores prediciendo una palabra a partir de sus vecinas, o las vecinas a partir de una palabra. GloVe aprende de una tabla global de cuántas veces aparecen juntas las palabras. FastText funciona como Word2Vec pero además usa pedazos de palabras, así que puede construir vectores para palabras que nunca vio en el entrenamiento.

¿Por qué los embeddings de palabras tienen 300 dimensiones?

El número 300 no tiene nada de especial. Era un ajuste popular en las versiones originales de Word2Vec y GloVe porque equilibraba la calidad con la memoria y el tiempo de entrenamiento. Con menos dimensiones se capturan menos matices, y con muchas más la mejora es cada vez menor para vectores de palabras sueltas.

¿Qué no pueden hacer los embeddings de palabras estáticos?

Le dan a cada palabra exactamente un vector, así que una palabra con varios significados, como “bank” (banco u orilla), recibe un solo promedio borroso. Salvo FastText, no tienen vector para las palabras fuera de su vocabulario, y reflejan los sesgos de su texto de entrenamiento. Los modelos de lenguaje modernos usan embeddings contextuales que cambian según la frase.

¿Cómo se mide la similitud entre dos palabras?

Normalmente con la similitud coseno, que compara las direcciones de los dos vectores. Los valores cercanos a 1 significan que las palabras aparecen en contextos muy parecidos. Contextos parecidos suelen indicar significados parecidos, pero los opuestos como “hot” y “cold” (caliente y frío) también pueden puntuar alto porque se usan en los mismos lugares.