← Aprender · Fundamentos
Embeddings7 min de lectura

El espacio latente: el significado oculto en los números

Qué capturan las dimensiones de un embedding, por qué las direcciones llevan significado y qué no podemos leer directamente.

En ¿Qué son los embeddings? convertimos cada palabra en una lista de 300 números y vimos que las palabras parecidas terminan cerca unas de otras. El espacio en el que viven esos vectores tiene nombre: espacio latente. “Latente” quiere decir oculto. Nadie diseñó sus coordenadas; se aprendieron, y su significado hay que descubrirlo después. Este artículo trata de cómo es esa estructura oculta, qué se puede leer en ella y en qué engaña.

Qué significa “espacio latente”

Cualquier modelo que convierte una entrada en un vector de números define un espacio latente: el conjunto de todos los vectores que podría producir. Los embeddings de palabras son el ejemplo clásico, pero el mismo término se usa para los vectores internos de los generadores de imágenes, los modelos de voz y los modelos de lenguaje grandes. La propiedad clave es que la posición codifica algo sobre la entrada. Dos entradas que el modelo trata como parecidas caen cerca una de la otra.

Todo lo que sigue usa vectores de palabras reales (GloVe, 300 dimensiones, 10,000 palabras comunes del inglés). Las ideas se aplican a otros espacios latentes, aunque los detalles cambien.

Los ejes no tienen nombre

Una primera suposición natural es que cada uno de los 300 números mide una cosa: la dimensión 12 para “es un animal”, la dimensión 40 para “es de la realeza”. En la práctica, las dimensiones individuales casi nunca son tan ordenadas.

La razón es sencilla. Al entrenamiento solo le importa cómo se relacionan los vectores entre sí: sus distancias y sus ángulos. Si giraras todo el espacio, todas las distancias y ángulos seguirían iguales, y el modelo funcionaría exactamente igual de bien. Así que nada empuja a un concepto a alinearse con un eje en particular. El significado termina repartido entre muchas dimensiones a la vez.

dimensión 1dimensión 300
Datos reales. Los 300 números que forman la “dirección de género” en GloVe (el promedio de siete diferencias como woman − man, “mujer − hombre”). Ninguna dimensión destaca: la más grande lleva apenas un 4% de la dirección, y hacen falta 36 de las 300 dimensiones para explicar la mitad.

Por eso leer un embedding número por número dice muy poco. El significado vive en las direcciones, y una dirección es una mezcla particular de los 300 números.

Las direcciones pueden llevar significado

Toma la flecha que va de man (hombre) a woman (mujer): la diferencia entre sus dos vectores. Ahora toma la flecha de king (rey) a queen (reina). Si el espacio aprendió algo coherente sobre el género, esas flechas deberían apuntar más o menos hacia el mismo lado. Lo hacen, y lo mismo pasa con las flechas boy→girl (niño→niña), uncle→aunt (tío→tía) y actor→actress (actor→actriz).

manwomanboygirlkingqueenfathermotherbrothersisteruncleauntactoractress
Datos reales, proyectados sobre dos direcciones elegidas: la horizontal es la dirección promedio “femenino menos masculino”, la vertical es la forma principal en que estos pares se diferencian entre sí. Como el eje horizontal se construye con estos mismos pares, es de esperar cierto paralelismo. La prueba más sólida está en las 300 dimensiones: los siete vectores de diferencia tienen una similitud coseno promedio de 0.58 entre sí, contra 0.07 para las diferencias entre pares de palabras al azar.

Ese “más o menos” pesa mucho en la frase. Un coseno de 0.58 significa que las flechas comparten una dirección común, pero cada una tiene además sus propias particularidades. Otras relaciones son todavía más débiles. Las flechas de singular a plural (cat→cats, city→cities, child→children, etc.) coinciden mucho menos entre sí, con un coseno promedio de solo 0.23 en estos datos.

Las analogías como flechas paralelas

Si una flecha significa “hazlo femenino”, puedes sumársela a otras palabras. Ese es el famoso truco de las analogías: king − man + woman cae cerca de queen. La misma aritmética encuentra capitales (paris − france + italy ≈ rome) y comparativos (bigger − big + small ≈ smaller, “más grande − grande + pequeño ≈ más pequeño”).

SumaTop 3 (coseno)Con las entradas
king − man + womanqueen 0.71, princess 0.60, throne 0.58king
paris − france + italyrome 0.78, milan 0.68, italian 0.67rome
bigger − big + smallsmaller 0.82, larger 0.81, large 0.65smaller
cats − cat + dogdogs 0.78, animals 0.62, pet 0.52dogs
brother − man + womandaughter 0.81, mother 0.77, wife 0.76daughter
walked − walk + swimswimming 0.53, raced 0.42, ran 0.42swim
Resultados reales de GloVe. “Top 3” deja fuera las tres palabras de entrada, como suelen hacer las pruebas de analogías. La última columna muestra la palabra más cercana cuando no se dejan fuera: para king − man + woman sigue siendo king. Las dos últimas filas no dan la respuesta buscada (sister, “hermana”; swam, “nadó”); sister queda en 6.º lugar, y swam no está en este vocabulario de 10,000 palabras.

Dos advertencias honestas. Primero, el vector resultante casi siempre sigue estando más cerca de una de las palabras de las que partiste, así que las pruebas de analogías se saltan discretamente las palabras de entrada. Segundo, es fácil mostrar las analogías que funcionan y olvidarse de las que no. El truco es una señal real de estructura, no un motor de razonamiento confiable. La guía del sitio king − man + woman te deja probar las tuyas.

Vecindarios y clústeres

La estructura más simple de un espacio latente es el vecindario. Los colores quedan cerca de los colores, los números cerca de los números, las capitales cerca de sus países. Algoritmos como k-means pueden encontrar estos grupos automáticamente buscando aglomeraciones densas de puntos, y así es como se usan los embeddings para agrupar documentos o reseñas de clientes por tema.

Los clústeres no vienen etiquetados, y sus bordes son difusos. Una palabra con varios sentidos queda entre grupos: apple queda entre la fruta y las empresas de tecnología. El nombre que le pongas a un clúster es tu interpretación, no algo guardado en los vectores.

Caminar entre dos puntos

Si las posiciones significan algo, ¿qué pasa con el espacio entre dos palabras? Puedes mezclar dos vectores, por ejemplo 70% village (pueblo) y 30% city (ciudad), y preguntar qué palabras reales están más cerca de la mezcla.

50% village + 50% city

Los dos extremos

  1. village0.87
  2. city0.87

Otras palabras más cercanas

  1. town0.82
  2. area0.72
  3. nearby0.70
  4. near0.69
Datos reales de GloVe. Cada paso mezcla los dos vectores de palabras y muestra las palabras más cercanas del vocabulario de 10,000 palabras. A la izquierda: la similitud con los dos extremos. A la derecha: las palabras más cercanas aparte de los dos extremos, con la primera en negrita. Usa el control deslizante o las flechas del teclado.

Aparecen dos cosas. Primero la honesta: en cada paso, una de las dos palabras de los extremos sigue siendo la palabra real más cercana. No hay ninguna palabra oculta “mitad pueblo, mitad ciudad” esperando en el medio. Pero las palabras en segundo lugar cambian de forma sensata. Entre village y city pasas por town (villa); entre hot (caliente) y cold (frío) pasas por cool (fresco) y warm (tibio); de king a queen pasas por monarch (monarca). El espacio es lo bastante suave como para que los puntos entre dos significados queden cerca de palabras que comparten los dos.

En los generadores de imágenes esa suavidad se aprovecha. Muchos modelos generativos tienen espacios latentes donde los puntos entre dos imágenes se decodifican en imágenes intermedias creíbles, y así se hacen las animaciones de “transformación” suave.

No solo palabras

Hay espacios latentes en cualquier lugar donde un modelo convierte datos en vectores. Los modelos de embeddings de frases convierten frases completas en un vector cada una, así que “¿Cómo restablezco mi contraseña?” puede caer cerca de “Olvidé mis datos de acceso” aunque no compartan ninguna palabra. Los modelos de imágenes convierten fotos en vectores. Algunos modelos, como CLIP de OpenAI, se entrenan para que una foto y un texto que la describe caigan cerca uno del otro en un mismo espacio compartido, y eso es lo que permite buscar fotos con texto. Mira Tokens más allá del texto para ver cómo se cortan primero en pedazos las imágenes y el audio.

Dentro de un modelo de lenguaje grande no hay un solo espacio latente sino muchos: cada capa produce vectores nuevos para cada token (mira La atención y el transformer). Los investigadores también encuentran direcciones con significado ahí, pero leerlas es un área de investigación activa, no un problema resuelto.

Límites y sesgos

Un espacio latente es un registro comprimido de sus datos de entrenamiento, incluidas las partes que tal vez no queramos. Palabras como nurse (enfermero o enfermera) o engineer (ingeniero o ingeniera) no llevan género en su definición en inglés, pero aparecieron en contextos con género con tanta frecuencia que sus vectores se inclinan hacia un lado.

Datos reales. Dónde caen las palabras de profesiones a lo largo de la dirección de género (su coseno con ella). En inglés estas palabras son neutras, y aun así sus vectores se inclinan hacia un lado o hacia el otro, reflejando cómo se usaron en el texto de entrenamiento. he (él) y she (ella) aparecen como referencia.

Esto se documentó con cuidado en un artículo de 2016 cuyo título cita un resultado real de analogía: “Man is to Computer Programmer as Woman is to Homemaker?” (“¿El hombre es al programador lo que la mujer al ama de casa?”). En nuestros datos, doctor − man + woman da primero physician (médico) y en segundo lugar nurse. Cualquier sistema construido sobre embeddings, desde buscadores hasta herramientas de contratación, puede transmitir estos patrones. Existen técnicas para reducirlos, pero ninguna los elimina por completo.

Hay un límite más, y está de nuestro lado. Solo podemos mirar estos espacios a través de imágenes planas, y aplastar 300 dimensiones en dos siempre distorsiona algo. Ver muchas dimensiones explica cómo se hacen esas imágenes y cómo leerlas sin dejarse engañar. Para explorar GloVe por tu cuenta, prueba el explorador de Embeddings o haz aritmética de palabras en el Laboratorio de vectores.

Preguntas frecuentes

¿Qué es el espacio latente en la inteligencia artificial?

El espacio latente es el espacio de vectores que un modelo usa internamente para representar sus entradas. Cada punto es un embedding, y su posición refleja patrones que el modelo aprendió, no etiquetas que le haya puesto una persona. Las entradas parecidas terminan cerca unas de otras, y algunas direcciones del espacio coinciden con ideas como el plural, el tiempo verbal o el género.

¿Las dimensiones de un embedding tienen significado?

Por lo general no una por una. Rara vez una sola dimensión corresponde a un concepto limpio; el significado suele estar repartido entre muchas dimensiones a la vez. Los patrones interpretables casi siempre aparecen como direcciones, combinaciones de dimensiones, y no como ejes individuales con nombre.

¿Por qué funciona king − man + woman ≈ queen?

En muchos embeddings de palabras, la diferencia entre man (hombre) y woman (mujer) apunta más o menos en la misma dirección que la diferencia entre king (rey) y queen (reina). Restar man y sumar woman mueve el vector de king a lo largo de esa dirección, y la palabra más cercana al resultado suele ser queen. Funciona con algunas relaciones, pero no de forma confiable con todas.

¿Los embeddings pueden tener sesgos?

Sí. Los embeddings aprenden de texto escrito por personas, así que absorben las asociaciones que hay en él, incluidos los estereotipos. Los investigadores han mostrado, por ejemplo, que algunos embeddings de palabras asocian ciertos trabajos más con un género que con otro. Medir y reducir este sesgo es un área de investigación activa.

Lecturas recomendadas