← Aprender · Fundamentos
Embeddings7 min de lectura

Ver muchas dimensiones: PCA, t-SNE, UMAP y compañía

Cómo aplastar cientos de dimensiones en 2 o 3, qué conserva cada método y qué desecha sin avisar.

Los embeddings de palabras tienen cientos de números por palabra; los vectores dentro de los modelos de lenguaje grandes tienen miles. Nuestros ojos manejan dos dimensiones en una pantalla y tres como mucho. La reducción de dimensionalidad es la familia de métodos que aplastan muchas dimensiones en dos o tres para que podamos mirar. Es una de las herramientas más útiles para entender los embeddings, y una de las más fáciles de malinterpretar. Este artículo explica los métodos principales, qué conserva cada uno y qué desecha cada uno sin avisar.

Por qué toda imagen tiene que mentir un poco

Pasar de 300 números a 2 significa descartar información. No hay forma de evitarlo: una imagen plana simplemente tiene menos lugares donde poner las cosas. Una foto de un cuarto pierde la profundidad; un mapamundi estira Groenlandia. Cada método decide qué relaciones conservar.

luz2DABA y B
Ilustrativo. Proyectar es como proyectar una sombra. Los puntos A y B están lejos uno del otro en 3D, pero están sobre la misma línea de visión, así que sus sombras caen en el mismo lugar. Toda proyección a menos dimensiones pierde algunas diferencias como esta.

Así que la pregunta útil nunca es “¿qué método es el correcto?”, sino “¿qué intentó conservar este método y a qué renunció?”.

Una forma de prueba: el rollo suizo

Para comparar métodos, ayuda usar datos de los que conocemos la respuesta correcta. Una prueba clásica es el rollo suizo: una hoja rectangular plana, enrollada en espiral en 3D. La estructura real de los puntos es bidimensional (una posición a lo largo de la hoja y otra a lo ancho), pero el rollo la esconde. Un método que de verdad entendiera los datos lo desenrollaría. El color sigue la posición a lo largo de la hoja, así que una buena imagen en 2D mantiene los colores en orden.

Datos originales · 3D

PCA · 2D

PCA. PCA busca las direcciones de mayor dispersión. El rollo es más ancho a lo largo de su espiral, así que PCA lo muestra de frente: una espiral, no una hoja. Colores que están lejos a lo largo de la hoja quedan uno junto al otro en vueltas vecinas.

Haz clic en cualquier punto: él y sus 12 vecinos más cercanos en 3D se marcan con un contorno blanco en las dos vistas. ¿Siguen juntos en 2D?

Datos ilustrativos (700 puntos). PCA, t-SNE, Isomap y LDA son ejecuciones reales de scikit-learn; la vista de UMAP sale de una pequeña reimplementación del algoritmo UMAP, así que se parece a la de la biblioteca oficial, pero no es idéntica. Gira el rollo en 3D con el control deslizante y luego cambia de método para ver el resultado en 2D de cada uno. Los puntos se deslizan de una disposición a la siguiente para que puedas seguirlos.

Ten presente esta imagen mientras repasamos los métodos uno por uno.

PCA: las direcciones más amplias

El análisis de componentes principales (PCA) encuentra la dirección en la que los datos están más dispersos y la llama primer componente principal. El segundo es la dirección más dispersa en ángulo recto con la primera, y así sucesivamente. Quedarse con los dos primeros y descartar el resto da una imagen en 2D. Geométricamente es una rotación seguida de una sombra: PCA elige el ángulo de cámara que muestra la mayor dispersión.

PCA es lineal: solo puede girar y aplanar, nunca doblar. Eso lo hace rápido, predecible (los mismos datos siempre dan la misma imagen) y honesto con las distancias grandes. También significa que no puede desenrollar el rollo suizo; solo lo fotografía desde el lado donde se ve más grande. En los embeddings de palabras, donde el significado está repartido en muchas direcciones, los dos primeros componentes a menudo capturan solo una pequeña parte de la dispersión total, así que las imágenes de palabras con PCA suelen verse como una gran nube encimada.

t-SNE: mantener juntos a los vecinos

t-SNE (t-distributed stochastic neighbour embedding, 2008) renuncia a las distancias grandes y se concentra en los vecindarios. Para cada punto se pregunta, en el espacio original, “¿qué otros puntos son mis vecinos cercanos, y qué tan cerca están?”. Luego parte de una disposición en 2D aleatoria o aproximada y va moviendo los puntos, paso a paso, hasta que los vecinos en 2D de cada punto se parecen lo más posible a sus vecinos originales.

Eso hace que t-SNE sea muy bueno para revelar clústeres. También produce tres ilusiones muy conocidas:

  • El tamaño de los clústeres no significa nada. t-SNE se adapta a la densidad local, así que un grupo compacto y uno disperso terminan viéndose más o menos del mismo tamaño.
  • Las distancias entre clústeres significan poco. Dos clústeres muy separados en la gráfica pueden estar o no estar lejos en los datos.
  • Los ajustes cambian la imagen. El control principal, la perplejidad, es más o menos a cuántos vecinos les presta atención cada punto. Los valores típicos van de 5 a 50.

PCA (como referencia)

t-SNE, perplejidad 2

t-SNE, perplejidad 5

t-SNE, perplejidad 30

Datos ilustrativos, ejecuciones reales de t-SNE. Tres grupos en 10 dimensiones: el rojo es muy compacto, el verde azulado es seis veces más amplio y está cerca del rojo, el amarillo está lejos de los dos. PCA (una proyección recta) conserva esas diferencias de tamaño y distancia. t-SNE hace que los grupos parezcan de tamaño parecido, y qué tan separados se ven depende del ajuste de perplejidad.

t-SNE además es aleatorio: córrelo dos veces con semillas distintas y la imagen puede cambiar, aunque los vecindarios sean parecidos.

UMAP: objetivo parecido, más rápido, un poco más global

UMAP (uniform manifold approximation and projection, 2018) sigue el mismo plan básico: construir un grafo que conecte cada punto con sus vecinos más cercanos y luego encontrar una disposición en 2D que mantenga intacto ese grafo. Sus matemáticas son distintas y, en la práctica, es mucho más rápido con conjuntos de datos grandes, así que se volvió una opción habitual por defecto para los embeddings.

UMAP tiende a conservar algo más de la disposición a gran escala que t-SNE: los grupos relacionados suelen quedar más cerca entre sí. Pero sigue siendo un método de vecindarios, así que aplica la misma precaución: las distancias entre clústeres y el tamaño de cada clúster no son confiables. Sus dos ajustes principales son el número de vecinos (los valores pequeños se fijan en el detalle fino; los grandes, en el panorama general) y una distancia mínima que controla qué tan apretados quedan los puntos.

Dos más: Isomap y LDA

Isomap (2000) también construye un grafo de vecinos más cercanos, pero luego mide la distancia entre dos puntos como el camino más corto a través de ese grafo, como caminar por la superficie en lugar de hacer un túnel por el aire. Estas se llaman distancias geodésicas. Después acomoda los puntos para que esas distancias se conserven. Con una forma limpia como el rollo suizo funciona de maravilla; con datos con ruido, unas cuantas conexiones equivocadas (“cortocircuitos” entre capas) pueden arruinarlo.

LDA aquí significa análisis discriminante lineal. A diferencia de todo lo anterior, es supervisado: le das una etiqueta para cada punto (por ejemplo, el tema de cada palabra) y encuentra la proyección plana que mejor separa esas etiquetas. Es útil cuando ya conoces los grupos y quieres ver qué tan separables son. Cuidado con la coincidencia de nombres: en análisis de texto, “LDA” significa más a menudo latent Dirichlet allocation (asignación latente de Dirichlet), un método sin relación que sirve para encontrar temas en documentos.

De un vistazo

MétodoTipoConservaNo te fíes deVelocidad
PCALinealLa dispersión general; las distancias grandesFormas curvas; grupos pequeños escondidos entre la multitudRápido
t-SNENo linealLos vecinos cercanos de cada puntoEl tamaño de los clústeres; las distancias entre clústeresMás lento con muchos datos
UMAPNo linealLos vecinos cercanos, más algo de la disposición a gran escalaDensidades y distancias exactasRápido
IsomapNo linealDistancias medidas sobre la superficie de los datosFalla si hay vecinos conectados a través de huecos; datos con ruidoMedio
LDALineal, usa etiquetasLa separación entre clases conocidasTodo lo que las etiquetas no cubrenRápido
Qué intenta conservar cada método y qué se sabe que distorsiona. Los métodos “lineales” solo pueden girar y aplanar; los no lineales pueden doblar y estirar.

Cómo leer estas gráficas

  • Fíate más de los vecinos que de las distancias. Los puntos dibujados uno junto al otro suelen estar cerca en el espacio original. Los que están lejos pueden estarlo o no.
  • Ignora el tamaño de los clústeres y los huecos en t-SNE y UMAP. Una mancha grande no es necesariamente un grupo variado, y un hueco amplio no es necesariamente una gran diferencia.
  • Revisa el espacio original. Antes de creerte un patrón, confírmalo con distancias o similitudes reales en los vectores completos.
  • Prueba más de un ajuste y de una semilla. Un patrón que sobrevive a distintas perplejidades, números de vecinos y semillas aleatorias tiene más probabilidades de ser real.
  • Los datos aleatorios pueden parecer estructurados. Los métodos de vecindarios pueden producir grumos incluso a partir de ruido, así que desconfía de los clústeres que no puedas explicar.

Para entender por qué existe esa estructura, mira El espacio latente y ¿Qué son los embeddings?. La guía del sitio PCA vs UMAP muestra cómo se usan estos dos métodos en el explorador de Embeddings, donde puedes cambiar entre ellos con 10,000 palabras reales.

Preguntas frecuentes

¿Cuál es la diferencia entre PCA, t-SNE y UMAP?

PCA es un método lineal que conserva las direcciones con más dispersión, así que mantiene la forma general pero puede mezclar grupos pequeños. t-SNE se concentra en mantener juntos a los vecinos cercanos y es bueno para mostrar clústeres, pero las distancias entre clústeres significan poco. UMAP tiene un objetivo parecido al de t-SNE, corre más rápido y suele conservar un poco más de la estructura global.

¿UMAP es mejor que t-SNE?

Ninguno es mejor en todos los casos. UMAP suele ser más rápido con conjuntos de datos grandes y tiende a conservar más de la disposición a gran escala, mientras que t-SNE a menudo separa los clústeres locales con mucha limpieza. Los dos dependen de ajustes como la perplejidad o el número de vecinos, así que prueba unos cuantos valores antes de sacar conclusiones.

¿Para qué reducir los embeddings a 2D o 3D?

Las personas no podemos ver cientos de dimensiones. Proyectar los embeddings a dos o tres permite graficarlos y detectar clústeres, valores atípicos y estructura. Toda proyección desecha información, así que la imagen es un resumen útil, no un mapa exacto del espacio original.

¿Puedo fiarme de las distancias en una gráfica de t-SNE o UMAP?

Solo a nivel local. Los puntos que quedan juntos probablemente estaban cerca en el espacio original, pero los huecos entre clústeres y el tamaño de cada clúster a menudo están distorsionados. PCA conserva con más fidelidad las distancias grandes, y por eso conviene comparar más de un método.

Lecturas recomendadas