PCA vs UMAP: dos maneras de aplanar el significado
Dos maneras de comprimir 300 dimensiones en 3, qué conserva cada una y cómo leer el resultado.
Cada palabra de la página de Embeddings es en realidad una lista de 300 números, un punto en un espacio de 300 dimensiones. Las pantallas tienen dos dimensiones y nuestra intuición maneja tres. Para poder dibujar las palabras, el sitio tiene que reducir 300 números a 3. Esto se llama reducción de dimensionalidad, y la página ofrece dos maneras de hacerlo: PCA y UMAP.
Ninguna es “la correcta”. Desechar 297 dimensiones siempre pierde algo. Los dos métodos simplemente eligen conservar cosas distintas. Esta guía cubre las dos opciones de la página de Embeddings; Ver muchas dimensiones explica más a fondo la familia completa, incluido t-SNE.
PCA: encontrar las direcciones más amplias
El análisis de componentes principales (PCA) busca la dirección en la que los puntos están más dispersos. Esa se vuelve el primer eje. Luego encuentra la siguiente dirección más dispersa en ángulo recto con la primera, y así sucesivamente. Para obtener una vista en 3D, se queda con las tres primeras direcciones y descarta el resto.
Piensa en fotografiar un objeto plano, como un libro. Obtienes más información si lo fotografías de frente, donde su forma es más ancha, y no de canto. PCA elige el ángulo de cámara que muestra la mayor dispersión. Matemáticamente es solo una rotación seguida de descartar ejes (una proyección, como una sombra sobre una pared), así que tiene propiedades útiles:
- Es determinista: los mismos datos siempre dan la misma imagen.
- Es lineal, así que las relaciones en línea recta del espacio original siguen siendo rectas.
- Las distancias grandes se conservan más o menos: lo que está lejos en la gráfica de verdad está lejos en los datos.
Su punto débil es todo lo que tiene que dejar fuera. Los embeddings de palabras reparten su información en muchas direcciones. En los 10,000 vectores de GloVe que trae este sitio, las tres primeras direcciones capturan solo alrededor del 9% de la dispersión total; hacen falta unas 54 direcciones para llegar a la mitad. Por eso una vista de PCA suele verse como una gran nube, con grupos encimados en el centro. Dos palabras pueden quedar juntas en pantalla sin parecerse en nada.
UMAP: mantener juntos a los vecinos
UMAP (Uniform Manifold Approximation and Projection, 2018) tiene otro enfoque. En lugar de conservar la dispersión general, intenta conservar los vecindarios.
Primero encuentra los vecinos más cercanos de cada palabra en el espacio completo de 300 dimensiones y construye un grafo que los conecta. Luego coloca las palabras en 3D y las va empujando hasta que los vecinos en 3D se parecen lo más posible a los originales: los vecinos se atraen y los que no lo son se repelen.
PCA
UMAP
El resultado suele mostrar clústeres claros y compactos: los números en una isla, los nombres de lugares en otra. Eso hace que las vistas de UMAP sean más fáciles de explorar. Pero esa claridad viene con reglas para leerlas:
- Las distancias entre clústeres significan poco. Dos islas muy separadas no están necesariamente menos relacionadas que dos islas una al lado de la otra.
- El tamaño de los clústeres significa poco. UMAP tiende a igualar la densidad, así que un grupo grande y disperso y uno pequeño y compacto pueden verse parecidos.
- Cada ejecución es distinta. UMAP parte de una disposición aleatoria, así que volver a correrlo puede girar, voltear o reacomodar las islas. Las vistas de este sitio se calculan de antemano, así que no cambian entre visitas.
Lado a lado
| PCA | UMAP | |
|---|---|---|
| Conserva | la dispersión general | los vecinos locales |
| Método | lineal (rotación) | no lineal (grafo) |
| Mismo resultado en cada ejecución | sí | no garantizado |
| Los clústeres se ven | encimados | separados |
| Distancias confiables | las grandes, más o menos | solo las pequeñas |
Cómo leer la página de Embeddings
En la página de Embeddings, el selector de Reducción de dimensionalidad cambia entre los dos. Prueba el mismo modelo y la misma cantidad de palabras en ambos y compara.
- Los colores salen de los ID de clúster guardados con cada archivo de datos. Se calculan por separado para cada vista, así que un color en PCA no significa el mismo grupo que ese color en UMAP.
- La propia página advierte que la distancia en la vista 3D no es la puntuación de similitud original. Para la similitud real, lo que cuenta son los 300 números completos.
- Busca una palabra y mira sus vecinos en las dos vistas. Los vecinos que aparecen en ambas son una buena señal de que la relación es real y no un efecto de la proyección.
Un buen hábito es usar UMAP para encontrar grupos interesantes y PCA para comprobar que el panorama general tiene sentido.
Preguntas frecuentes
¿Debo usar PCA o UMAP para visualizar embeddings?
Usa PCA para una vista rápida y repetible de la forma general y de las direcciones principales de variación. Usa UMAP cuando te importa qué puntos son vecinos y quieres ver clústeres. Mirar los dos con los mismos datos suele ser lo más informativo.
¿Por qué UMAP da una imagen distinta cada vez?
UMAP parte de una disposición aleatoria y la optimiza, así que distintas ejecuciones o ajustes pueden producir acomodos distintos, sobre todo entre clústeres. Fijar la semilla aleatoria lo hace repetible. PCA es determinista y da el mismo resultado cada vez con los mismos datos.
¿Qué conserva PCA y qué pierde?
PCA conserva las pocas direcciones en línea recta en las que los datos se dispersan más, así que sobreviven las distancias grandes y la estructura general. Pierde todo lo que hay en las direcciones restantes, lo que puede aplastar grupos pequeños distintos uno encima del otro.
¿Cómo se lee una gráfica de UMAP?
Fíate de qué puntos están cerca unos de otros: un grupo compacto suele compartir algo real. Ten cuidado con el tamaño de los clústeres y las distancias entre ellos, que UMAP no conserva de forma confiable. Pasa el cursor sobre los puntos y revisa las palabras reales antes de sacar conclusiones.
