PCA 与 UMAP:压平意义的两种方式
把 300 个维度压到 3 个的两种方式,各自保留了什么,以及怎样读结果。
词嵌入页面上的每个词,实际上都是一串 300 个数字,也就是 300 维空间中的一个点。屏幕只有两个维度,我们的直觉最多能应付三个。 为了把这些词画出来,本站必须把 300 个数字降到 3 个。这叫作降维,页面提供了两种做法:PCA 和 UMAP。
两者都不是“正确”的。丢掉 297 个维度总会损失一些东西。这两种方法只是选择保留不同的东西。 本指南介绍词嵌入页面上的这两个选项;看见高维空间则更深入地讲解了包括 t-SNE 在内的更多方法。
PCA:找出最宽的方向
主成分分析(PCA)寻找点分布最广的方向,把它作为第一条轴。 然后找出与第一条轴垂直、分布次广的方向,依此类推。为了得到 3D 视图,它保留前三个方向,丢掉其余的。
想象给一本书这样的扁平物体拍照。从正面拍,也就是它形状最宽的那一面,得到的信息最多,而不是从侧边拍。 PCA 挑选的就是能展示出最大分布的拍摄角度。从数学上说,它只是先旋转、再丢掉一些轴(一种投影,就像投在墙上的影子),所以它有一些有用的性质:
- 它是确定性的:同样的数据总是得到同样的图。
- 它是线性的,所以原始空间中的直线关系仍然是直的。
- 大的距离大致得以保留:图上相距很远的东西,在数据中也确实相距很远。
它的弱点是不得不舍弃太多东西。词嵌入把信息分散在许多方向上。 对于本站提供的 10,000 个 GloVe 向量,前三个方向只捕捉到总分布的约 9%;要大约 54 个方向才能达到一半。 所以 PCA 视图看起来往往是一大团云,各组在中间相互重叠。两个词可能在屏幕上挨得很近,却一点也不相似。
UMAP:让邻居待在一起
UMAP(均匀流形逼近与投影,2018 年)采取了不同的做法。它不保留整体分布,而是尽量保留邻域。
首先,它在完整的 300 维空间中找出每个词的最近邻,构建一张把它们连起来的图。 然后它把这些词放到 3D 中,不断微调位置,直到 3D 中的邻居尽可能与原来的一致:邻居互相吸引,非邻居互相排斥。
PCA
UMAP
结果通常会显示出清晰、紧凑的簇:数字在一个岛上,地名在另一个岛上。这让 UMAP 视图更便于探索。 但这种清晰也附带着读图的规则:
- 簇与簇之间的距离意义不大。相距很远的两个岛,并不一定比并排的两个岛关系更远。
- 簇的大小意义不大。UMAP 往往会把密度拉平,所以一个又大又松散的组和一个又小又紧凑的组可能看起来差不多。
- 每次运行结果不同。UMAP 从一个随机布局开始,所以再运行一次,岛屿可能会旋转、翻转或重新排列。本站的视图是预先计算好的,所以每次访问都保持不变。
并排对比
| PCA | UMAP | |
|---|---|---|
| 保留 | 整体分布 | 局部邻居 |
| 方法 | 线性(旋转) | 非线性(图) |
| 每次运行结果相同 | 是 | 不保证 |
| 簇看起来 | 相互重叠 | 彼此分开 |
| 可信的距离 | 大的距离,大致可信 | 只有小的距离 |
怎样读词嵌入页面
在词嵌入页面上,降维开关可以在两者之间切换。用同一个模型和同样的词数分别试试,比较一下。
- 颜色来自每个数据集文件中存储的簇 ID。它们是针对每种视图分别计算的,所以 PCA 中的某种颜色和 UMAP 中的同一种颜色并不代表同一组。
- 页面本身也提醒:3D 视图中的距离并不是原始的相似度分数。要看真正的相似度,得看完整的 300 个数字。
- 搜索一个词,在两种视图中分别查看它的邻居。在两种视图中都出现的邻居,很好地说明这种关系是真实的,而不是投影造成的假象。
一个好习惯是:用 UMAP 寻找有趣的分组,再用 PCA 对全局做一次合理性检查。
常见问题
处理嵌入时应该用 PCA 还是 UMAP?
想快速、可重复地查看整体形状和主要变化方向,就用 PCA。关心哪些点是邻居、想看到簇,就用 UMAP。在同一份数据上把两者都看一看,往往收获最多。
为什么 UMAP 每次给出的图都不一样?
UMAP 从一个随机布局出发再进行优化,所以不同的运行或设置会产生不同的排列,尤其是簇与簇之间。固定随机种子可以让结果可重复。PCA 是确定性的,同样的数据每次都给出同样的结果。
PCA 保留了什么,又丢掉了什么?
PCA 保留数据分布最广的少数几个直线方向,所以大的距离和整体结构得以保留。它丢掉了其余方向上的一切,这可能会把几个独立的小组压到一起、相互重叠。
UMAP 图应该怎么读?
相信哪些点彼此靠近:一个紧凑的组通常确实有共同之处。对簇的大小和簇与簇之间的距离要小心,UMAP 并不能可靠地保留它们。下结论之前,把鼠标悬停在点上,看看实际是哪些词。
