← 学习 · 站点指南
嵌入4 分钟阅读

PCA 与 UMAP:压平意义的两种方式

把 300 个维度压到 3 个的两种方式,各自保留了什么,以及怎样读结果。

词嵌入页面上的每个词,实际上都是一串 300 个数字,也就是 300 维空间中的一个点。屏幕只有两个维度,我们的直觉最多能应付三个。 为了把这些词画出来,本站必须把 300 个数字降到 3 个。这叫作降维,页面提供了两种做法:PCA 和 UMAP。

两者都不是“正确”的。丢掉 297 个维度总会损失一些东西。这两种方法只是选择保留不同的东西。 本指南介绍词嵌入页面上的这两个选项;看见高维空间则更深入地讲解了包括 t-SNE 在内的更多方法。

PCA:找出最宽的方向

主成分分析(PCA)寻找点分布最广的方向,把它作为第一条轴。 然后找出与第一条轴垂直、分布次广的方向,依此类推。为了得到 3D 视图,它保留前三个方向,丢掉其余的。

想象给一本书这样的扁平物体拍照。从正面拍,也就是它形状最宽的那一面,得到的信息最多,而不是从侧边拍。 PCA 挑选的就是能展示出最大分布的拍摄角度。从数学上说,它只是先旋转、再丢掉一些轴(一种投影,就像投在墙上的影子),所以它有一些有用的性质:

  • 它是确定性的:同样的数据总是得到同样的图。
  • 它是线性的,所以原始空间中的直线关系仍然是直的。
  • 大的距离大致得以保留:图上相距很远的东西,在数据中也确实相距很远。

它的弱点是不得不舍弃太多东西。词嵌入把信息分散在许多方向上。 对于本站提供的 10,000 个 GloVe 向量,前三个方向只捕捉到总分布的约 9%;要大约 54 个方向才能达到一半。 所以 PCA 视图看起来往往是一大团云,各组在中间相互重叠。两个词可能在屏幕上挨得很近,却一点也不相似。

UMAP:让邻居待在一起

UMAP(均匀流形逼近与投影,2018 年)采取了不同的做法。它不保留整体分布,而是尽量保留邻域。

首先,它在完整的 300 维空间中找出每个词的最近邻,构建一张把它们连起来的图。 然后它把这些词放到 3D 中,不断微调位置,直到 3D 中的邻居尽可能与原来的一致:邻居互相吸引,非邻居互相排斥。

PCA

UMAP

示意图,并非真实数据:同样四组点在 PCA 和 UMAP 下通常呈现的样子。PCA 保留整体分布,所以各组相互重叠。UMAP 让邻居待在一起,所以各组分成一个个小岛。

结果通常会显示出清晰、紧凑的簇:数字在一个岛上,地名在另一个岛上。这让 UMAP 视图更便于探索。 但这种清晰也附带着读图的规则:

  • 簇与簇之间的距离意义不大。相距很远的两个岛,并不一定比并排的两个岛关系更远。
  • 簇的大小意义不大。UMAP 往往会把密度拉平,所以一个又大又松散的组和一个又小又紧凑的组可能看起来差不多。
  • 每次运行结果不同。UMAP 从一个随机布局开始,所以再运行一次,岛屿可能会旋转、翻转或重新排列。本站的视图是预先计算好的,所以每次访问都保持不变。

并排对比

PCAUMAP
保留整体分布局部邻居
方法线性(旋转)非线性(图)
每次运行结果相同是不保证
簇看起来相互重叠彼此分开
可信的距离大的距离,大致可信只有小的距离
两种方法的对比。

怎样读词嵌入页面

在词嵌入页面上,降维开关可以在两者之间切换。用同一个模型和同样的词数分别试试,比较一下。

  • 颜色来自每个数据集文件中存储的簇 ID。它们是针对每种视图分别计算的,所以 PCA 中的某种颜色和 UMAP 中的同一种颜色并不代表同一组。
  • 页面本身也提醒:3D 视图中的距离并不是原始的相似度分数。要看真正的相似度,得看完整的 300 个数字。
  • 搜索一个词,在两种视图中分别查看它的邻居。在两种视图中都出现的邻居,很好地说明这种关系是真实的,而不是投影造成的假象。

一个好习惯是:用 UMAP 寻找有趣的分组,再用 PCA 对全局做一次合理性检查。

常见问题

处理嵌入时应该用 PCA 还是 UMAP?

想快速、可重复地查看整体形状和主要变化方向,就用 PCA。关心哪些点是邻居、想看到簇,就用 UMAP。在同一份数据上把两者都看一看,往往收获最多。

为什么 UMAP 每次给出的图都不一样?

UMAP 从一个随机布局出发再进行优化,所以不同的运行或设置会产生不同的排列,尤其是簇与簇之间。固定随机种子可以让结果可重复。PCA 是确定性的,同样的数据每次都给出同样的结果。

PCA 保留了什么,又丢掉了什么?

PCA 保留数据分布最广的少数几个直线方向,所以大的距离和整体结构得以保留。它丢掉了其余方向上的一切,这可能会把几个独立的小组压到一起、相互重叠。

UMAP 图应该怎么读?

相信哪些点彼此靠近:一个紧凑的组通常确实有共同之处。对簇的大小和簇与簇之间的距离要小心,UMAP 并不能可靠地保留它们。下结论之前,把鼠标悬停在点上,看看实际是哪些词。