看见高维空间:PCA、t-SNE、UMAP 及其他方法
怎样把几百个维度压到 2 维或 3 维,每种方法保留了什么,又悄悄丢掉了什么。
词嵌入为每个词准备了几百个数字;大语言模型内部的向量则有几千个。我们的眼睛在屏幕上能处理两个维度,最多三个。降维是一类方法的统称,它们把许多维度压到两三个,好让我们能看到。它是理解嵌入最有用的工具之一, 也是最容易被误读的工具之一。本文讲解主要的几种方法、每种方法保留了什么,以及每种方法悄悄丢掉了什么。
为什么任何图片都难免撒点小谎
从 300 个数字变成 2 个,就意味着丢弃信息。这是绕不过去的:一张平面图能放东西的地方就是更少。 房间的照片会丢失深度;世界地图会把格陵兰拉得很大。每种方法都要选择保留哪些关系。
所以有用的问题从来不是“哪种方法是对的?”,而是“这种方法试图保留什么,又放弃了什么?”
一个测试形状:瑞士卷
要比较各种方法,最好用一份我们知道正确答案的数据。一个经典的测试是瑞士卷:一张平坦的长方形纸,在 3D 中卷成螺旋。 这些点真正的结构是二维的(沿纸面的位置和横跨纸面的位置),但卷起来之后就看不出来了。 一种真正理解了数据的方法会把它展开。颜色随沿纸面的位置变化,所以一张好的 2D 图会让颜色保持顺序。
原始数据 · 3D
PCA · 2D
PCA:PCA 寻找分布最广的方向。卷在螺旋的横截面上最宽,所以 PCA 从端面去看它:看到的是一条螺旋,而不是一张纸。在纸面上相隔很远的颜色,在相邻的两圈上挨在了一起。
点击任意一个点:它和它在 3D 中的 12 个最近邻会在两个视图中都用白色描边。它们在 2D 中还待在一起吗?
接下来逐一讲解这些方法时,请把这张图记在心里。
PCA:最宽的方向
主成分分析(PCA)找出数据分布最广的方向,称之为第一主成分。 第二主成分是与第一主成分垂直的方向中分布最广的那个,依此类推。保留前两个、丢掉其余的,就得到一张 2D 图。 从几何上看,这是先旋转、再投影子:PCA 挑选的是能展示出最大分布的那个拍摄角度。
PCA 是线性的:它只能旋转和压平,永远不能弯曲。这让它速度快、结果可预测(同样的数据总是得到同样的图),而且对大的距离很诚实。 这也意味着它无法展开瑞士卷;它只是从卷看起来最大的那一侧拍了张照片。 对于意义分散在许多方向上的词嵌入,前两个主成分往往只能捕捉总分布的一小部分,所以词的 PCA 图看起来往往是一大团相互重叠的云。
t-SNE:让邻居待在一起
t-SNE(t 分布随机邻域嵌入,2008 年)放弃了大的距离,专注于邻域。对每个点,它在原始空间中问: “哪些点是我的近邻,有多近?”然后从一个随机或粗略的 2D 布局出发,一步步移动这些点, 直到每个点在 2D 中的邻居尽可能与原来的邻居一致。
这让 t-SNE 非常擅长揭示簇。它也会制造三个众所周知的错觉:
- 簇的大小没有意义。t-SNE 会适应局部密度,所以一个紧凑的组和一个松散的组,结果看起来差不多大。
- 簇与簇之间的距离意义不大。图上相距很远的两个簇,在数据中可能相距很远,也可能不是。
- 设置会改变图像。主要的旋钮是困惑度(perplexity),大致是每个点关注多少个邻居。常见的取值在 5 到 50 之间。
PCA(作为参照)
t-SNE,困惑度 2
t-SNE,困惑度 5
t-SNE,困惑度 30
t-SNE 还带有随机性:用不同的随机种子跑两次,图像可能会变,尽管邻域关系是相似的。
UMAP:目标相似,更快,也更全局一些
UMAP(均匀流形逼近与投影,2018 年)遵循同样的基本思路:构建一张图,把每个点和它的最近邻连起来,然后找一个能让这张图保持完好的 2D 布局。 它的数学原理不同,实践中在大数据集上要快得多,所以已经成为处理嵌入时常用的默认选择。
UMAP 往往比 t-SNE 保留更多的大尺度布局:相关的组常常会离得更近。但它仍然是一种邻域方法,所以同样需要谨慎: 簇与簇之间的距离和每个簇的大小都不可靠。它的两个主要设置是邻居数量(小值关注细节,大值关注全局) 以及一个控制点排列松紧的最小距离。
另外两种:Isomap 和 LDA
Isomap(2000 年)也构建一张最近邻图,但它把两点之间的距离定义为穿过这张图的最短路线,就像沿着表面行走, 而不是从空中穿隧道。这叫作测地距离。然后它排布这些点,使这些距离得以保留。在瑞士卷这样干净的形状上,它表现得非常漂亮; 在有噪声的数据上,几条错误的连接(层与层之间的“短路”)就可能把它毁掉。
这里的 LDA 指的是线性判别分析。和上面所有方法不同,它是有监督的:你为每个点提供一个标签(比如每个词的主题), 它找出最能把这些标签分开的平直投影。当你已经知道分组、想看看它们有多容易区分时,它很有用。 注意名字撞车:在文本分析中,“LDA”更常指隐狄利克雷分配(latent Dirichlet allocation),一种用来发现文档主题的、与此无关的方法。
一览表
| 方法 | 类型 | 保留 | 不要相信 | 速度 |
|---|---|---|---|---|
| PCA | 线性 | 整体分布;大的距离 | 弯曲的形状;淹没在人群中的小组 | 快 |
| t-SNE | 非线性 | 每个点的近邻 | 簇的大小;簇与簇之间的距离 | 大数据上较慢 |
| UMAP | 非线性 | 近邻,外加一部分大尺度布局 | 精确的密度和距离 | 快 |
| Isomap | 非线性 | 沿着数据表面测量的距离 | 邻居跨越空隙相连时会失效;噪声数据 | 中等 |
| LDA | 线性,使用标签 | 已知类别之间的区分 | 标签没有覆盖到的一切 | 快 |
怎样读这些图
- 相信邻居多于相信距离。紧挨着画在一起的点,在原始空间中通常也很近。相距很远的点则不一定。
- 忽略 t-SNE 和 UMAP 中簇的大小和间隙。一大团不一定是一个多样化的组,一道宽缝也不一定代表很大的差异。
- 回到原始空间核对。在相信一个规律之前,先用完整向量中真实的距离或相似度确认它。
- 多试几种设置和种子。在不同的困惑度、邻居数和随机种子下都存在的规律,更可能是真的。
- 随机数据也可能看起来有结构。邻域方法甚至能从噪声中制造出团块,所以对解释不了的簇要保持警惕。
至于这些结构最初为什么会存在,参见潜在空间和什么是嵌入?。 站点指南 PCA 与 UMAP 展示了这两种方法在词嵌入浏览器中的用法,你可以在那里针对 10,000 个真实的词在两者之间切换。
常见问题
PCA、t-SNE 和 UMAP 有什么区别?
PCA 是一种线性方法,保留分布最广的方向,因此能保持整体形状,但可能把小的组混在一起。t-SNE 专注于让近邻待在一起,擅长展示簇,但簇与簇之间的距离意义不大。UMAP 的目标和 t-SNE 相似,运行更快,通常还能多保留一些全局结构。
UMAP 比 t-SNE 更好吗?
两者都不是在所有情况下都更好。UMAP 在大数据集上通常更快,也倾向于保留更多的大尺度布局,而 t-SNE 往往能把局部的簇分得非常干净。两者都依赖困惑度或邻居数之类的设置,所以下结论之前要多试几个取值。
为什么要把嵌入降到 2D 或 3D?
人看不见几百个维度。把嵌入投影到两维或三维,就能把它们画出来,发现簇、离群点和结构。每一次投影都会丢掉信息,所以这张图是一份有用的概要,而不是原始空间的精确地图。
t-SNE 或 UMAP 图中的距离可信吗?
只在局部可信。挨在一起的点在原始空间中很可能也很近,但簇与簇之间的间隙和每个簇的大小常常是失真的。PCA 对大的距离保留得更忠实,这就是为什么对比多种方法很有用。
延伸阅读
- How to Use t-SNE EffectivelyDistill, 2016 · 用交互示例展示 t-SNE 的每一个陷阱
- Understanding UMAPGoogle PAIR · 交互式地并排对比 UMAP 和 t-SNE
- How UMAP Worksumap-learn 文档
- Principal component analysisWikipedia
