← 学习 · 基础知识
嵌入7 分钟阅读

看见高维空间:PCA、t-SNE、UMAP 及其他方法

怎样把几百个维度压到 2 维或 3 维,每种方法保留了什么,又悄悄丢掉了什么。

词嵌入为每个词准备了几百个数字;大语言模型内部的向量则有几千个。我们的眼睛在屏幕上能处理两个维度,最多三个。降维是一类方法的统称,它们把许多维度压到两三个,好让我们能看到。它是理解嵌入最有用的工具之一, 也是最容易被误读的工具之一。本文讲解主要的几种方法、每种方法保留了什么,以及每种方法悄悄丢掉了什么。

为什么任何图片都难免撒点小谎

从 300 个数字变成 2 个,就意味着丢弃信息。这是绕不过去的:一张平面图能放东西的地方就是更少。 房间的照片会丢失深度;世界地图会把格陵兰拉得很大。每种方法都要选择保留哪些关系。

光源2DABA 和 B
示意。投影就像投下影子。点 A 和点 B 在 3D 中相距很远,但它们在同一条视线上,所以影子落在同一个位置。每一次降到更少维度的投影,都会丢失一些这样的差别。

所以有用的问题从来不是“哪种方法是对的?”,而是“这种方法试图保留什么,又放弃了什么?”

一个测试形状:瑞士卷

要比较各种方法,最好用一份我们知道正确答案的数据。一个经典的测试是瑞士卷:一张平坦的长方形纸,在 3D 中卷成螺旋。 这些点真正的结构是二维的(沿纸面的位置和横跨纸面的位置),但卷起来之后就看不出来了。 一种真正理解了数据的方法会把它展开。颜色随沿纸面的位置变化,所以一张好的 2D 图会让颜色保持顺序。

原始数据 · 3D

PCA · 2D

PCA:PCA 寻找分布最广的方向。卷在螺旋的横截面上最宽,所以 PCA 从端面去看它:看到的是一条螺旋,而不是一张纸。在纸面上相隔很远的颜色,在相邻的两圈上挨在了一起。

点击任意一个点:它和它在 3D 中的 12 个最近邻会在两个视图中都用白色描边。它们在 2D 中还待在一起吗?

示意数据(700 个点)。PCA、t-SNE、Isomap 和 LDA 是真实的 scikit-learn 运行结果;UMAP 视图来自对 UMAP 算法的一个小型重新实现,所以它接近官方库的结果,但不完全相同。用滑块旋转 3D 卷,再在各方法之间切换,看看每种方法的 2D 结果。点会从一种布局平滑移动到下一种,方便你跟踪它们。

接下来逐一讲解这些方法时,请把这张图记在心里。

PCA:最宽的方向

主成分分析(PCA)找出数据分布最广的方向,称之为第一主成分。 第二主成分是与第一主成分垂直的方向中分布最广的那个,依此类推。保留前两个、丢掉其余的,就得到一张 2D 图。 从几何上看,这是先旋转、再投影子:PCA 挑选的是能展示出最大分布的那个拍摄角度。

PCA 是线性的:它只能旋转和压平,永远不能弯曲。这让它速度快、结果可预测(同样的数据总是得到同样的图),而且对大的距离很诚实。 这也意味着它无法展开瑞士卷;它只是从卷看起来最大的那一侧拍了张照片。 对于意义分散在许多方向上的词嵌入,前两个主成分往往只能捕捉总分布的一小部分,所以词的 PCA 图看起来往往是一大团相互重叠的云。

t-SNE:让邻居待在一起

t-SNE(t 分布随机邻域嵌入,2008 年)放弃了大的距离,专注于邻域。对每个点,它在原始空间中问: “哪些点是我的近邻,有多近?”然后从一个随机或粗略的 2D 布局出发,一步步移动这些点, 直到每个点在 2D 中的邻居尽可能与原来的邻居一致。

这让 t-SNE 非常擅长揭示簇。它也会制造三个众所周知的错觉:

  • 簇的大小没有意义。t-SNE 会适应局部密度,所以一个紧凑的组和一个松散的组,结果看起来差不多大。
  • 簇与簇之间的距离意义不大。图上相距很远的两个簇,在数据中可能相距很远,也可能不是。
  • 设置会改变图像。主要的旋钮是困惑度(perplexity),大致是每个点关注多少个邻居。常见的取值在 5 到 50 之间。

PCA(作为参照)

t-SNE,困惑度 2

t-SNE,困惑度 5

t-SNE,困惑度 30

示意数据,真实的 t-SNE 运行结果。10 维中的三组点:红色非常紧凑,青色宽六倍且离红色很近,黄色离两者都很远。PCA(一种直接投影)保留了这些大小和距离上的差异。t-SNE 让几组看起来大小差不多,而它们看上去相距多远,取决于困惑度的设置。

t-SNE 还带有随机性:用不同的随机种子跑两次,图像可能会变,尽管邻域关系是相似的。

UMAP:目标相似,更快,也更全局一些

UMAP(均匀流形逼近与投影,2018 年)遵循同样的基本思路:构建一张图,把每个点和它的最近邻连起来,然后找一个能让这张图保持完好的 2D 布局。 它的数学原理不同,实践中在大数据集上要快得多,所以已经成为处理嵌入时常用的默认选择。

UMAP 往往比 t-SNE 保留更多的大尺度布局:相关的组常常会离得更近。但它仍然是一种邻域方法,所以同样需要谨慎: 簇与簇之间的距离和每个簇的大小都不可靠。它的两个主要设置是邻居数量(小值关注细节,大值关注全局) 以及一个控制点排列松紧的最小距离。

另外两种:Isomap 和 LDA

Isomap(2000 年)也构建一张最近邻图,但它把两点之间的距离定义为穿过这张图的最短路线,就像沿着表面行走, 而不是从空中穿隧道。这叫作测地距离。然后它排布这些点,使这些距离得以保留。在瑞士卷这样干净的形状上,它表现得非常漂亮; 在有噪声的数据上,几条错误的连接(层与层之间的“短路”)就可能把它毁掉。

这里的 LDA 指的是线性判别分析。和上面所有方法不同,它是有监督的:你为每个点提供一个标签(比如每个词的主题), 它找出最能把这些标签分开的平直投影。当你已经知道分组、想看看它们有多容易区分时,它很有用。 注意名字撞车:在文本分析中,“LDA”更常指隐狄利克雷分配(latent Dirichlet allocation),一种用来发现文档主题的、与此无关的方法。

一览表

方法类型保留不要相信速度
PCA线性整体分布;大的距离弯曲的形状;淹没在人群中的小组快
t-SNE非线性每个点的近邻簇的大小;簇与簇之间的距离大数据上较慢
UMAP非线性近邻,外加一部分大尺度布局精确的密度和距离快
Isomap非线性沿着数据表面测量的距离邻居跨越空隙相连时会失效;噪声数据中等
LDA线性,使用标签已知类别之间的区分标签没有覆盖到的一切快
每种方法试图保留什么,以及已知会扭曲什么。“线性”方法只能旋转和压平;非线性方法可以弯曲和拉伸。

怎样读这些图

  • 相信邻居多于相信距离。紧挨着画在一起的点,在原始空间中通常也很近。相距很远的点则不一定。
  • 忽略 t-SNE 和 UMAP 中簇的大小和间隙。一大团不一定是一个多样化的组,一道宽缝也不一定代表很大的差异。
  • 回到原始空间核对。在相信一个规律之前,先用完整向量中真实的距离或相似度确认它。
  • 多试几种设置和种子。在不同的困惑度、邻居数和随机种子下都存在的规律,更可能是真的。
  • 随机数据也可能看起来有结构。邻域方法甚至能从噪声中制造出团块,所以对解释不了的簇要保持警惕。

至于这些结构最初为什么会存在,参见潜在空间和什么是嵌入?。 站点指南 PCA 与 UMAP 展示了这两种方法在词嵌入浏览器中的用法,你可以在那里针对 10,000 个真实的词在两者之间切换。

常见问题

PCA、t-SNE 和 UMAP 有什么区别?

PCA 是一种线性方法,保留分布最广的方向,因此能保持整体形状,但可能把小的组混在一起。t-SNE 专注于让近邻待在一起,擅长展示簇,但簇与簇之间的距离意义不大。UMAP 的目标和 t-SNE 相似,运行更快,通常还能多保留一些全局结构。

UMAP 比 t-SNE 更好吗?

两者都不是在所有情况下都更好。UMAP 在大数据集上通常更快,也倾向于保留更多的大尺度布局,而 t-SNE 往往能把局部的簇分得非常干净。两者都依赖困惑度或邻居数之类的设置,所以下结论之前要多试几个取值。

为什么要把嵌入降到 2D 或 3D?

人看不见几百个维度。把嵌入投影到两维或三维,就能把它们画出来,发现簇、离群点和结构。每一次投影都会丢掉信息,所以这张图是一份有用的概要,而不是原始空间的精确地图。

t-SNE 或 UMAP 图中的距离可信吗?

只在局部可信。挨在一起的点在原始空间中很可能也很近,但簇与簇之间的间隙和每个簇的大小常常是失真的。PCA 对大的距离保留得更忠实,这就是为什么对比多种方法很有用。

延伸阅读