潜在空间:数字中隐藏的意义
嵌入的各个维度捕捉了什么,为什么方向能携带意义,以及哪些东西我们无法直接读出。
在什么是嵌入?中,我们把每个词变成一串 300 个数字,并看到相似的词会彼此靠近。 这些向量所在的空间有个名字:潜在空间。“潜在”的意思是隐藏的。它的坐标不是谁设计出来的,而是学出来的, 它们的含义只能事后去发现。本文讲的是这种隐藏的结构长什么样、能从中读出什么,以及它在哪里会误导人。
“潜在空间”是什么意思
任何把输入变成一个数字向量的模型,都定义了一个潜在空间:它可能产生的所有向量的集合。 词嵌入是最经典的例子,但图像生成模型、语音模型和大语言模型的内部向量也用这个词来称呼。 关键的性质是:位置编码了关于输入的某些信息。模型认为相似的两个输入会落在彼此附近。
下面的所有内容都使用真实的词向量(GloVe,300 维,10,000 个常见英语单词)。这些思想同样适用于其他潜在空间,即使细节有所不同。
坐标轴没有名字
一个很自然的初步猜想是:300 个数字各自衡量一件事,第 12 维表示“是动物”,第 40 维表示“是王室成员”。实际上,单个维度几乎从来不会这么整齐。
原因很简单。训练只关心向量之间的关系:它们的距离和夹角。如果把整个空间旋转一下,所有的距离和夹角都保持不变, 模型的效果也完全一样。所以没有任何力量推动一个概念去对齐某一条特定的轴。意义最终同时分散在许多维度上。
这就是为什么一个数字一个数字地读嵌入几乎读不出什么。意义存在于方向之中,而一个方向是全部 300 个数字的某种特定组合。
方向可以携带意义
取从 man 指向 woman 的箭头:也就是两个向量之差。再取从 king 指向 queen 的箭头。 如果这个空间学到了某种关于性别的一致规律,这两个箭头的方向应该大致相同。事实确实如此,boy→girl、uncle→aunt 和 actor→actress 的箭头也一样。
这句话里的“大致”二字很关键。余弦值 0.58 意味着这些箭头有一个共同的方向,但每个箭头也有各自的特点。其他关系则更弱。 单数到复数的箭头(cat→cats、city→cities、child→children 等)彼此之间的一致性要低得多,在这份数据中平均余弦只有 0.23。
类比就是平行的箭头
如果一个箭头的意思是“变成女性”,你就可以把它加到别的词上。这就是著名的类比技巧:king − man + woman 落在 queen 附近。 同样的算术能找到首都(paris − france + italy ≈ rome)和比较级(bigger − big + small ≈ smaller)。
| 算式 | 前 3 名(余弦) | 含输入词 |
|---|---|---|
| king − man + woman | queen 0.71, princess 0.60, throne 0.58 | king |
| paris − france + italy | rome 0.78, milan 0.68, italian 0.67 | rome |
| bigger − big + small | smaller 0.82, larger 0.81, large 0.65 | smaller |
| cats − cat + dog | dogs 0.78, animals 0.62, pet 0.52 | dogs |
| brother − man + woman | daughter 0.81, mother 0.77, wife 0.76 | daughter |
| walked − walk + swim | swimming 0.53, raced 0.42, ran 0.42 | swim |
老实说,有两点需要注意。第一,结果向量通常仍然离你开始用的某个词最近,所以类比测试会悄悄跳过输入词。 第二,人们很容易只展示成功的类比,而忘掉那些失败的。这个技巧是结构存在的真实迹象,但不是一个可靠的推理引擎。 站点指南 King − man + woman 可以让你亲手试试。
邻域和簇
潜在空间中最简单的结构是邻域。颜色挨着颜色,数字挨着数字,首都挨着它们的国家。 k-means 之类的算法可以通过寻找点的密集团块来自动找到这些分组,嵌入就是这样被用来按主题给文档或用户评论分组的。
簇没有标签,边界也很模糊。一个有多种含义的词会位于几组之间:apple 就位于水果和科技公司之间。 你给一个簇起什么名字,是你自己的解读,而不是存储在向量中的东西。
在两点之间行走
如果位置有意义,那两个词之间的空间呢?你可以把两个向量混合起来,比如 70% 的 village(村庄)加 30% 的 city(城市),然后看看哪些真实的词离这个混合点最近。
50% village + 50% city
两个端点
最近的其他词
能看到两件事。先说老实的那一点:在每一步,两个端点词之一仍然是最近的真实词。中间并没有藏着一个“一半村庄、一半城市”的词。 但排第二的词会以合理的方式变化。在 village 和 city 之间会经过 town(城镇);在 hot 和 cold 之间会经过 cool 和 warm; 从 king 到 queen 会经过 monarch(君主)。这个空间足够平滑,介于两种含义之间的点,靠近的是兼具两者的词。
在图像生成模型中,这种平滑性被派上了用场。许多生成模型的潜在空间中,两张图像之间的点可以解码成可信的中间图像,平滑的“变形”动画就是这样做出来的。
不只是词
凡是模型把数据变成向量的地方,就存在潜在空间。句子嵌入模型把整个句子各映射成一个向量,所以“How do I reset my password?”(怎么重置密码?)可以落在 “I forgot my login”(我忘了登录信息)附近,尽管两句话没有一个词相同。图像模型把图片映射成向量。有些模型,比如 OpenAI 的 CLIP,经过训练后能让一张照片和描述它的文字 落在同一个共享空间中彼此靠近的地方,这正是用文字搜索照片得以实现的原因。图像和音频是怎样先被切成小块的,参见文本之外的词元。
在大语言模型内部,潜在空间不止一个,而是有很多:每一层都会为每个词元产生新的向量 (参见注意力机制与 Transformer)。研究人员在那里也发现了有意义的方向,但解读它们仍是一个活跃的研究领域,而不是已经解决的问题。
局限与偏见
潜在空间是其训练数据的一份压缩记录,也包括那些我们可能不想要的部分。像 nurse(护士)或 engineer(工程师)这样的词,在定义上并没有性别, 但它们经常出现在带有性别色彩的语境中,以至于它们的向量偏向了某一边。
2016 年的一篇论文仔细记录了这一现象,它的标题引用了一个真实的类比结果:“Man is to Computer Programmer as Woman is to Homemaker?”(男人之于程序员,就像女人之于家庭主妇?)。 在我们的数据中,doctor − man + woman 第一名是 physician(医师),第二名是 nurse。任何建立在嵌入之上的系统,从搜索到招聘工具, 都可能把这些模式传递下去。有一些技术可以减轻它们,但没有一种能彻底消除。
还有一个局限在我们自己这边。我们只能通过平面图片来观察这些空间,而把 300 维压成两维总会扭曲一些东西。看见高维空间解释了这些图片是怎么做出来的,以及怎样读它们才不会被骗。 想亲自探索 GloVe,可以试试词嵌入浏览器,或者在向量实验场里做词语算术。
常见问题
AI 中的潜在空间是什么?
潜在空间是模型在内部用来表示输入的向量空间。每个点都是一个嵌入,它的位置反映的是模型学到的规律,而不是人给的标签。相似的输入最终会彼此靠近,空间中的某些方向还会和复数、时态或性别之类的概念对应起来。
嵌入的每个维度都有含义吗?
通常不是一个一个地有含义。单个维度很少对应一个清晰的概念;意义往往同时分散在许多维度上。可解释的规律通常表现为方向,也就是多个维度的组合,而不是一条条有名字的轴。
为什么 king − man + woman ≈ queen 能成立?
在许多词嵌入中,man 和 woman 的差值与 king 和 queen 的差值方向大致相同。减去 man、加上 woman,就是把 king 的向量沿着这个方向移动,而离结果最近的词往往就是 queen。这对某些关系有效,但并非对所有关系都可靠。
嵌入会有偏见吗?
会。嵌入是从人写的文本中学来的,所以会吸收其中的关联,包括刻板印象。例如,研究人员已经证明,某些词嵌入会把特定职业与某一性别联系得更紧密。衡量和减少这种偏见是一个活跃的研究领域。
延伸阅读
- Transformers, the tech behind LLMs3Blue1Brown · 其中关于嵌入的部分直观地展示了 woman − man 这样的方向
- GloVe: Global Vectors for Word RepresentationStanford NLP · 参见“linear substructures”(线性子结构)一节
- Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word EmbeddingsBolukbasi et al., 2016
- Learning Transferable Visual Models From Natural Language SupervisionRadford et al., 2021 · CLIP 论文:图像和文本在同一个空间中
