← 学习 · 基础知识
嵌入7 分钟阅读

潜在空间:数字中隐藏的意义

嵌入的各个维度捕捉了什么,为什么方向能携带意义,以及哪些东西我们无法直接读出。

在什么是嵌入?中,我们把每个词变成一串 300 个数字,并看到相似的词会彼此靠近。 这些向量所在的空间有个名字:潜在空间。“潜在”的意思是隐藏的。它的坐标不是谁设计出来的,而是学出来的, 它们的含义只能事后去发现。本文讲的是这种隐藏的结构长什么样、能从中读出什么,以及它在哪里会误导人。

“潜在空间”是什么意思

任何把输入变成一个数字向量的模型,都定义了一个潜在空间:它可能产生的所有向量的集合。 词嵌入是最经典的例子,但图像生成模型、语音模型和大语言模型的内部向量也用这个词来称呼。 关键的性质是:位置编码了关于输入的某些信息。模型认为相似的两个输入会落在彼此附近。

下面的所有内容都使用真实的词向量(GloVe,300 维,10,000 个常见英语单词)。这些思想同样适用于其他潜在空间,即使细节有所不同。

坐标轴没有名字

一个很自然的初步猜想是:300 个数字各自衡量一件事,第 12 维表示“是动物”,第 40 维表示“是王室成员”。实际上,单个维度几乎从来不会这么整齐。

原因很简单。训练只关心向量之间的关系:它们的距离和夹角。如果把整个空间旋转一下,所有的距离和夹角都保持不变, 模型的效果也完全一样。所以没有任何力量推动一个概念去对齐某一条特定的轴。意义最终同时分散在许多维度上。

第 1 维第 300 维
真实数据。构成 GloVe 中“性别方向”的 300 个数字(woman − man 这类七个差值的平均)。没有哪个维度特别突出:最大的一个只占这个方向的约 4%,要 300 个维度中的 36 个才能占到一半。

这就是为什么一个数字一个数字地读嵌入几乎读不出什么。意义存在于方向之中,而一个方向是全部 300 个数字的某种特定组合。

方向可以携带意义

取从 man 指向 woman 的箭头:也就是两个向量之差。再取从 king 指向 queen 的箭头。 如果这个空间学到了某种关于性别的一致规律,这两个箭头的方向应该大致相同。事实确实如此,boy→girl、uncle→aunt 和 actor→actress 的箭头也一样。

manwomanboygirlkingqueenfathermotherbrothersisteruncleauntactoractress
真实数据,投影到两个选定的方向上:横轴是平均的“女性减男性”方向,纵轴是这几对词彼此之间差异最大的方向。由于横轴正是用这几对词构造的,出现一定程度的平行是意料之中的。更有力的证据在 300 维空间里:这七个差值向量两两之间的平均余弦相似度是 0.58,而随机词对之间的差值只有 0.07。

这句话里的“大致”二字很关键。余弦值 0.58 意味着这些箭头有一个共同的方向,但每个箭头也有各自的特点。其他关系则更弱。 单数到复数的箭头(cat→cats、city→cities、child→children 等)彼此之间的一致性要低得多,在这份数据中平均余弦只有 0.23。

类比就是平行的箭头

如果一个箭头的意思是“变成女性”,你就可以把它加到别的词上。这就是著名的类比技巧:king − man + woman 落在 queen 附近。 同样的算术能找到首都(paris − france + italy ≈ rome)和比较级(bigger − big + small ≈ smaller)。

算式前 3 名(余弦)含输入词
king − man + womanqueen 0.71, princess 0.60, throne 0.58king
paris − france + italyrome 0.78, milan 0.68, italian 0.67rome
bigger − big + smallsmaller 0.82, larger 0.81, large 0.65smaller
cats − cat + dogdogs 0.78, animals 0.62, pet 0.52dogs
brother − man + womandaughter 0.81, mother 0.77, wife 0.76daughter
walked − walk + swimswimming 0.53, raced 0.42, ran 0.42swim
GloVe 的真实结果。“前 3 名”排除了三个输入词,类比测试通常都这样做。最后一列是不排除输入词时最近的词:对 king − man + woman 来说,它仍然是 king。最后两行没有得到预期的答案(sister、swam);sister 排第 6,而 swam 不在这份 10,000 词的词表里。

老实说,有两点需要注意。第一,结果向量通常仍然离你开始用的某个词最近,所以类比测试会悄悄跳过输入词。 第二,人们很容易只展示成功的类比,而忘掉那些失败的。这个技巧是结构存在的真实迹象,但不是一个可靠的推理引擎。 站点指南 King − man + woman 可以让你亲手试试。

邻域和簇

潜在空间中最简单的结构是邻域。颜色挨着颜色,数字挨着数字,首都挨着它们的国家。 k-means 之类的算法可以通过寻找点的密集团块来自动找到这些分组,嵌入就是这样被用来按主题给文档或用户评论分组的。

簇没有标签,边界也很模糊。一个有多种含义的词会位于几组之间:apple 就位于水果和科技公司之间。 你给一个簇起什么名字,是你自己的解读,而不是存储在向量中的东西。

在两点之间行走

如果位置有意义,那两个词之间的空间呢?你可以把两个向量混合起来,比如 70% 的 village(村庄)加 30% 的 city(城市),然后看看哪些真实的词离这个混合点最近。

50% village + 50% city

两个端点

  1. village0.87
  2. city0.87

最近的其他词

  1. town0.82
  2. area0.72
  3. nearby0.70
  4. near0.69
真实的 GloVe 数据。每一步都把两个词向量混合起来,并列出 10,000 词词表中最近的词。左:与两个端点的相似度。右:除两个端点外最近的词,第一名加粗。可以拖动滑块或使用方向键。

能看到两件事。先说老实的那一点:在每一步,两个端点词之一仍然是最近的真实词。中间并没有藏着一个“一半村庄、一半城市”的词。 但排第二的词会以合理的方式变化。在 village 和 city 之间会经过 town(城镇);在 hot 和 cold 之间会经过 cool 和 warm; 从 king 到 queen 会经过 monarch(君主)。这个空间足够平滑,介于两种含义之间的点,靠近的是兼具两者的词。

在图像生成模型中,这种平滑性被派上了用场。许多生成模型的潜在空间中,两张图像之间的点可以解码成可信的中间图像,平滑的“变形”动画就是这样做出来的。

不只是词

凡是模型把数据变成向量的地方,就存在潜在空间。句子嵌入模型把整个句子各映射成一个向量,所以“How do I reset my password?”(怎么重置密码?)可以落在 “I forgot my login”(我忘了登录信息)附近,尽管两句话没有一个词相同。图像模型把图片映射成向量。有些模型,比如 OpenAI 的 CLIP,经过训练后能让一张照片和描述它的文字 落在同一个共享空间中彼此靠近的地方,这正是用文字搜索照片得以实现的原因。图像和音频是怎样先被切成小块的,参见文本之外的词元。

在大语言模型内部,潜在空间不止一个,而是有很多:每一层都会为每个词元产生新的向量 (参见注意力机制与 Transformer)。研究人员在那里也发现了有意义的方向,但解读它们仍是一个活跃的研究领域,而不是已经解决的问题。

局限与偏见

潜在空间是其训练数据的一份压缩记录,也包括那些我们可能不想要的部分。像 nurse(护士)或 engineer(工程师)这样的词,在定义上并没有性别, 但它们经常出现在带有性别色彩的语境中,以至于它们的向量偏向了某一边。

真实数据。职业词在性别方向上的位置(与该方向的余弦)。这些词本身是中性的,它们的向量却偏向某一边,反映出它们在训练文本中的用法。he 和 she 作为参照列出。

2016 年的一篇论文仔细记录了这一现象,它的标题引用了一个真实的类比结果:“Man is to Computer Programmer as Woman is to Homemaker?”(男人之于程序员,就像女人之于家庭主妇?)。 在我们的数据中,doctor − man + woman 第一名是 physician(医师),第二名是 nurse。任何建立在嵌入之上的系统,从搜索到招聘工具, 都可能把这些模式传递下去。有一些技术可以减轻它们,但没有一种能彻底消除。

还有一个局限在我们自己这边。我们只能通过平面图片来观察这些空间,而把 300 维压成两维总会扭曲一些东西。看见高维空间解释了这些图片是怎么做出来的,以及怎样读它们才不会被骗。 想亲自探索 GloVe,可以试试词嵌入浏览器,或者在向量实验场里做词语算术。

常见问题

AI 中的潜在空间是什么?

潜在空间是模型在内部用来表示输入的向量空间。每个点都是一个嵌入,它的位置反映的是模型学到的规律,而不是人给的标签。相似的输入最终会彼此靠近,空间中的某些方向还会和复数、时态或性别之类的概念对应起来。

嵌入的每个维度都有含义吗?

通常不是一个一个地有含义。单个维度很少对应一个清晰的概念;意义往往同时分散在许多维度上。可解释的规律通常表现为方向,也就是多个维度的组合,而不是一条条有名字的轴。

为什么 king − man + woman ≈ queen 能成立?

在许多词嵌入中,man 和 woman 的差值与 king 和 queen 的差值方向大致相同。减去 man、加上 woman,就是把 king 的向量沿着这个方向移动,而离结果最近的词往往就是 queen。这对某些关系有效,但并非对所有关系都可靠。

嵌入会有偏见吗?

会。嵌入是从人写的文本中学来的,所以会吸收其中的关联,包括刻板印象。例如,研究人员已经证明,某些词嵌入会把特定职业与某一性别联系得更紧密。衡量和减少这种偏见是一个活跃的研究领域。

延伸阅读