什么是嵌入?
把一个词变成一串数字,让意思相近的词彼此靠近。
计算机擅长处理数字,不擅长处理意义。模型要对 cat 这个词做任何有用的事,都得先把它变成数字。 有意思的问题是:变成哪些数字?嵌入(词嵌入)是几乎所有现代语言系统采用的答案: 为每个词(或词元)准备一串数字,从文本中学习得到,并且让意思相近的词拿到相近的数字串。
为什么不直接给每个词编个号?
最简单的想法是给词表编号:the 是 1,cat 是 2,依此类推。分词器做的大致就是这件事 (参见为什么模型读的是词元)。但这些编号只是随意的标签。在下文使用的 10,000 词列表中,cat 是第 5,606 号,dog 是第 3,037 号, 可这对猫和狗来说什么也没说明。模型会理直气壮地得出 dog 比 cat“小”的结论,这显然毫无道理。
经典的解决办法是独热向量(one-hot):一个列表,词表中每个词占一个槽位,除了该词所在的槽位是 1,其余全是 0。 词表有 10,000 个词,每个词就变成 10,000 个数字。虚假的顺序没了,但新的问题出现了: 任意两个词之间的差别都一模一样。cat 离 dog 并不比离 democracy(民主)更近。 这种表示根本不携带任何意义。
一小串学到的数字
嵌入把思路反了过来。每个词得到一个稠密向量:一个短得多的列表(通常 100 到 1,000 个数字,这里是 300 个),每个位置上都有某个值。 这些值没有人手工挑选。它们一开始是随机的,在训练中不断调整,直到用法相似的词拥有相似的列表。
如果把每串 300 个数字当作坐标,每个词就变成 300 维空间中的一个点。“意思相近”于是就变成了“位置相近”。 我们画不出 300 维,但可以把少数几个词压到二维来看看。
这些分组是自己形成的:从来没有人告诉这些向量什么是动物、什么是国家。出人意料的地方同样很有启发。apple(苹果)位于食物和科技之间,它的最近邻全是公司,因为训练文本谈论苹果公司的次数远多于谈论水果。rice(大米)最接近的词是 condoleezza,来自美国前国务卿康多莉扎·赖斯(Condoleezza Rice)。mouse(老鼠/鼠标)被拉向卡通和电脑。 嵌入反映的是词在训练文本中是怎么被使用的,而不是词典怎么说。
观其伴,知其词
为什么“用法相似”会带来“意思相近”?这就是分布假说,语言学家 J.R. Firth 在 1957 年把它总结为: “You shall know a word by the company it keeps.”(观其伴,知其词。)想想“I poured some ___ into my cup.”(我往杯子里倒了些 ___。)这个空。coffee、tea 和 milk 都填得进去;bicycle 不行。在数百万个句子里能填进相同空位的词,很可能彼此相关,而这是计算机无需理解任何东西就能衡量的。
这些数字是怎么学来的
2010 年代的两个著名方法清楚地展示了这个思路。两者都读取大量文本,为每个词生成一个向量。
- word2vec(Google 的 Mikolov 等人,2013 年)玩的是一个猜词游戏。从句子中取一个词,尝试预测它周围的词 (或者反过来)。每猜错一次,相关的向量就被轻轻推一下。经过数十亿次推动之后,能预测出相同邻居的词就被推向了相似的向量。
- GloVe(斯坦福大学的 Pennington、Socher 和 Manning,2014 年)先统计整个语料库中每一对词彼此靠近出现的次数。 然后拟合向量,使得比较两个词的向量就能预测它们共同出现的频率。
方法不同,结果相同:一张表,每个词一行数字。它们叫作静态嵌入,因为每个词无论出现在什么句子里,都只有一个向量。
一词多义:上下文嵌入
静态向量有一个明显的弱点。bank 可以是河岸,也可以是存钱的地方,但它只有一个向量。 在这份 GloVe 数据中,它的最近邻是 banks、banking、central、credit 和 financial。河岸这层意思基本被淹没了。
现代语言模型仍然把查找表作为第一步:每个词元 ID 都被换成一个学到的向量,和上面一模一样。 但随后这些向量要经过许多层注意力,每个词元的向量都会根据它周围的词元来更新 (参见注意力机制与 Transformer)。到了较后面的层,关于河流的句子里的“bank”和关于存款的句子里的“bank”已经有了不同的向量。 这就是上下文嵌入:向量取决于整个句子,而不只是这个词。
衡量远近:余弦相似度
要说两个词“很近”,我们需要一种度量方法。最常用的是余弦相似度。把每个向量想象成一个从原点出发的箭头。 余弦相似度就是两个箭头夹角的余弦:方向相同时为 1,互相垂直时为 0,方向相反时为 −1。
实际计算时,把两个列表逐位相乘,再把结果加起来(这叫点积),然后除以两个箭头的长度。 除以长度意味着只有方向起作用,这很有用,因为向量的长度可能反映的是词出现的频率之类的东西,而不是它的意思。 在 GloVe 数据中,cat 和 dog 的得分是 0.72,king 和 queen 是 0.70,而只差一个字母的 cat 和 car 只有 0.28。 嵌入对拼写一无所知,只知道用法。
直线距离(欧几里得距离)也可以用,而且当所有向量都缩放到长度 1 时,它给出的最近邻排序和余弦相似度完全一样。
这为什么重要
一旦意义变成了位置,许多任务就变成了几何问题。搜索引擎找出嵌入与你的查询接近的文档。推荐系统推荐与你喜欢的东西相近的物品。 能在你的文件中查找资料的聊天机器人(通常称为检索增强生成)会把每一段文本都做嵌入,然后取出离问题最近的那些段落。 而在每个语言模型内部,嵌入都是文本最初进入网络时的形式(参见语言模型如何把你的话变成回答)。
这些向量所在的空间,结构不只是“近”和“远”:方向也可以携带意义。这是潜在空间一文的主题。怎样在平面屏幕上画出 300 维而不自欺欺人,见看见高维空间。想在 3D 中探索 10,000 个真实的词向量,请打开词嵌入浏览器; 针对本站的导览,请看一个词如何变成 300 个数字。
常见问题
机器学习中的嵌入(embedding)是什么?
嵌入是一串数字,也就是一个向量,用来表示一个词、一个句子或一张图片之类的对象。这些数字是学出来的,让意义或用法相近的对象彼此靠近,这样计算机就能用简单的算术来衡量相似度。
词元(token)和嵌入有什么区别?
词元是一段带有 ID 编号的文本,ID 本身不携带任何意义。嵌入是模型为这个 ID 查出的向量:成百上千个学到的数字,把这个词元放在一个空间里,相似的词元在其中彼此靠近。
什么是余弦相似度?
余弦相似度衡量两个向量之间的夹角。方向相同时为 1,互相垂直时为 0,方向相反时为 −1。它是比较嵌入最常用的方法,因为它忽略向量长度,只看方向。
嵌入有什么用?
嵌入支撑着语义搜索、推荐、聚类、重复内容检测以及检索增强生成(RAG):文档以向量形式存储,离问题最近的那些被交给语言模型。在每个语言模型内部,第一步就是把每个词元变成嵌入。
延伸阅读
- The Illustrated Word2vecJay Alammar · 图解 word2vec 是怎样训练的
- Transformers, the tech behind LLMs3Blue1Brown · 其中有一段关于词嵌入的精彩讲解
- Efficient Estimation of Word Representations in Vector SpaceMikolov et al., 2013 · word2vec 的原始论文
- GloVe: Global Vectors for Word RepresentationStanford NLP · 项目主页,附论文和下载
