从零讲清注意力机制与 Transformer
每个词元如何查看其他词元来更新自己的含义,以及把这个思想层层堆叠如何构成 Transformer。
在语言模型开始“思考”你的文本时,每个词元(token)都已经被换成了一串数字,也就是它的嵌入(参见什么是嵌入?)。但这第一个向量来自一张查找表。 无论周围是什么句子,同一个词元每次出现时拿到的都是同一个向量。本文讲解解决这个问题的思想:注意力(注意力机制), 以及它如何被组装进 Transformer,也就是几乎所有现代语言模型背后的架构。
为什么上下文很重要
看看下面两个句子里的“bank”。
查找表在两句话里给“bank”的都是同一个向量。而人一读到“river”(河),立刻就知道说的是哪个 bank。 代词对上下文的依赖更强:在“The animal didn’t cross the street because it was too tired”(那只动物没有过马路,因为它太累了)里,“it”这个词毫无意义,直到你弄清楚它指回的是“the animal”。
所以模型需要一种办法,让每个词元从其他词元那里收集信息,并更新自己的向量。这正是注意力所做的事。
注意力:每个词元都在提问
直观来说是这样的。每个词元都在问:“其他词元中,哪些对我重要?”它给自己能看到的每个词元打一个分,把分数变成百分比, 然后把这些词元的信息混合起来,百分比越高的混入得越多。这些百分比叫作注意力权重。
- The6%
- animal62%
- didn't0%
- cross0%
- the0%
- street14%
- because6%
- it12%
- was已遮蔽
- too已遮蔽
- tired已遮蔽
“it”把 62% 的注意力放在“animal”上。它看不到后面的词元。
选中“it”时,大部分权重都给了“animal”。经过这一步,“it”的向量就带上了“animal”的一部分意思,而这正是模型后面的部分所需要的。 在真实模型中,这些权重不是谁手写的。它们是用模型在训练中学到的数字,从向量本身计算出来的。
查询、键和值
一个词元是怎么决定谁重要的?想想在图书馆里搜索。你输入一个查询(query,你在找什么)。每本书都有一个键(key),就像书脊上的标签(它讲的是什么)。 你把查询和每个标签做比较,匹配得越好,你就从这本书的内容,也就是它的值(value)里读得越多。
在 Transformer 中,每个词元同时扮演这三种角色。它的向量分别乘以三个不同的、学到的矩阵,得到三个新向量:
- 查询:这个词元在找什么;
- 键:这个词元能提供什么,好让别人找到它;
- 值:如果有人关注它,它会交出的信息。
然后,对于正在查看的那个词元,计算分四步。比较:用点积把它的查询和每个键做比较,也就是把两个向量逐个数字相乘,再把结果加起来。 方向越相近,得数越大。缩放:把分数除以向量长度的平方根。softmax:用这个函数把任意一串数字变成总和为 1 的正数。 最后,混合:把每个值乘以它的权重,再加起来。
| 词元 | 键 / 值 | q · k | 权重 |
|---|---|---|---|
| the | k[0.10, -0.30]v[0.10, 0.10] | · | · |
| animal | k[1.20, 0.90]v[0.90, 0.20] | · | · |
| it | k[0.60, 0.40]v[0.30, 0.60] | · | · |
| 输出 | · | ||
词元“it”有一个查询 [1.00, 1.50]:表示它在找什么。它能看的每个词元(包括它自己)都有一个键,表示自己能提供什么,还有一个值,表示自己会交出什么。
把所有词元一起写成紧凑的形式,就是 2017 年提出 Transformer 的那篇论文中的公式:softmax(QKᵀ / √d) · V。 Q、K 和 V 是把所有词元的查询、键和值叠成的表格,d 是键向量的长度。
因果掩码:不许偷看后面
像 GPT 这样的文本生成器一次写一个词元,从左到右(从最后一个向量到下一个词讲解了这个循环)。 训练时,模型学习预测一段文本中的每一个下一个词元。如果一个词元能看到它后面的词,它就可以直接抄答案。
所以这些模型使用因果掩码:在 softmax 之前,把所有后面词元的分数设为负无穷,softmax 会把它变成恰好为零的权重。 每个词元只能看自己和它前面的一切,永远看不到后面。画成网格的话,权重构成一个三角形。
| 发出查看的词元 | The | animal | didn't | cross | the | street | because | it | was | too | tired |
|---|---|---|---|---|---|---|---|---|---|---|---|
| The | |||||||||||
| animal | |||||||||||
| didn't | |||||||||||
| cross | |||||||||||
| the | |||||||||||
| street | |||||||||||
| because | |||||||||||
| it | |||||||||||
| was | |||||||||||
| too | |||||||||||
| tired |
并不是所有 Transformer 都是因果的。为理解文本而不是写文本而构建的模型,比如 BERT,允许每个词元双向看到整个句子。
同时用许多个头
一组权重一次只能表达一种关系。但一个词元可能关心好几件事:代词指的是哪个名词,哪个动词和主语搭配,前一个词是什么。
所以 Transformer 会并排运行好几组注意力计算,每组都有自己的查询、键和值矩阵。每一组叫作一个头(注意力头)。 它们的输出被拼接起来,再混合回一个单独的向量。最初的 Transformer 每层用 8 个头;GPT-2 最小的版本用 12 个。
Transformer 块
注意力让词元之间共享信息。Transformer 把它包进一个块里,再加上另外三样东西:
- 前馈网络。注意力在词元之间混合信息之后,每个词元的向量会单独经过一个小型神经网络: 向量先被扩展成更长的向量(在最初的设计中是四倍长),经过一个简单的非线性函数,再缩回原来的长度。人们认为模型存储的大部分知识就在这里。
- 残差连接。每个子层的输出不是替换掉词元的向量,而是加到它上面。向量变成一份持续更新的记录,每一层都在上面改动一点点。 这也让非常深的堆叠容易训练得多。
- 归一化。在每个子层之前,把向量重新缩放到标准大小,这样数字在穿过许多层时既不会爆炸,也不会衰减消失。
堆叠多个块
一个模型就是许多这样的块一层层叠起来,每个块都有自己学到的数字。最初的 Transformer 每一半有 6 个;GPT-2 最小的版本有 12 个,大模型则多出几十个。 每个块读取前一个块产生的向量,并对它们进行精炼。较早的层往往处理局部的、表面的模式;较后的层构建更抽象的特征。
一路上形状从不改变:每个词元一个向量进去,每个词元一个向量出来。在最顶端,最后一个词元的向量被变成对下一个词元的猜测。
词序在哪里?
这里有个问题。注意力本身会忽略顺序:它把每个词元和其他所有词元做比较,所以“dog bites man”(狗咬人)和“man bites dog”(人咬狗)看起来会是一样的。 Transformer 通过给每个词元加上位置信息来解决这个问题。最初的论文给每个嵌入加上一个固定的正弦波模式,每个位置的模式都不同。 GPT-2 则学习一个位置向量。许多较新的模型把查询和键向量旋转一个取决于位置的角度(一种叫 RoPE 的方法),这样注意力分数就能反映两个词元相距多远。
常见问题
Transformer 中的注意力机制是什么?
注意力让每个词元查看文本中的其他词元,并决定每个词元对自己有多重要。每个词元都生成一个查询、一个键和一个值;用它的查询和每个键比较得到权重,它的新向量就是这些值的加权混合。上下文就是这样改变一个词的意思的。
查询、键和值(Q、K、V)是什么?
它们是用学到的权重从每个词元的向量计算出的三个向量。查询描述这个词元在找什么,键描述它能提供什么,值是它传递出去的信息。查询与键的匹配程度决定注意力权重,再用这些权重来混合值。
什么是多头注意力?
Transformer 不是只运行一次注意力,而是并排运行好几个注意力头,每个头都有自己的查询、键和值权重。不同的头可以学会追踪不同的关系,比如邻近的词、语法或者对前文某个名字的指代,最后把它们的输出合并起来。
Transformer 怎么知道词的顺序?
注意力本身把输入当作一个无序的集合,所以必须额外加入位置。最初的 Transformer 给每个嵌入加上一个固定的正弦波模式,GPT-2 学习一个位置向量,许多较新的模型则使用旋转位置编码(RoPE),按位置把查询和键旋转一个角度。
延伸阅读
- Attention in transformers, step-by-step3Blue1Brown · 视频,最好的可视化讲解
- Transformers, the tech behind LLMs3Blue1Brown · 视频,全局概览
- The Illustrated TransformerJay Alammar
- Attention Is All You NeedVaswani et al., 2017 · 原始论文
