← 学习 · 基础知识
Transformer5 分钟阅读

从最后一个向量到下一个词

logits、softmax、温度、top-k 和 top-p:模型如何挑选接下来要说的话。

语言模型把你的文本读成词元(token),把每个词元变成一个向量,再让这些向量穿过一摞 Transformer 块 (注意力机制与 Transformer讲解了这一部分)。到最后,每个词元都有一个精炼过的向量。 但模型是要写出东西来的。本文跟随最后这一步:从一串数字到一个真正的下一个词,然后是再下一个,再下一个。

一个向量,一个问题

要预测接下来是什么,模型只需要最后一个词元的最终向量。多亏了注意力,这个向量已经从它前面的所有内容中收集好了所需的信息。 在 GPT-2 最小的版本中,它有 768 个数字。

模型的词表,也就是它认识的固定词元列表(参见为什么模型读的是词元),在 GPT-2 中有 50,257 项。 现在的任务是给其中每一项打一个“接在后面有多合适”的分数。

从向量到分数:反嵌入

打分只需要一次乘法。模型有一张学到的大表,叫作反嵌入矩阵(unembedding,也叫输出层),词表中每个词元对应一列 768 个数字。 把最后的向量乘以这个矩阵,就等于和每一列做点积:逐个数字相乘,再加起来。 方向与这个向量相近的列会得到高分。

结果是每个词元一个数字,总共 50,257 个。这些原始分数叫作 logits。它们可以是任意大小,也可以是负数;只有它们之间的差值才重要。 在 GPT-2 中,反嵌入矩阵就是第一步里那张嵌入表,被重复使用了(这个技巧叫作权重共享)。许多较新的模型则保留两张独立的表。

一个 GPT-2 大小的模型的最后一步。条形的形状只是装饰;尺寸(768 和 50,257)是 GPT-2 small 的真实数值。光是反嵌入矩阵就有 768 × 50,257 ≈ 3,860 万个数字。

从分数到概率:softmax

logits 很难直接使用。我们想要的是每个词元的概率:一个介于 0 和 1 之间的数,而且全部加起来等于 1。 做这件事的函数就是 softmax。它对每个 logit 计算 e 的该 logit 次方(这会让每个数都变成正数,并拉大差距),然后除以总和。

例如,logits 为 2.0、1.0 和 0.1 时,概率约为 65.9%、24.2% 和 9.9%。最大的 logit 赢得最多,但每一项都保留了一份。 这份概率列表才是模型真正的输出:不是一个词,而是它接下来可能说出的每一个词上的概率分布。

选一个词:解码

把这个分布变成一个词元的过程叫作解码,有好几种做法。在下面试试。候选词和它们的 logits 是为了演示而编的, 为了便于阅读,我们假装词表里只有这 12 个词。作用在它们上面的数学是货真价实的。

The cat sat on the ___

  1. mat5.241.3%
  2. floor4.418.6%
  3. couch3.911.3%
  4. bed3.68.3%
  5. sofa3.36.2%
  6. chair2.94.1%
  7. rug2.73.4%
  8. windowsill2.42.5%
  9. table2.11.9%
  10. roof1.61.1%
  11. edge1.20.8%
  12. keyboard0.90.6%

多按几次“采样一个词”,看看答案如何变化。

“The cat sat on the”(猫坐在……上)之后那个词的示意 logits。移动滑块会精确地重新计算概率:先应用温度,再应用 top-k,然后是 top-p,最后把剩下的词重新缩放到总和 100%。被剔除的词会划上删除线。“采样一个词”会按显示的概率随机抽取一个词。

下面是每个控件的作用。

  • 贪心解码总是取最可能的那一个词元。把温度设为 0 就能看到:“mat”得到 100%,每次抽到的都一样。 贪心解码结果可预测,但在长文本中往往会写出平淡、重复的内容。
  • 温度在 softmax 之前把每个 logit 除以一个数 T。小于 1 时差距变大,最受青睐的词会拿走更多概率。 大于 1 时差距缩小,不太可能的词也有了真正的机会。它从不改变词的顺序,只改变概率集中的程度。
  • top-k 只保留最可能的 k 个词元,其余的全部丢掉。它能防止模型从大词表的长尾中挑出极不可能的东西。 它的弱点是 k 是固定的:有时只有两个词说得通,有时却有几百个。
  • top-p,也叫核采样(nucleus sampling),保留概率加起来至少达到 p 的最小一组靠前的词元。模型有把握时,这组词很小; 有很多词都合适时,它就会变大。在上面把 top-p 设为 0.50,只有“mat”和“floor”能留下来,因为“mat”单独占 41.3%,差一点不到一半。
温度logit 2.0logit 1.0logit 0.1
T = 0.586.4%11.7%1.9%
T = 165.9%24.2%9.9%
T = 250.2%30.4%19.4%
同样的 logits(2.0、1.0、0.1)在三种温度下经过 softmax 的结果。温度越低,分布越尖锐;温度越高,分布越平坦。

为什么同一个问题会得到不同的回答

除非使用贪心解码,模型在每一个词元上都会随机抽取一次。一个概率 25% 的词,大约每四次会被选中一次。 一旦选中了不同的词,后面的一切都是根据另一段文本来预测的,所以开头的小差别会逐渐变成完全不同的回答。 这就是为什么同一个问题问聊天机器人两次,可能会得到两个不同的答复,也是温度这类设置存在的原因:它们让你在多样性和可预测性之间做取舍。

循环:追加,然后重复

模型跑一遍产生一个词元。要写出一句话,模型把选中的词元加到输入末尾,然后再跑一遍,预测再下一个词元。 这叫作自回归生成:每一步都以自己之前的输出为输入。这也是回复会一个词一个词地出现在屏幕上的原因。

第 1 步Thecatsatonthemat
第 2 步Thecatsatonthemat.
第 3 步Thecatsatonthemat.<|endoftext|>停止
生成循环的一次示意运行。每一步添加一个词元,再运行一次模型,直到它选中文本结束词元。

生成会以下面两种方式之一停止:

  • 序列结束词元。词表中有一个特殊词元,意思是“这段文本结束了”。在 GPT-2 中它是 <|endoftext|>,ID 为 50256。 模型在训练中学到文本以它结尾,所以能像预测其他词元一样预测它。一旦抽到它,生成就停止。
  • 长度上限。运行模型的程序会设定新词元的最大数量。如果先达到了这个上限,文本就会被截断,有时停在句子中间。

实际系统还会加上一些改进,比如复用之前的计算结果,让每一步不必从头开始,或者同时搜索几个候选续写(束搜索)。 但核心就是这样:向量、logits、softmax、选一个、追加、重复。

想看看模型实际处理的词元吗?本站的分词器可以把任何文本切成 GPT 和 LLaMA 的词元,并显示它们的 ID。

常见问题

语言模型中的 logits 是什么?

logits 是模型为下一个位置给词表中每个词元打出的原始分数。它们由最终向量乘以反嵌入矩阵得到。分数越高越有可能,但只有经过 softmax 把它们变成介于 0 和 1 之间、总和为 1 的数之后,logits 才成为概率。

大语言模型里的温度(temperature)有什么作用?

温度在 softmax 之前重新缩放 logits。小于 1 时,分布变得更尖锐,排名靠前的词元占主导,回答更可预测。大于 1 时,分布变得更平坦,不太可能的词元有了更多机会,输出更多样,但也更容易出错。温度为 0 实际上就是总选排名第一的词元。

top-k 采样和 top-p 采样有什么区别?

top-k 只保留最可能的 k 个词元,并从中采样。top-p 也叫核采样,保留概率加起来达到 p(例如 0.9)的最小一组词元,所以模型不确定时候选项会变多,有把握时会变少。

语言模型会提前规划好整个回答吗?

不会明确地规划。它一次产生一个词元,每个新词元都被加入输入,然后再预测下一个。它的内部状态可以携带关于句子走向的信息,但并不存在一份写好的完整草稿让它照着读出来。

延伸阅读