语言模型如何把你的话变成回答
文本、词元、向量、Transformer,再一次一个词元地生成:用通俗的语言讲清整条流程。
你输入 “The cat sat on the”(猫坐在……上),聊天机器人接上一个 “mat”(垫子)。感觉就像模型读懂了你的句子、想了想,然后作答。 实际发生的,是一串固定的简单步骤:把文本变成数字,对这些数字做算术,再把结果变回文本。 本文从头到尾把这条链路走一遍,不需要任何数学基础。
语言模型是一个经过训练、用来续写文本的程序。大语言模型(LLM)是同一个想法放大到极致: 数十亿个可调的数字,用人类写下的大量文本训练而成。下面的内容适用于 ChatGPT、Claude、Gemini 或 Llama 背后的模型。
LLM 的完整流程(简化版)
从一段提示词开始。
文章接下来把这些步骤一个一个拆开讲。
1. 文本变成词元
模型没法直接处理字母,所以第一步是分词器:一个独立的程序,把文本切成叫作词元的小块。 一个词元常常是一个完整的常见词,有时是词的一部分、一个标点或一个空格。罕见的词由几个更小的块拼成。
为什么用小块而不是字母或整词,这本身就是一个故事:参见为什么模型读的是词元,而不是字母或单词, 以及挑选这些小块的算法:分词器是怎样构建的。
2. 词元变成 ID 数字
每个分词器都有一份固定的词表:它认识的所有小块组成的编号列表。o200k_base 的词表大约有 200,000 项。 每个词元都被替换成它在列表中的编号,也就是词元 ID。我们的句子变成了 976 9059 10139 402 290。
这些数字只是列表里的位置,就像座位号。词元 9059(·cat)并不在任何有用的意义上比词元 402(·on)“更大”或“更多”。 模型需要更丰富的东西来处理。
3. ID 变成向量
模型内部有一张巨大的表,词表里每一项占一行。每一行是一个向量:一串数字,在大模型里通常有几千个。 查出一个词元对应的那一行,就得到它的嵌入。这些数字没有人手写。它们一开始是随机的,在训练中不断调整, 直到用法相似的词元拥有相似的行。
行 = 词元 ID · 列 = 向量中的数字
“意义就是数字空间中的位置”这个想法,是什么是嵌入的核心;潜在空间则探讨这个空间里的方向能捕捉到什么。
4. Transformer:词元彼此相看
到这一步,每个向量只描述它自己那个词元。“bank”这个词在“river bank”(河岸)和“bank account”(银行账户)里拿到的初始向量完全一样。 模型的主体 Transformer 负责解决这个问题。它是一摞看起来一模一样的层,大模型里有几十层。
每一层做两件事。首先是注意力:每个词元回头看它前面的词元,判断哪些对自己重要,并从中混入信息。 然后一个小型神经网络分别更新每个向量。经过许多层之后,每个向量描述的就是处在上下文中的那个词元。
I sat by the river bank(我坐在河岸边)
I opened a bank account(我开了一个银行账户)
注意力是让现代语言模型表现如此出色的关键想法。从零讲清注意力机制与 Transformer一文会一步一步完整讲解它。
5. 只有最后一个位置负责预测
最后一层之后,每个词元仍然各有一个向量。为了选出下一个词元,模型只用最后一个位置的向量,在我们的例子里就是 ·the 的那个。 因为注意力让它从前面每个词元收集了信息,这一个向量现在承载着模型对整句话的理解。
6. 每个词元一个分数:logits
最后这个向量会和词表中的每一项做比较,为每个词元算出一个分数:大约 200,000 个数字。 这些原始分数叫作 logits。logit 越高,说明模型认为这个词元越适合接在后面。单看 logits 很难读懂: 它们可以是负数,加起来也不等于什么特定的值。
7. 分数变成概率:softmax
一个叫作 softmax 的函数把 logits 变成概率。它让每个值都变成正数,并缩放到总和为 100%。 logit 越大,分到的份额就大得多,因为 softmax 会对每个分数取指数:logit 高 2 分,概率大约高 7 倍。
| 下一个词元 | logit | 概率 |
|---|---|---|
| ·mat | 9.0 | 38% |
| ·floor | 8.2 | 17% |
| ·bed | 7.5 | 8% |
| ·couch | 7.2 | 6% |
| ·rug | 6.8 | 4% |
| 其余所有词元 | 更低 | 27% |
8. 选出一个词元
现在模型为每个词元都给出了概率,接下来得有东西来做选择。最简单的规则是贪心解码,总是取排名第一的那个。 大多数聊天系统则是采样:按概率加权随机抽取,所以同一个提示词可能得到不同的回答。
一些设置会影响这次抽取。top-k 采样只保留最可能的 k 个词元,把它们重新缩放到 100% 再抽,这样极不可能的词元永远不会出现。温度让概率分布更尖锐或更平坦。从最后一个向量到下一个词用交互示例逐一演示了这些设置。
9. 追加,然后重复
选中的词元 ·mat(ID 2450)被加到文本末尾。然后整条流程在更长的文本上再跑一遍,选出再下一个词元, 之后再跑一遍。一段 300 个词元的回复就是 300 遍。正是这个循环让回答在屏幕上一个词一个词地冒出来。
实际系统会把已经处理过的词元的中间结果存下来,避免每一遍都重做全部工作,但逻辑是一样的: 跑一遍,得到一个新词元。
这些数字从哪里来
模型用到的每一个数字,无论是嵌入表、注意力层还是最后的打分,都是在训练中学到的参数。 训练时给模型看海量文本,让它预测每一个下一个词元,然后把所有参数都轻轻推一下,让真正的下一个词元变得更可能一点。 在数万亿个词元上重复下去,这些微调累积成一个擅长续写文本的模型。聊天助手还会在对话数据上进一步训练,让它的续写读起来像有用的回答。
常见误解
- “它一次写出整个回答。”并不是。它只预测一个词元,加上去,再跑一遍。 它没有事先写好的答案在等着;每个词元都只根据目前为止的文本来选。
- “它是在查答案。”它内部没有问答数据库。只有一组固定的、学来的参数, 每次的答案都是用它们重新算出来的。这也是为什么模型会信心十足地说出错误的内容:没有任何东西拿结果去和来源核对。
- “它像人一样理解。”模型拥有的是从文本中学到的统计规律,丰富到足以捕捉语法、事实和一定的推理。 这算不算理解还有争议。可以肯定的是,它是从文本中学习的,而不是通过观看、触摸或生活在这个世界中。
接下来读什么
上面每一步都有专门的文章:词元、分词器、嵌入、潜在空间、注意力和选择下一个词元。 在本站,你可以用分词器切分自己的文本,也可以在词嵌入浏览器中探索词向量。
常见问题
大语言模型是怎么生成文字的?
它把你的文本切成词元,把每个词元 ID 变成一个向量,再让这些向量经过 Transformer。最后一个位置的输出变成词表中每个词元的分数。softmax 把分数变成概率,选出一个词元追加到文本末尾,然后循环往复,直到回答完成。
ChatGPT 真的理解自己在说什么吗?
它不像人那样阅读或思考。它从海量文本中学到了哪些词元往往跟在哪些词元后面,这些规律涵盖了大量语法、事实和推理。这算不算理解还有争议,但从机制上说,每一条回复都是一次预测一个词元拼出来的。
为什么同一个问题,AI 每次回答都不一样?
在每一步,模型给出的是一组概率,而不是一个固定答案,大多数聊天应用会按这些概率采样,而不是总取排名第一的词元。温度和 top-p 等设置控制允许多少随机性。关闭采样后,同一个模型、同一个提示词会给出相同的输出。
语言模型的知识是从哪里来的?
来自训练。模型阅读一个非常庞大的文本集合,并调整数十亿个数字(也就是它的参数),以便更好地预测下一个词元。事实以隐含的方式存储在这些数字里。回答时它不会去查任何东西,除非外层应用额外加入了搜索或检索步骤。
延伸阅读
- But what is a GPT? Visual intro to transformers3Blue1Brown,YouTube · 对整条流程最好的可视化讲解(现标题为“Transformers, the tech behind LLMs”)
- The Illustrated GPT-2Jay Alammar · 把同一条流程一步步画出来,并深入一层
- LLM VisualizationBrendan Bycroft · 以 3D 方式走遍一个小型真实 GPT 里的每一个数字
