分词器是怎样构建的:BPE、WordPiece 和 Unigram
一步步走完字节对编码的过程,再看 WordPiece 和 Unigram 做出了哪些不同的选择。
在为什么模型读的是词元中我们看到,现代语言模型把文本读成子词片段: 常见词保持完整,罕见词由更小的部分拼成。可是,是谁决定 lowest 应该变成 low + est 的呢?
没有人手工决定。在语言模型本身开始训练之前,分词器会从一大批文本样本(称为训练语料库)中学习自己的词表。 本文逐一讲解几乎所有模型都在用的三种方法:字节对编码(BPE)、WordPiece 和 Unigram。
字节对编码:合并最常见的一对
BPE 最早是 Philip Gage 在 1994 年提出的一种数据压缩技巧。2016 年,Rico Sennrich 等人把它改造成机器翻译中切分单词的方法,从此流行开来。 它的思路一句话就能说完:从单个字符开始,不断把出现最频繁的一对相邻片段粘在一起。
说得更细一些,训练过程重复三个步骤。
- 统计相邻对。查看语料库中的每个单词(按当前的片段切分),统计每一对相邻片段出现的次数。
- 合并胜出者。取出现最频繁的那一对,比如
e+s,把合并后的片段es加进词表,并在整个语料库中替换掉这一对。 - 重复,直到词表达到事先选定的大小。
输出有两样东西:词表(分词器认识的所有片段)和合并列表(按学到的顺序排列的所有合并)。在一个只有四个单词的小语料库上一步步走一遍。
语料库
- low×5
- lower×2
- newest×6
- widest×3
相邻对计数
e + s9s + t9w + e8l + o7o + w7
下一步:合并 e + s → es
已学到的合并(按顺序)
- 暂无
词表 · 10
看看这些合并发现了什么。前两次合并构造出 est,因为它同时出现在 newest 和 widest 中。 接着出现了 low,然后是 new,到第 7 次合并时,高频词 newest 已经是一个单独的词元了。较少见的 lower 仍然是 low + e + r。 这正是我们想要的效果:高频字符串变成完整的词元,罕见的则保留为可复用的部分。
真实的分词器在几 GB 的文本上做同样的事,进行几万次合并后停止。 在真实的 GPT-2 分词器中,最先学到的几次合并是空格加 t、空格加 a,然后是 he、in、re 和 on:英语里最常见的字母组合。
把合并用在新文本上
训练一结束,语料库就被丢掉了。要切分一个新词,分词器先把它拆成字符,再按学到的顺序重放合并列表,凡是能用上的地方都执行合并。 最后剩下的就是词元列表。
- 字母lowest
- 应用
eslowest - 应用
estlowest - 应用
lolowest - 应用
lowlowest
结果:2 个词元:lowest
这就是为什么子词分词器永远不会碰到真正的未知词:最坏的情况下,比如这里的 rider,单词只是保持为单个字符。 但有一个问题。我们的玩具词表只包含语料库中出现过的十个字母,所以带 k 的单词根本写不出来。真实的分词器用字节解决了这个问题,我们稍后再谈。
WordPiece:合并最出人意料的一对
WordPiece 由 Google 开发,最出名的身份是 BERT 以及 DistilBERT 等许多 BERT 类模型的分词器。 它的训练循环和 BPE 很像:从字符开始,合并相邻对,重复。区别在于它合并哪一对。
BPE 选出现次数最多的那一对。WordPiece 则把这个次数除以两个部分各自单独出现的次数:
score = count(pair) / (count(first) × count(second))
当两个部分几乎总是一起出现时,这一对的得分就高。非常常见的片段,比如字母 e,会被扣分,因为看到它挨着某个东西并不稀奇。 (严格地说,WordPiece 选择的是最能提高训练数据似然的那次合并。Google 从未公开它的训练代码,而这个比值就是 Hugging Face 等开源实现做出这个选择的方式。)
| 相邻对 | BPE:次数 | 次数 ÷(前者 × 后者) | WordPiece 得分 |
|---|---|---|---|
| e + s | 9 | 9 / (17 × 9) | 0.059 |
| s + t | 9 | 9 / (9 × 9) | 0.111 |
| w + e | 8 | 8 / (13 × 17) | 0.036 |
| l + o | 7 | 7 / (7 × 7) | 0.143 |
| w + i | 3 | 3 / (3 × 3) | 0.333 |
WordPiece 书写词元的方式也不同。延续一个单词的片段以 ## 开头,所以像 hugs 这样的词可能被切成 hug + ##s。 这让单词边界在词元本身中就能看出来。 切分新文本时,WordPiece 不重放合并。它从左边扫描每个单词,反复取词表中能匹配上的最长片段。如果某个部分完全匹配不上,整个单词就变成 [UNK]。
Unigram:从大处开始,逐步修剪
Unigram 方法由工藤拓(Taku Kudo)在 2018 年提出,方向正好相反。它不是从字符开始扩充词表,而是从一个非常大的词表开始(比如语料库中许多常见的子串),然后逐步缩小。
- 词表中的每个片段都有一个根据语料库估算出的概率。
- 一个单词通常可以有多种切法(
low+est、lo+west、l+owest……)。分词器选择片段联合概率最高的那种切法。 - 每一轮训练中,它计算去掉每个片段后对语料库的拟合会变差多少,然后删掉最不重要的那些片段,通常占 10% 到 20%。单个字符始终保留,所以每个单词都写得出来。
- 如此重复,直到词表达到目标大小。
由于 Unigram 是一个概率模型,它还能在训练时对同一个单词采样不同的切法,这个技巧叫作子词正则化,能让模型对不常见的拼写更稳健。
Unigram 通常通过 SentencePiece 使用。这是 Google 的一个库,直接在原始文本上训练,把空格当作普通符号(写作 ▁),因此对有空格和没有空格的语言都一样适用。 SentencePiece 同时实现了 Unigram 和 BPE。T5、ALBERT 和 XLNet 使用 Unigram;最初的 LLaMA 模型使用的是 SentencePiece 的 BPE 模式。
字节级 BPE:永不未知
回到前面那个问题:基于字符的词表写不出它从没见过的字符。随 GPT-2 在 2019 年推出的字节级 BPE 解决了这个问题:它在文本的字节(UTF-8 编码)上而不是字符上运行 BPE。 字节只有 256 种可能,而且全部一开始就在词表里,所以任何字符串,无论什么语言,包括表情符号,都能被切分。不存在 [UNK] 词元。
还有两个细节让它在实践中行得通。第一,文本会先经过预分词:在 BPE 运行之前,用一个模式把文本切成粗略的块(带前导空格的单词、数字、标点),这样合并永远不会把一个词的结尾和下一个词的开头粘在一起。 第二,空格被保留为后一个单词的一部分,这就是 GPT 风格的词元看起来像 ·the 的原因。GPT-2、RoBERTa 以及 GPT-3/GPT-4 系列的分词器都使用字节级 BPE。
三种方法并排对比
| BPE | WordPiece | Unigram | |
|---|---|---|---|
| 训练 | 扩充:合并出现最频繁的一对 | 扩充:合并得分最高的一对 | 缩减:修剪最没用的片段 |
| 切分 | 按顺序重放合并 | 从左到右,最长匹配 | 概率最高的切法 |
| 未知文本 | 字节级:永不未知 | 整个单词变成 [UNK] | 单个字符;未见过的字符变成 <unk>,除非开启了字节回退 |
| 使用者 | GPT-2、RoBERTa、GPT-4(字节级);LLaMA(通过 SentencePiece) | BERT、DistilBERT | T5、ALBERT、XLNet(通过 SentencePiece) |
最后这一点会带来实实在在的后果。一个主要用英语训练的分词器会把其他语言切成更多、更小的片段,让处理这些语言变得更慢、更贵;参见为什么表情符号和其他语言更费词元。 文本变成词元后,每个词元 ID 会被转换成一个向量,详见什么是嵌入?你可以在分词器中,用自己的文本比较几个真实 BPE 分词器的切分结果。
常见问题
什么是字节对编码(BPE)?
字节对编码是一种根据数据构建分词器词表的方法。它从单个字符或字节开始,找出训练文本中出现最频繁的相邻对,把这一对合并成一个新词元,然后重复,直到词表达到目标大小。GPT 模型使用的是字节级的 BPE。
BPE、WordPiece 和 Unigram 有什么区别?
BPE 合并出现最频繁的一对片段。BERT 使用的 WordPiece 合并的是最能提高训练文本似然的那一对,它偏爱那些一起出现得出人意料地频繁的组合。Unigram 通常通过 SentencePiece 在 T5 等模型中使用,它从一个很大的词表开始,删掉最不重要的片段。
GPT-4 用的是哪种分词器?
GPT-4 和 GPT-3.5 使用 cl100k_base,这是一个约有 100,000 个词元的字节级 BPE 分词器。GPT-4o 使用 o200k_base,约有 200,000 个词元,处理许多非英语语言时效率更高。两者都包含在 OpenAI 的开源库 tiktoken 中。
分词器会因为未知文本而出错吗?
字节级分词器不会。全部 256 种字节值都在它的词表里,所以任何文本,包括表情符号和罕见文字,在没有更大的片段可匹配时,都能一个字节一个字节地写出来。单词级分词器以及某些字符级分词器,则会把没见过的输入替换成一个未知词元。
延伸阅读
- Byte-Pair Encoding tokenizationHugging Face LLM 课程 · 第 6、7 节讲解 WordPiece 和 Unigram
- Let’s build the GPT TokenizerAndrej Karpathy · 视频 · 从零实现字节级 BPE
- Neural Machine Translation of Rare Words with Subword UnitsSennrich, Haddow & Birch · arXiv
- Byte pair encodingWikipedia
