← 学习 · 基础知识
词元6 分钟阅读

分词器是怎样构建的:BPE、WordPiece 和 Unigram

一步步走完字节对编码的过程,再看 WordPiece 和 Unigram 做出了哪些不同的选择。

在为什么模型读的是词元中我们看到,现代语言模型把文本读成子词片段: 常见词保持完整,罕见词由更小的部分拼成。可是,是谁决定 lowest 应该变成 low + est 的呢?

没有人手工决定。在语言模型本身开始训练之前,分词器会从一大批文本样本(称为训练语料库)中学习自己的词表。 本文逐一讲解几乎所有模型都在用的三种方法:字节对编码(BPE)、WordPiece 和 Unigram。

字节对编码:合并最常见的一对

BPE 最早是 Philip Gage 在 1994 年提出的一种数据压缩技巧。2016 年,Rico Sennrich 等人把它改造成机器翻译中切分单词的方法,从此流行开来。 它的思路一句话就能说完:从单个字符开始,不断把出现最频繁的一对相邻片段粘在一起。

说得更细一些,训练过程重复三个步骤。

  • 统计相邻对。查看语料库中的每个单词(按当前的片段切分),统计每一对相邻片段出现的次数。
  • 合并胜出者。取出现最频繁的那一对,比如 e + s,把合并后的片段 es 加进词表,并在整个语料库中替换掉这一对。
  • 重复,直到词表达到事先选定的大小。

输出有两样东西:词表(分词器认识的所有片段)和合并列表(按学到的顺序排列的所有合并)。在一个只有四个单词的小语料库上一步步走一遍。

开始:每个单词都拆成字母

语料库

  • low×5
  • lower×2
  • newest×6
  • widest×3

相邻对计数

  1. e + s9
  2. s + t9
  3. w + e8
  4. l + o7
  5. o + w7

下一步:合并 e + s → es

已学到的合并(按顺序)

  1. 暂无

词表 · 10

lowernstid
在一个四词玩具语料库上训练 BPE,其中“low”出现 5 次,“lower”2 次,“newest”6 次,“widest”3 次(Sennrich 等人论文中的例子)。每一步都统计相邻对(按单词出现次数加权),并合并出现最频繁的那一对(高亮显示)。次数相同时,选先出现的那一对。所有数字都是根据语料库实时计算的。

看看这些合并发现了什么。前两次合并构造出 est,因为它同时出现在 newest 和 widest 中。 接着出现了 low,然后是 new,到第 7 次合并时,高频词 newest 已经是一个单独的词元了。较少见的 lower 仍然是 low + e + r。 这正是我们想要的效果:高频字符串变成完整的词元,罕见的则保留为可复用的部分。

真实的分词器在几 GB 的文本上做同样的事,进行几万次合并后停止。 在真实的 GPT-2 分词器中,最先学到的几次合并是空格加 t、空格加 a,然后是 he、in、re 和 on:英语里最常见的字母组合。

把合并用在新文本上

训练一结束,语料库就被丢掉了。要切分一个新词,分词器先把它拆成字符,再按学到的顺序重放合并列表,凡是能用上的地方都执行合并。 最后剩下的就是词元列表。

  1. 字母lowest
  2. 应用 eslowest
  3. 应用 estlowest
  4. 应用 lolowest
  5. 应用 lowlowest

结果:2 个词元:lowest

把上面学到的 10 次合并应用到新词上(示意性的玩具词表)。“lowest”从未在语料库中出现过,结果却被切成 low + est。真实的 GPT-2 分词器恰好也这样切分不带前导空格的“lowest”。

这就是为什么子词分词器永远不会碰到真正的未知词:最坏的情况下,比如这里的 rider,单词只是保持为单个字符。 但有一个问题。我们的玩具词表只包含语料库中出现过的十个字母,所以带 k 的单词根本写不出来。真实的分词器用字节解决了这个问题,我们稍后再谈。

WordPiece:合并最出人意料的一对

WordPiece 由 Google 开发,最出名的身份是 BERT 以及 DistilBERT 等许多 BERT 类模型的分词器。 它的训练循环和 BPE 很像:从字符开始,合并相邻对,重复。区别在于它合并哪一对。

BPE 选出现次数最多的那一对。WordPiece 则把这个次数除以两个部分各自单独出现的次数:

score = count(pair) / (count(first) × count(second))

当两个部分几乎总是一起出现时,这一对的得分就高。非常常见的片段,比如字母 e,会被扣分,因为看到它挨着某个东西并不稀奇。 (严格地说,WordPiece 选择的是最能提高训练数据似然的那次合并。Google 从未公开它的训练代码,而这个比值就是 Hugging Face 等开源实现做出这个选择的方式。)

相邻对BPE:次数次数 ÷(前者 × 后者)WordPiece 得分
e + s99 / (17 × 9)0.059
s + t99 / (9 × 9)0.111
w + e88 / (13 × 17)0.036
l + o77 / (7 × 7)0.143
w + i33 / (3 × 3)0.333
在同一个玩具语料库上的第一次合并。BPE 合并 e + s,因为它是出现最频繁的一对。WordPiece 更偏爱 w + i:它只出现 3 次,但 w 和 i 从不分开出现。计数根据语料库计算;在 WordPiece 中,单词内部的片段带有 ## 前缀,所以“low”里的 w 和“widest”开头的 w 分开计数。

WordPiece 书写词元的方式也不同。延续一个单词的片段以 ## 开头,所以像 hugs 这样的词可能被切成 hug + ##s。 这让单词边界在词元本身中就能看出来。 切分新文本时,WordPiece 不重放合并。它从左边扫描每个单词,反复取词表中能匹配上的最长片段。如果某个部分完全匹配不上,整个单词就变成 [UNK]。

Unigram:从大处开始,逐步修剪

Unigram 方法由工藤拓(Taku Kudo)在 2018 年提出,方向正好相反。它不是从字符开始扩充词表,而是从一个非常大的词表开始(比如语料库中许多常见的子串),然后逐步缩小。

  • 词表中的每个片段都有一个根据语料库估算出的概率。
  • 一个单词通常可以有多种切法(low+est、lo+west、l+owest……)。分词器选择片段联合概率最高的那种切法。
  • 每一轮训练中,它计算去掉每个片段后对语料库的拟合会变差多少,然后删掉最不重要的那些片段,通常占 10% 到 20%。单个字符始终保留,所以每个单词都写得出来。
  • 如此重复,直到词表达到目标大小。

由于 Unigram 是一个概率模型,它还能在训练时对同一个单词采样不同的切法,这个技巧叫作子词正则化,能让模型对不常见的拼写更稳健。

Unigram 通常通过 SentencePiece 使用。这是 Google 的一个库,直接在原始文本上训练,把空格当作普通符号(写作 ▁),因此对有空格和没有空格的语言都一样适用。 SentencePiece 同时实现了 Unigram 和 BPE。T5、ALBERT 和 XLNet 使用 Unigram;最初的 LLaMA 模型使用的是 SentencePiece 的 BPE 模式。

字节级 BPE:永不未知

回到前面那个问题:基于字符的词表写不出它从没见过的字符。随 GPT-2 在 2019 年推出的字节级 BPE 解决了这个问题:它在文本的字节(UTF-8 编码)上而不是字符上运行 BPE。 字节只有 256 种可能,而且全部一开始就在词表里,所以任何字符串,无论什么语言,包括表情符号,都能被切分。不存在 [UNK] 词元。

还有两个细节让它在实践中行得通。第一,文本会先经过预分词:在 BPE 运行之前,用一个模式把文本切成粗略的块(带前导空格的单词、数字、标点),这样合并永远不会把一个词的结尾和下一个词的开头粘在一起。 第二,空格被保留为后一个单词的一部分,这就是 GPT 风格的词元看起来像 ·the 的原因。GPT-2、RoBERTa 以及 GPT-3/GPT-4 系列的分词器都使用字节级 BPE。

三种方法并排对比

BPEWordPieceUnigram
训练扩充:合并出现最频繁的一对扩充:合并得分最高的一对缩减:修剪最没用的片段
切分按顺序重放合并从左到右,最长匹配概率最高的切法
未知文本字节级:永不未知整个单词变成 [UNK]单个字符;未见过的字符变成 <unk>,除非开启了字节回退
使用者GPT-2、RoBERTa、GPT-4(字节级);LLaMA(通过 SentencePiece)BERT、DistilBERTT5、ALBERT、XLNet(通过 SentencePiece)
三种算法的总结。真实的分词器还会在此基础上增加细节,比如特殊词元、规范化和预分词规则。

最后这一点会带来实实在在的后果。一个主要用英语训练的分词器会把其他语言切成更多、更小的片段,让处理这些语言变得更慢、更贵;参见为什么表情符号和其他语言更费词元。 文本变成词元后,每个词元 ID 会被转换成一个向量,详见什么是嵌入?你可以在分词器中,用自己的文本比较几个真实 BPE 分词器的切分结果。

常见问题

什么是字节对编码(BPE)?

字节对编码是一种根据数据构建分词器词表的方法。它从单个字符或字节开始,找出训练文本中出现最频繁的相邻对,把这一对合并成一个新词元,然后重复,直到词表达到目标大小。GPT 模型使用的是字节级的 BPE。

BPE、WordPiece 和 Unigram 有什么区别?

BPE 合并出现最频繁的一对片段。BERT 使用的 WordPiece 合并的是最能提高训练文本似然的那一对,它偏爱那些一起出现得出人意料地频繁的组合。Unigram 通常通过 SentencePiece 在 T5 等模型中使用,它从一个很大的词表开始,删掉最不重要的片段。

GPT-4 用的是哪种分词器?

GPT-4 和 GPT-3.5 使用 cl100k_base,这是一个约有 100,000 个词元的字节级 BPE 分词器。GPT-4o 使用 o200k_base,约有 200,000 个词元,处理许多非英语语言时效率更高。两者都包含在 OpenAI 的开源库 tiktoken 中。

分词器会因为未知文本而出错吗?

字节级分词器不会。全部 256 种字节值都在它的词表里,所以任何文本,包括表情符号和罕见文字,在没有更大的片段可匹配时,都能一个字节一个字节地写出来。单词级分词器以及某些字符级分词器,则会把没见过的输入替换成一个未知词元。

延伸阅读