トークナイザーの作り方:BPE、WordPiece、Unigram
バイトペア符号化を一歩ずつたどり、WordPiece と Unigram がどう違う選び方をするかを見ます。
モデルが文字でも単語でもなくトークンを読む理由では、現代の言語モデルがテキストをサブワードの断片として読むことを見ました。 よく使われる単語はまるごと残り、珍しい単語は小さな部品から組み立てられます。では、lowest を low + est にすると決めるのは誰でしょうか?
人が手で決めているわけではありません。トークナイザーは、言語モデル本体の学習より前に、学習コーパスと呼ばれる大量のテキストのサンプルから語彙を学習します。 この記事では、ほぼすべてのモデルが使う 3 つの方法、バイトペア符号化(BPE)、WordPiece、Unigram を順に見ていきます。
バイトペア符号化:最も多いペアをマージする
BPE は、1994 年に Philip Gage がデータ圧縮の技法として考案したのが始まりです。2016 年に Rico Sennrich らが機械翻訳で単語を分割するために応用し、そこから広まりました。 考え方はひとことで言えます。1 文字ずつから始め、最もよく現れる隣り合うペアを次々にくっつけていくということです。
もう少し詳しく言うと、学習では 3 つのステップを繰り返します。
- ペアを数える。 コーパスのすべての単語を現在の断片に分けて見て、隣り合う断片のペアがそれぞれ何回現れるかを数えます。
- 勝者をマージする。 最も多いペア、たとえば
e+sを選び、つなげた断片esを語彙に加え、コーパス中のそのペアをすべて置き換えます。 - 繰り返す。 語彙があらかじめ決めた大きさに達するまで続けます。
出力は 2 つです。語彙(トークナイザーが知っているすべての断片)と、マージのリスト(学習した順に並べたマージ)です。4 つの単語だけの小さなコーパスで、一歩ずつ試してみましょう。
コーパス
- low×5
- lower×2
- newest×6
- widest×3
ペアの出現回数
e + s9s + t9w + e8l + o7o + w7
次:e + s → es をマージ
学習したマージ(順番どおり)
- まだありません
語彙 · 10
マージが何を見つけ出すかに注目してください。最初の 2 回で est ができます。newest にも widest にも現れるからです。 次に low、その次に new ができ、7 回目のマージまでに、よく出てくる単語 newest が 1 トークンになります。あまり出てこない lower は、まだ low + e + r のままです。 これこそ望ましい振る舞いです。よく出てくる文字列はまるごとのトークンになり、珍しいものは使い回せる部品のまま残ります。
実際のトークナイザーは、同じことを何ギガバイトものテキストで行い、何万回ものマージの後で止まります。 実際の GPT-2 トークナイザーで最初に学習されたマージは、空白 + t、空白 + a、続いて he、in、re、on でした。英語で最もよく現れる文字のペアです。
新しいテキストにマージを使う
学習が終わると、コーパスは捨てられます。新しい単語をトークン化するには、トークナイザーはその単語を文字に分け、マージのリストを学習した順に再生し、当てはまるところすべてに各マージを適用します。 最後に残ったものがトークンのリストです。
- 文字lowest
esを適用lowestestを適用lowestloを適用lowestlowを適用lowest
結果:2 トークン:lowest
サブワードのトークナイザーが本当に未知の単語に出会わないのはこのためです。最悪の場合でも、ここでの rider のように、単語が 1 文字ずつのまま残るだけです。 ただし 1 つ落とし穴があります。この小さな語彙にはコーパスに現れた 10 文字しか入っていないので、k を含む単語はまったく書き表せません。実際のトークナイザーはこれをバイトで解決します。これについては後で触れます。
WordPiece:最も意外なペアをマージする
WordPiece は Google で開発され、BERT や DistilBERT など多くの BERT 系モデルのトークナイザーとして最もよく知られています。 学習のループは BPE に似ています。文字から始め、ペアをマージし、繰り返します。違うのは、どのペアをマージするかです。
BPE は最もよく現れるペアを選びます。WordPiece はその回数を、それぞれの部品が単独で現れる回数で割ります。
score = count(pair) / (count(first) × count(second))
2 つの部品がほとんどいつも一緒に現れるとき、そのペアのスコアは高くなります。文字 e のようにとてもよく現れる断片は、何かの隣にあっても意外ではないので、不利になります。 (正式には、WordPiece は学習データの尤度を最も高めるマージを選びます。Google は学習コードを公開しておらず、Hugging Face のものなど公開されている実装は、この比率で選んでいます。)
| ペア | BPE:回数 | 回数 ÷(1 つ目 × 2 つ目) | WordPiece のスコア |
|---|---|---|---|
| e + s | 9 | 9 / (17 × 9) | 0.059 |
| s + t | 9 | 9 / (9 × 9) | 0.111 |
| w + e | 8 | 8 / (13 × 17) | 0.036 |
| l + o | 7 | 7 / (7 × 7) | 0.143 |
| w + i | 3 | 3 / (3 × 3) | 0.333 |
WordPiece はトークンの書き方も違います。単語の続きの断片は ## で始まるので、hugs のような単語は hug + ##s と分割されることがあります。 これで、単語の境目がトークン自体に見えるようになります。 また、新しいテキストをトークン化するとき、WordPiece はマージを再生しません。各単語を左から読み、一致する語彙内で最も長い断片を繰り返し取っていきます。どこか一部でも一致しない場合は、単語全体が [UNK] になります。
Unigram:大きく始めて刈り込む
2018 年に工藤拓が発表した Unigram の方法は、逆方向に進みます。文字から語彙を育てるのではなく、たとえばコーパス内のよく現れる部分文字列を多数集めた、とても大きな語彙から始めて、それを縮めていきます。
- 語彙の各断片には、コーパスから推定した確率が付きます。
- 単語はたいてい何通りにも分割できます(
low+est、lo+west、l+owest…)。トークナイザーは、断片の確率を合わせたものが最も高くなる分割を選びます。 - 学習の各ラウンドでは、各断片を取り除いたらコーパスへの当てはまりがどれだけ悪くなるかを計算し、最も影響の小さい断片、ふつうは 10〜20% を削除します。1 文字の断片は常に残すので、どの単語も書き表せるままです。
- これを、語彙が目標の大きさになるまで繰り返します。
Unigram は確率モデルなので、学習中に同じ単語のさまざまな分割をサンプリングすることもできます。サブワード正則化と呼ばれるこの工夫で、モデルは変わった綴りに強くなります。
Unigram はふつう、Google のライブラリ SentencePiece を通して使われます。SentencePiece は生のテキストで直接学習し、空白を普通の記号(▁ と書きます)として扱うので、空白のある言語でもない言語でも同じように動きます。 SentencePiece は Unigram と BPE の両方を実装しています。T5、ALBERT、XLNet は Unigram を使い、初期の LLaMA モデルは SentencePiece の BPE モードを使っていました。
バイトレベル BPE:未知は決してない
先ほどの落とし穴に戻りましょう。文字ベースの語彙では、見たことのない文字は書き表せません。2019 年に GPT-2 とともに導入されたバイトレベル BPE は、文字ではなくテキストのバイト(UTF-8 での符号化)に BPE をかけることでこれを解決します。 バイトの値は 256 通りしかなく、最初からすべてが語彙に入っているので、どの言語のどんな文字列でも、絵文字も含めてトークン化できます。[UNK] トークンはありません。
実際にうまく動かすための工夫がさらに 2 つあります。1 つ目に、テキストは事前トークン化されます。BPE を実行する前に、パターンによっておおまかなかたまり(先頭の空白付きの単語、数字、句読点)に分けるので、マージがある単語の末尾と次の単語の先頭をくっつけることはありません。 2 つ目に、空白は後ろの単語の一部として扱われます。GPT 系のトークンが ·the のような形になるのはそのためです。GPT-2、RoBERTa、GPT-3/GPT-4 系のトークナイザーは、どれもバイトレベル BPE を使っています。
3 つを並べて比べる
| BPE | WordPiece | Unigram | |
|---|---|---|---|
| 学習 | 育てる:最も多いペアをマージ | 育てる:スコアが最も高いペアをマージ | 縮める:最も役に立たない断片を刈り込む |
| トークン化 | マージを順番どおりに再生 | 左から右へ最長一致 | 最も確率の高い分割 |
| 未知のテキスト | バイトレベル:未知は決してない | 単語ごと [UNK] | 1 文字ずつ。見たことのない文字は、バイトフォールバックがオンでなければ <unk> |
| 使用例 | GPT-2、RoBERTa、GPT-4(バイトレベル)、LLaMA(SentencePiece 経由) | BERT、DistilBERT | T5、ALBERT、XLNet(SentencePiece 経由) |
この最後の点は、実際に影響があります。主に英語で学習したトークナイザーは、他の言語をより多くの小さな断片に分割するので、処理が遅くなり、コストも高くなります。絵文字や一部の言語でトークンが多くかかる理由をご覧ください。 テキストがトークンになると、各トークン ID はベクトルに変えられます。これについては埋め込みとは何か?で説明しています。トークナイザーでは、自分のテキストで複数の本物の BPE トークナイザーの分割を比べられます。
よくある質問
バイトペア符号化(BPE)とは何ですか?
バイトペア符号化は、データからトークナイザーの語彙を作る方法です。1 文字または 1 バイトから始め、学習テキストで最もよく現れる隣り合うペアを見つけて新しいトークンにマージし、語彙が目標の大きさになるまで繰り返します。GPT のモデルは、バイトレベル版の BPE を使っています。
BPE、WordPiece、Unigram の違いは何ですか?
BPE は最もよく現れる断片のペアをマージします。BERT が使う WordPiece は、学習テキストの尤度を最も高めるペアをマージするので、意外なほど一緒に現れるペアが選ばれやすくなります。T5 などのモデルで SentencePiece を通して使われる Unigram は、大きな語彙から始め、最も影響の小さい断片を取り除いていきます。
GPT-4 はどのトークナイザーを使っていますか?
GPT-4 と GPT-3.5 は、約 100,000 トークンのバイトレベル BPE トークナイザーである cl100k_base を使っています。GPT-4o は約 200,000 トークンの o200k_base を使い、英語以外の多くの言語をより効率よく扱えます。どちらも OpenAI のオープンソースライブラリ tiktoken で使えます。
トークナイザーが未知のテキストで失敗することはありますか?
バイトレベルのトークナイザーなら失敗しません。256 通りのバイト値がすべて語彙に入っているので、より大きな断片が一致しなくても、絵文字や珍しい文字体系を含むどんなテキストも 1 バイトずつ書き表せます。単語単位のトークナイザーや一部の文字単位のトークナイザーは、見たことのない入力を未知トークンに置き換えてしまいます。
参考資料
- Byte-Pair Encoding tokenizationHugging Face LLM Course · 6 節と 7 節で WordPiece と Unigram を扱っています(英語)
- Let’s build the GPT TokenizerAndrej Karpathy · 動画 · バイトレベル BPE をゼロから作ります
- Neural Machine Translation of Rare Words with Subword UnitsSennrich, Haddow & Birch · arXiv
- Byte pair encodingWikipedia
