← 学ぶ · 基礎
トークン6 分で読めます

トークナイザーの作り方:BPE、WordPiece、Unigram

バイトペア符号化を一歩ずつたどり、WordPiece と Unigram がどう違う選び方をするかを見ます。

モデルが文字でも単語でもなくトークンを読む理由では、現代の言語モデルがテキストをサブワードの断片として読むことを見ました。 よく使われる単語はまるごと残り、珍しい単語は小さな部品から組み立てられます。では、lowest を low + est にすると決めるのは誰でしょうか?

人が手で決めているわけではありません。トークナイザーは、言語モデル本体の学習より前に、学習コーパスと呼ばれる大量のテキストのサンプルから語彙を学習します。 この記事では、ほぼすべてのモデルが使う 3 つの方法、バイトペア符号化(BPE)、WordPiece、Unigram を順に見ていきます。

バイトペア符号化:最も多いペアをマージする

BPE は、1994 年に Philip Gage がデータ圧縮の技法として考案したのが始まりです。2016 年に Rico Sennrich らが機械翻訳で単語を分割するために応用し、そこから広まりました。 考え方はひとことで言えます。1 文字ずつから始め、最もよく現れる隣り合うペアを次々にくっつけていくということです。

もう少し詳しく言うと、学習では 3 つのステップを繰り返します。

  • ペアを数える。 コーパスのすべての単語を現在の断片に分けて見て、隣り合う断片のペアがそれぞれ何回現れるかを数えます。
  • 勝者をマージする。 最も多いペア、たとえば e + s を選び、つなげた断片 es を語彙に加え、コーパス中のそのペアをすべて置き換えます。
  • 繰り返す。 語彙があらかじめ決めた大きさに達するまで続けます。

出力は 2 つです。語彙(トークナイザーが知っているすべての断片)と、マージのリスト(学習した順に並べたマージ)です。4 つの単語だけの小さなコーパスで、一歩ずつ試してみましょう。

スタート:すべての単語を文字に分割

コーパス

  • low×5
  • lower×2
  • newest×6
  • widest×3

ペアの出現回数

  1. e + s9
  2. s + t9
  3. w + e8
  4. l + o7
  5. o + w7

次:e + s → es をマージ

学習したマージ(順番どおり)

  1. まだありません

語彙 · 10

lowernstid
4 つの単語からなる小さなコーパスでの BPE の学習です。「low」が 5 回、「lower」が 2 回、「newest」が 6 回、「widest」が 3 回現れます(Sennrich らの論文の例)。各ステップで、単語の出現回数で重み付けして隣り合うペアを数え、最も多いもの(強調表示)をマージします。同数のときは先に見つかったペアを選びます。数値はすべてコーパスからその場で計算しています。

マージが何を見つけ出すかに注目してください。最初の 2 回で est ができます。newest にも widest にも現れるからです。 次に low、その次に new ができ、7 回目のマージまでに、よく出てくる単語 newest が 1 トークンになります。あまり出てこない lower は、まだ low + e + r のままです。 これこそ望ましい振る舞いです。よく出てくる文字列はまるごとのトークンになり、珍しいものは使い回せる部品のまま残ります。

実際のトークナイザーは、同じことを何ギガバイトものテキストで行い、何万回ものマージの後で止まります。 実際の GPT-2 トークナイザーで最初に学習されたマージは、空白 + t、空白 + a、続いて he、in、re、on でした。英語で最もよく現れる文字のペアです。

新しいテキストにマージを使う

学習が終わると、コーパスは捨てられます。新しい単語をトークン化するには、トークナイザーはその単語を文字に分け、マージのリストを学習した順に再生し、当てはまるところすべてに各マージを適用します。 最後に残ったものがトークンのリストです。

  1. 文字lowest
  2. es を適用lowest
  3. est を適用lowest
  4. lo を適用lowest
  5. low を適用lowest

結果:2 トークン:lowest

上で学習した 10 個のマージを新しい単語に適用したものです(説明用の小さな語彙)。「lowest」はコーパスに一度も出てきませんでしたが、low + est になります。実際の GPT-2 トークナイザーも、先頭に空白のない「lowest」をたまたま同じように分割します。

サブワードのトークナイザーが本当に未知の単語に出会わないのはこのためです。最悪の場合でも、ここでの rider のように、単語が 1 文字ずつのまま残るだけです。 ただし 1 つ落とし穴があります。この小さな語彙にはコーパスに現れた 10 文字しか入っていないので、k を含む単語はまったく書き表せません。実際のトークナイザーはこれをバイトで解決します。これについては後で触れます。

WordPiece:最も意外なペアをマージする

WordPiece は Google で開発され、BERT や DistilBERT など多くの BERT 系モデルのトークナイザーとして最もよく知られています。 学習のループは BPE に似ています。文字から始め、ペアをマージし、繰り返します。違うのは、どのペアをマージするかです。

BPE は最もよく現れるペアを選びます。WordPiece はその回数を、それぞれの部品が単独で現れる回数で割ります。

score = count(pair) / (count(first) × count(second))

2 つの部品がほとんどいつも一緒に現れるとき、そのペアのスコアは高くなります。文字 e のようにとてもよく現れる断片は、何かの隣にあっても意外ではないので、不利になります。 (正式には、WordPiece は学習データの尤度を最も高めるマージを選びます。Google は学習コードを公開しておらず、Hugging Face のものなど公開されている実装は、この比率で選んでいます。)

ペアBPE:回数回数 ÷(1 つ目 × 2 つ目)WordPiece のスコア
e + s99 / (17 × 9)0.059
s + t99 / (9 × 9)0.111
w + e88 / (13 × 17)0.036
l + o77 / (7 × 7)0.143
w + i33 / (3 × 3)0.333
同じ小さなコーパスでの最初のマージです。BPE は最も多いペアである e + s をマージします。WordPiece は w + i を選びます。3 回しか現れませんが、w と i が離れて現れることはないからです。回数はコーパスから計算しています。WordPiece では単語の内部の断片に ## という接頭辞が付くので、「low」の w と「widest」の先頭の w は別々に数えます。

WordPiece はトークンの書き方も違います。単語の続きの断片は ## で始まるので、hugs のような単語は hug + ##s と分割されることがあります。 これで、単語の境目がトークン自体に見えるようになります。 また、新しいテキストをトークン化するとき、WordPiece はマージを再生しません。各単語を左から読み、一致する語彙内で最も長い断片を繰り返し取っていきます。どこか一部でも一致しない場合は、単語全体が [UNK] になります。

Unigram:大きく始めて刈り込む

2018 年に工藤拓が発表した Unigram の方法は、逆方向に進みます。文字から語彙を育てるのではなく、たとえばコーパス内のよく現れる部分文字列を多数集めた、とても大きな語彙から始めて、それを縮めていきます。

  • 語彙の各断片には、コーパスから推定した確率が付きます。
  • 単語はたいてい何通りにも分割できます(low+est、lo+west、l+owest…)。トークナイザーは、断片の確率を合わせたものが最も高くなる分割を選びます。
  • 学習の各ラウンドでは、各断片を取り除いたらコーパスへの当てはまりがどれだけ悪くなるかを計算し、最も影響の小さい断片、ふつうは 10〜20% を削除します。1 文字の断片は常に残すので、どの単語も書き表せるままです。
  • これを、語彙が目標の大きさになるまで繰り返します。

Unigram は確率モデルなので、学習中に同じ単語のさまざまな分割をサンプリングすることもできます。サブワード正則化と呼ばれるこの工夫で、モデルは変わった綴りに強くなります。

Unigram はふつう、Google のライブラリ SentencePiece を通して使われます。SentencePiece は生のテキストで直接学習し、空白を普通の記号(▁ と書きます)として扱うので、空白のある言語でもない言語でも同じように動きます。 SentencePiece は Unigram と BPE の両方を実装しています。T5、ALBERT、XLNet は Unigram を使い、初期の LLaMA モデルは SentencePiece の BPE モードを使っていました。

バイトレベル BPE:未知は決してない

先ほどの落とし穴に戻りましょう。文字ベースの語彙では、見たことのない文字は書き表せません。2019 年に GPT-2 とともに導入されたバイトレベル BPE は、文字ではなくテキストのバイト(UTF-8 での符号化)に BPE をかけることでこれを解決します。 バイトの値は 256 通りしかなく、最初からすべてが語彙に入っているので、どの言語のどんな文字列でも、絵文字も含めてトークン化できます。[UNK] トークンはありません。

実際にうまく動かすための工夫がさらに 2 つあります。1 つ目に、テキストは事前トークン化されます。BPE を実行する前に、パターンによっておおまかなかたまり(先頭の空白付きの単語、数字、句読点)に分けるので、マージがある単語の末尾と次の単語の先頭をくっつけることはありません。 2 つ目に、空白は後ろの単語の一部として扱われます。GPT 系のトークンが ·the のような形になるのはそのためです。GPT-2、RoBERTa、GPT-3/GPT-4 系のトークナイザーは、どれもバイトレベル BPE を使っています。

3 つを並べて比べる

BPEWordPieceUnigram
学習育てる:最も多いペアをマージ育てる:スコアが最も高いペアをマージ縮める:最も役に立たない断片を刈り込む
トークン化マージを順番どおりに再生左から右へ最長一致最も確率の高い分割
未知のテキストバイトレベル:未知は決してない単語ごと [UNK]1 文字ずつ。見たことのない文字は、バイトフォールバックがオンでなければ <unk>
使用例GPT-2、RoBERTa、GPT-4(バイトレベル)、LLaMA(SentencePiece 経由)BERT、DistilBERTT5、ALBERT、XLNet(SentencePiece 経由)
3 つのアルゴリズムのまとめです。実際のトークナイザーは、特殊トークン、正規化、事前トークン化のルールなどの細部をさらに加えています。

この最後の点は、実際に影響があります。主に英語で学習したトークナイザーは、他の言語をより多くの小さな断片に分割するので、処理が遅くなり、コストも高くなります。絵文字や一部の言語でトークンが多くかかる理由をご覧ください。 テキストがトークンになると、各トークン ID はベクトルに変えられます。これについては埋め込みとは何か?で説明しています。トークナイザーでは、自分のテキストで複数の本物の BPE トークナイザーの分割を比べられます。

よくある質問

バイトペア符号化(BPE)とは何ですか?

バイトペア符号化は、データからトークナイザーの語彙を作る方法です。1 文字または 1 バイトから始め、学習テキストで最もよく現れる隣り合うペアを見つけて新しいトークンにマージし、語彙が目標の大きさになるまで繰り返します。GPT のモデルは、バイトレベル版の BPE を使っています。

BPE、WordPiece、Unigram の違いは何ですか?

BPE は最もよく現れる断片のペアをマージします。BERT が使う WordPiece は、学習テキストの尤度を最も高めるペアをマージするので、意外なほど一緒に現れるペアが選ばれやすくなります。T5 などのモデルで SentencePiece を通して使われる Unigram は、大きな語彙から始め、最も影響の小さい断片を取り除いていきます。

GPT-4 はどのトークナイザーを使っていますか?

GPT-4 と GPT-3.5 は、約 100,000 トークンのバイトレベル BPE トークナイザーである cl100k_base を使っています。GPT-4o は約 200,000 トークンの o200k_base を使い、英語以外の多くの言語をより効率よく扱えます。どちらも OpenAI のオープンソースライブラリ tiktoken で使えます。

トークナイザーが未知のテキストで失敗することはありますか?

バイトレベルのトークナイザーなら失敗しません。256 通りのバイト値がすべて語彙に入っているので、より大きな断片が一致しなくても、絵文字や珍しい文字体系を含むどんなテキストも 1 バイトずつ書き表せます。単語単位のトークナイザーや一部の文字単位のトークナイザーは、見たことのない入力を未知トークンに置き換えてしまいます。

参考資料