絵文字や他の言語でトークンが多くかかる理由
UTF-8 バイト、バイトレベル BPE、そして同じあいさつが 4 トークンにも 25 トークンにもなる理由。
トークナイザーに「Hello, world.」と入力すると 4 トークンになります。同じあいさつをヒンディー語で入力すると、トークナイザーによって 6 から 25 までのどれかになります。 絵文字も似たようなもので、🎉 1 つで 2 トークン、3 トークン、あるいはそれ以上かかることがあります。これはどれもランダムではありません。テキストがバイトとしてどう保存されるか、そしてトークナイザーが学習中に何を見たかから来ています。
すべてはバイトから始まる
コンピューターは符号化方式、つまり各文字をバイトに変える決まったルールを使ってテキストを保存しています(バイトとは 0 から 255 までの小さな数で、コンピューターのメモリの基本単位です)。 今日ではほぼすべてが UTF-8 を使っており、UTF-8 は各文字に 1〜4 バイトを割り当てます。
- 基本的なラテン文字、数字、句読点:それぞれ 1 バイト。
- アラビア文字、ヘブライ文字、ギリシャ文字、キリル文字:それぞれ 2 バイト。
- デーヴァナーガリー文字(ヒンディー語で使われます)、漢字、かな:それぞれ 3 バイト。
- ほとんどの絵文字:それぞれ 4 バイト。
トークナイザーでも確認できます。入力欄の下に、コードポイント(Unicode 規格で番号が振られた文字。おおよそ文字数のことです)の数と UTF-8 バイト数が表示されます。 「Hello, world.」は 13 文字で 13 バイトです。ヒンディー語の「नमस्ते दुनिया।」は 14 コードポイントですが、40 バイトあります。
マージは学習データに従う
GPT のトークナイザーはバイトレベルの BPE トークナイザーです。1 バイトずつから始め、大量の学習テキストからマージを学習し、最もよく現れるペアを残していきます。 (最初のガイドトークンとは何かで短く説明しており、トークナイザーの作り方ではマージを一歩ずつたどっています。)
学習テキストがほとんど英語なら、マージの大半は英語の単語や単語の一部になります。他の文字体系はマージが少なく、そのテキストは小さな断片に分かれたままになります。 最悪の場合、1 つの文字が複数のトークンにまたがって分割されます。その文字のバイトが一度もマージされなかったからです。
2 つのことが目立ちます。1 つ目に、英語はどれでも同じ 4 トークンです。どの語彙もずっと前に Hello、,、·world を学習しているからです。 2 つ目に、新しい o200k_base は他の文字体系をはるかにうまく扱います。その語彙は cl100k_base の約 2 倍の大きさで、 増えた項目には英語以外のテキストの断片がずっと多く含まれています。日本語の 世界 は o200k_base では 1 トークンですが、cl100k_base では 世 を生のバイトに分けて 3 トークン必要です。
絵文字:複数のバイト、ときには複数の文字
絵文字 🎉 は、F0 9F 8E 89 の 4 バイトで保存される 1 文字です。これらのバイトを 1 つの断片にマージしていないトークナイザーは、何トークンも使わなければなりません。 トークナイザーは文字の一部でしかない断片を 16 進数のバイトとして表示するので、どこで分割されているかを正確に確認できます。
👍 や ✅ のような人気の絵文字は、o200k_base では 1 トークンですが、cl100k_base ではまだ 2〜3 トークンかかります。
1 文字ですらない絵文字もあります。🛠️ は、ハンマーとレンチの記号に、カラフルな絵文字のスタイルを求める目に見えない異体字セレクターが付いたものです。 そのため GPT-4 世代のどちらのトークナイザーでも 4 トークンになります。👨👩👧 のような家族の絵文字は、何人かの人を目に見えない「ゼロ幅接合子」でつなぎ合わせたものです。 見た目は 1 つの記号なのに、5 コードポイント、18 バイト、o200k_base で 8 トークンになります。
トークン数が重要な理由
- コスト。 多くの AI の API はトークンごとに課金するので、同じメッセージでも言語によってコストが高くなることがあります。
- コンテキスト。 モデルのコンテキストウィンドウはトークンの予算です。多くのトークンが必要なテキストほど、早くいっぱいになります。
- 速度。 モデルは 1 トークンずつ生成するので、多くのトークンが必要な返事ほど書き終えるのに時間がかかります。
トークナイザーの変更が重要なのもこのためです。cl100k_base から o200k_base に移ったことで、テキストは何も変わらないのに、上のヒンディー語のあいさつは 15 トークンから 6 トークンに減りました。
実践的なポイント
- 正しいトークナイザーで数える。 同じテキストでも語彙によって数が変わるので、あるモデルで数えた値は別のモデルには当てはまりません。
- 飾りはタダではない。 プロンプト中の絵文字、罫線文字、凝った記号は、意味をほとんど加えないのに、それぞれ何トークンもかかることがあります。
- 「未知」は決してない。 バイトレベルのトークナイザーは常に 1 バイトずつに戻れるので、どんなテキストも符号化できます。珍しいテキストは拒否されるのではなく、高くつくだけです。
試してみよう
トークナイザーには、この記事のために作った 2 つのプリセット「世界の文字」と「絵文字」があります。 どちらかを読み込み、トークナイザーを切り替えて、トークン数が変わる様子を見てみましょう。LLaMA のトークナイザーもオンにしてみてください。これらの文字体系ではおおよそ 1 文字 1 トークンを使い、 ほとんどの絵文字では生のバイトに戻ります。
よくある質問
絵文字はなぜたくさんのトークンを使うのですか?
ほとんどの絵文字は UTF-8 で 4 バイトあり、肌の色や家族の絵文字のように、複数の絵文字をつなげたものもあります。珍しい絵文字には専用のトークンがないので、バイトレベルのトークナイザーはそれをバイトの断片で書き表します。絵文字 1 つで、1 トークンから 10 トークン以上までかかることがあります。
英語以外の言語はなぜトークンが多くかかるのですか?
トークナイザーは、多くの場合ほとんどが英語の学習テキストから断片を学ぶので、英語の単語には長くて効率のよいトークンが割り当てられます。あまり出てこない文字体系や、UTF-8 で 1 文字あたりのバイト数が多い文字は、小さな断片に分割されます。同じ文でも、ヒンディー語、タイ語、ビルマ語では英語の何倍ものトークンがかかることがあります。
新しいトークナイザーで言語間の差はなくなりますか?
一部は縮まります。GPT-4o が使う o200k_base のように、より多言語のテキストで学習した大きな語彙は、cl100k_base のような古いトークナイザーに比べて多くの言語でトークン数を減らしています。ただし学習データは今も言語ごとに偏っているので、差は縮まっても消えはしません。
トークンを多く使うとお金も多くかかりますか?
ほとんどの AI の API ではそうです。料金は入力と出力のトークンごとにかかり、コンテキストウィンドウもトークンで測られるので、多くの断片に分かれるテキストほどコストが高くなり、コンテキストウィンドウも早くいっぱいになります。
