← 学ぶ · サイトガイド
トークン4 分で読めます

トークンとは何か、なぜ単語ではないのか?

トークナイザーがテキストを使い回せる断片に切り分ける仕組みと、その断片が単語とめったに一致しない理由。

チャットボットに文を入力しても、モデルはあなたの文字を見ることはなく、単語を見ることもありません。モデルが見るのは整数のリストです。 テキストをその数値に変えるステップをトークン化と呼び、それぞれ番号が付くテキストの断片をトークンと呼びます。

下は、GPT-4o が使い、このサイトのトークナイザーでもデフォルトになっている o200k_base トークナイザーで短い文を分割したものです。 チップ 1 つが 1 トークンで、その下の数字がトークンの ID、つまりトークナイザーが知っている断片のリストの中での位置です。

The976·cat9059·sat10139·on402·the290·mat2450.13
o200k_base での「The cat sat on the mat.」(猫がマットの上に座った。):7 トークン。点は空白を表し、空白は次のトークンの先頭に属しています。

ここまでは「1 単語 = 1 トークン」に見えます。でも、すでに 2 つの細かい点がその考えを崩しています。ピリオドはそれだけで 1 つのトークンです。 そして各単語の前の空白は単語にくっついています。モデルの語彙には、·cat(空白付き)と cat(空白なし)が別々の項目として入っているのです。

語彙は決まったリスト

トークナイザーには語彙が付いています。テキストの断片のリストで、それぞれに ID が対応しています。o200k_base という名前はその大きさ、約 200,000 項目をほのめかしています。 より古い cl100k_base(GPT-4 と GPT-3.5)は約 100,000 項目、GPT-2 のものは約 50,000 項目です。

リストが決まっているので、トークナイザーはどんな入力も、手持ちの断片で表さなければなりません。大文字・小文字、空白、綴りはすべて影響します。o200k_base では、cat は ID 8837、·cat は 9059、Cat は 23546 です。モデルにとって、これらは無関係な 3 つの数です。 それらがほぼ同じ意味だとわかるのは、学習中に似た使われ方をしているのを見ることによってだけです。

単語をそのまま使えばいいのでは?

単語単位の語彙のほうが単純に思えますが、すぐに問題にぶつかります。単語には終わりがありません。名前、タイプミス、スラング、製品名、コードの識別子、他の言語の単語。 リストにない単語は、汎用の「未知」マーカーに置き換えるしかなく、その意味は失われてしまいます。

反対の極端である 1 文字 1 トークンなら未知の単語に出会うことはありませんが、どのテキストもとても長くなります。 入力が長いほどモデルの作業は増え、1 文字だけではほとんど意味を持ちません。

現代のトークナイザーはその中間にあります。サブワード(単語より小さく、ふつうは文字より大きい)の断片を使い、よく使われる単語は 1 トークン、珍しい単語は使い回せるいくつかの小さな部品から組み立てます。 このトレードオフの全体はモデルが文字でも単語でもなくトークンを読む理由で説明しています。

o200k_base · 3 トークンunbelievable
cl100k_base · 3 トークンunbelievable
gpt2 · 4 トークンunbelievable
o200k_base、先頭に空白あり · 1 トークン·unbelievable83614
テキストの先頭に来た同じ単語を、3 つのトークナイザーがそれぞれ違うふうに分割したものです。先頭に空白が付いた「 unbelievable」(信じられない)なら、3 つとも 1 トークンです。

最後の行はもう一度見ておく価値があります。文の途中、空白の後に来る場合、この単語は専用のトークンを持てるほどよく使われています。 テキストのいちばん最初で前に空白がない場合、同じ単語は珍しいので、部品から組み立てられるのです。

断片の選び方

GPT のトークナイザーはバイトペア符号化(BPE)という方法を使っています。学習は、考えうる最小の断片、つまりテキストの 1 バイトずつから始まります。 そして大量のテキストを調べ、最もよく現れる隣り合う断片のペアを見つけ、そのペアをマージして新しい語彙の項目にします。 これを、語彙が目標の大きさになるまで繰り返します。

初期のマージは、in や he のようなとてもよく現れる文字のペアを捉えます。後のマージは、よく出てくる単語まるごとや、ization のような語尾を作ります。tokenization が 3 つの GPT トークナイザーすべてで token + ization になるのはそのためです。 断片は文法ではなく統計によるものです。辞書が単語をどこで区切るかではなく、学習テキストで何がよく出てきたかに従っています。 マージを 1 回ずつたどる例はトークナイザーの作り方をご覧ください。

トークナイザーの LLaMA の選択肢は、SentencePiece という別のツールを使っています。そこでは 2 つの違いに気づくでしょう。 語彙は空白を ▁ と書きます(トークンをクリックすると、その「語彙の断片」として確認できます)。また、どのテキストも系列の始まりを表す特殊トークン <s> で始まります。

目に見える副作用

モデルがトークンを読んでいるとわかると、おなじみのいくつかのくせが腑に落ちます。

  • 綴りについての質問は苦手。 o200k_base では、strawberry は st、raw、berry の 3 トークンです。 モデルは 10 個の別々の文字を直接見ることはありません。文字数を数える質問でモデルがつまずくのは、これが理由の 1 つです。
  • 数字はかたまりに分けられる。 GPT のトークナイザーは 1234567 を 123、456、7 に分割します。 LLaMA のトークナイザーは 1 桁ずつ 1 トークンに分割します。こうしたかたまりでの計算は、見た目より難しいのです。
  • 長さの上限はトークンで数える。 モデルのコンテキストウィンドウ(一度に読めるテキストの最大量)や多くの API の料金は、単語や文字ではなくトークンで測られます。

この後に起きること

トークン ID はそれだけではリスト内の位置にすぎません。ID 9059 が ID 402 より意味のある形で「多い」わけではありません。 モデルの中の次のステップは、各 ID を、意味を運ぶ長い数値のリストである埋め込みに置き換えることです。 それが単語が 300 個の数値になるまでのテーマです。

よくある質問

ChatGPT のトークンとは何ですか?

トークンとは、ChatGPT が読み書きするテキストの単位です。よく使われる単語はふつう 1 トークンで、前の空白も含むことがよくあり、珍しい単語は断片に分割されます。各トークンには ID があり、利用の上限や API の料金は単語ではなくトークンで数えられます。

テキストのトークン数はどうやって数えればいいですか?

WordCanvas3D のトークナイザーのようなツールにテキストを貼り付けると、複数の本物のトークナイザーについて、すべてのトークンとその ID が表示されます。コードでは、OpenAI の tiktoken ライブラリで GPT のモデルのトークン数を数えられます。モデルごとに語彙が違うので、数はモデルによって異なります。

空白はトークンの一部ですか?

たいていはそうです。GPT 系のトークナイザーは空白を次の単語の先頭にくっつけるので、空白付きの「 cat」と空白なしの「cat」は、ID の異なる別々のトークンです。大文字・小文字でもトークンは変わり、「Cat」もまた別の項目です。

同じ単語なのに分割のされ方が違うのはなぜですか?

分割はトークナイザーの語彙と、先頭の空白や大文字といった文脈によって決まります。テキストのいちばん最初の「unbelievable」は o200k_base では 3 つの断片ですが、空白の後の「 unbelievable」は 1 トークンです。モデルによって語彙が違うことも理由です。