最後のベクトルから次の単語へ
ロジット、ソフトマックス、温度、top-k、top-p:モデルが次に何を言うかを選ぶ仕組み。
言語モデルはテキストをトークンとして読み、各トークンをベクトルに変え、そのベクトルを Transformer ブロックの積み重ねに通します (その部分はアテンションと Transformerで説明しています)。最後には、どのトークンも磨き上げられたベクトルを持っています。 でも、モデルの仕事は何かを書くことです。この記事では、最後のステップを追います。数値のリストから実際の次の単語へ、そしてその次、さらにその次へ。
1 つのベクトル、1 つの問い
次に何が来るかを予測するのに、モデルが必要とするのは最後のトークンの最終的なベクトルだけです。アテンションのおかげで、そのベクトルはそれより前のすべてから必要なものをすでに集めています。 GPT-2 の最小版では、その長さは 768 個の数値です。
モデルの語彙、つまりモデルが知っているトークンの決まったリスト(モデルが文字でも単語でもなくトークンを読む理由を参照)は、GPT-2 では 50,257 項目あります。 ここでの仕事は、その全項目に「次に来るものとしてどれくらい合うか」のスコアを付けることです。
ベクトルからスコアへ:アンエンベディング
スコア付けは 1 回の掛け算です。モデルはアンエンベディング行列(出力層とも呼ばれます)という学習済みの大きな表を持っていて、語彙のトークンごとに 768 個の数値からなる列が 1 つあります。 最後のベクトルにこの行列を掛けることは、各列との内積を取ること、つまり数値ごとに掛けて足し合わせることと同じです。 ベクトルと似た向きを指す列は高いスコアを得ます。
結果はトークンごとに 1 つ、全部で 50,257 個の数値です。この生のスコアをロジットと呼びます。どんな大きさにもなり、負にもなりえます。意味があるのは差だけです。 GPT-2 では、アンエンベディング行列は最初のステップの埋め込みの表と同じ表を再利用しています(重み共有と呼ばれる工夫です)。新しいモデルの多くは 2 つの表を別々に持っています。
スコアから確率へ:ソフトマックス
ロジットはそのままでは使いにくいものです。欲しいのは各トークンの確率、つまり 0 から 1 の間の数で、すべてを合わせると 1 になるものです。 これを行う関数がソフトマックスです。各ロジットについて e のロジット乗を計算し(これですべての数が正になり、差が広がります)、合計で割ります。
たとえば 2.0、1.0、0.1 というロジットは、約 65.9%、24.2%、9.9% の確率になります。最も大きいロジットが最も多くを得ますが、どれも分け前を持ち続けます。 この確率のリストこそがモデルの本当の出力です。単語ではなく、次に言いうるすべての単語にわたる確率分布なのです。
単語を選ぶ:デコーディング
その分布を 1 つのトークンに変えることをデコーディングと呼び、いくつかのやり方があります。下で試してみてください。候補の単語とそのロジットは説明用に作ったもので、 見やすくするために、語彙にこの 12 単語しかないことにしています。そこに適用している計算は本物です。
それぞれの操作が何をするかを見ていきましょう。
- 貪欲法(グリーディ・デコーディング)は、常に最も可能性の高いトークンを 1 つ取ります。温度を 0 にすると確認できます。「mat」が 100% になり、何度引いても同じ結果です。 貪欲法は予測しやすいのですが、長いテキストでは平凡で繰り返しの多い文章になりがちです。
- 温度は、ソフトマックスの前にすべてのロジットを数 T で割ります。1 より小さいと差が広がり、本命がさらに多くの確率を取ります。 1 より大きいと差が縮まり、可能性の低い単語にも本当のチャンスが生まれます。単語の順位は決して変わらず、確率がどれだけ鋭く集中するかだけが変わります。
- top-k は、可能性の高い上位 k 個のトークンだけを残し、残りを捨てます。大きな語彙の長いすそ野から、極端にありえないものをモデルが選ぶのを防ぎます。 弱点は k が固定されていることです。意味の通る単語が 2 つしかないこともあれば、何百もあることもあります。
- top-p はニュークリアスサンプリングとも呼ばれ、確率の合計が p 以上になる上位トークンの最小のグループを残します。モデルに自信があるときはそのグループはとても小さく、 当てはまる単語が多いときは大きくなります。上で top-p を 0.50 にすると「mat」と「floor」だけが残ります。「mat」だけでは 41.3% で、半分にわずかに届かないからです。
| 温度 | ロジット 2.0 | ロジット 1.0 | ロジット 0.1 |
|---|---|---|---|
| T = 0.5 | 86.4% | 11.7% | 1.9% |
| T = 1 | 65.9% | 24.2% | 9.9% |
| T = 2 | 50.2% | 30.4% | 19.4% |
同じ質問に違う答えが返る理由
デコーディングが貪欲法でない限り、モデルはトークンごとに毎回ランダムに引いています。25% の単語は、およそ 4 回に 1 回選ばれます。 いったん別の単語が選ばれると、その後はすべて異なるテキストから予測されるので、序盤の小さな違いがまったく異なる答えへと育っていきます。 チャットボットに同じ質問を 2 回すると違う返事が返ることがあるのはそのためで、温度のような設定があるのもそのためです。多様さと予測しやすさを引き換えにできるのです。
ループ:追加して繰り返す
モデルを 1 回通すと、トークンが 1 つできます。文を書くには、モデルは選んだトークンを入力の末尾に加えてもう一度実行し、その次のトークンを予測します。 これを自己回帰型の生成と呼びます。各ステップに、自分自身の前の出力が入力されるのです。返事が画面に一語ずつ現れるのもこのためです。
生成が止まるのは、次の 2 つのどちらかのときです。
- 系列終了トークン。 語彙には「このテキストはここで終わり」を意味する特殊トークンが入っています。GPT-2 では
<|endoftext|>(ID 50256)です。 モデルは学習の中で、テキストがこれで終わることを学んでいるので、他のトークンと同じように予測できます。これが引かれると生成は止まります。 - 長さの上限。 モデルを動かしているプログラムが、新しいトークンの最大数を決めています。先にそれに達すると、テキストは途中で、ときには文の途中で切れます。
実際のシステムは、各ステップを一から始めずに済むよう前の計算を再利用したり、いくつかの続きの候補を同時に探したり(ビームサーチ)といった改良を加えています。 それでも中心にあるのはまさにこれです。ベクトル、ロジット、ソフトマックス、1 つ選んで、追加して、繰り返す。
モデルが実際に扱っているトークンを見てみたいですか? このサイトのトークナイザーは、どんなテキストも GPT や LLaMA のトークンに ID 付きで分割します。
よくある質問
言語モデルのロジットとは何ですか?
ロジットとは、モデルが次の位置について語彙のすべてのトークンに付ける生のスコアです。最後のベクトルにアンエンベディング行列を掛けて得られます。高いほど可能性が高いことを意味しますが、ソフトマックスによって合計 1 になる 0〜1 の数に変えられて、はじめて確率になります。
LLM の温度(temperature)は何をするのですか?
温度はソフトマックスの前にロジットの尺度を変えます。1 より小さいと分布が鋭くなって上位のトークンが支配的になり、答えが予測しやすくなります。1 より大きいと分布が平らになって可能性の低いトークンにもチャンスが増え、出力は多様になりますが間違いも起きやすくなります。温度 0 は、実質的に常に最上位のトークンを選ぶことを意味します。
top-k サンプリングと top-p サンプリングの違いは何ですか?
top-k は可能性の高い上位 k 個のトークンだけを残し、その中からサンプリングします。top-p はニュークリアスサンプリングとも呼ばれ、確率の合計が 0.9 などの p に達するトークンの最小の集合を残すので、モデルに自信がないときは選択肢が増え、自信があるときは減ります。
言語モデルは答え全体を前もって計画しているのですか?
はっきりとした形ではしていません。モデルは 1 トークンずつ出力し、新しいトークンはそれぞれ入力に加えられてから次のトークンが予測されます。内部の状態が文の向かう先についての情報を運ぶことはありますが、読み上げるだけの完成した下書きが別にあるわけではありません。
参考資料
- How to generate text: using different decoding methodsHugging Face blog · 貪欲法、ビームサーチ、top-k、top-p をコード付きで解説(英語)
- Transformers, the tech behind LLMs3Blue1Brown · 動画。アンエンベディング、ソフトマックス、温度も扱っています
- The Curious Case of Neural Text DegenerationHoltzman et al., 2019 · ニュークリアス(top-p)サンプリングを提案した論文
