アテンションと Transformer をゼロから解説
各トークンが他のトークンを見て自分の意味を更新する仕組みと、それを積み重ねて Transformer ができるまで。
言語モデルがあなたのテキストについて考え始める時点で、各トークンはすでに数値のリスト、つまり埋め込みに置き換えられています (埋め込みとは何か?を参照)。しかし、その最初のベクトルは表引きで得たものです。 周りの文がどうであれ、そのトークンが現れるたびに同じものになります。この記事では、これを解決する考え方であるアテンションと、 それを組み込んだ Transformer、つまり現代のほぼすべての言語モデルの土台となる設計を説明します。
なぜ文脈が重要なのか
次の 2 つの文の「bank」という単語を見てください。
表引きでは、どちらの「bank」にも同じ 1 つのベクトルが与えられます。人なら「river」(川)を読んだ瞬間に、どの bank のことかわかります。 代名詞はさらに文脈に頼っています。「The animal didn’t cross the street because it was too tired」(その動物は疲れすぎていたので通りを渡らなかった)では、「it」が「the animal」を指していると突き止めるまで、「it」には何の意味もありません。
そこでモデルには、各トークンが他のトークンから情報を集め、自分のベクトルを更新する方法が必要です。それこそがアテンションの役割です。
アテンション:各トークンが質問をする
直感的にはこうです。各トークンが「他のトークンのうち、どれが自分にとって重要だろう?」と問います。見えるトークンそれぞれにスコアを付け、スコアを割合に変え、 そのトークンたちの情報を、割合の高いものほど多く混ぜて取り込みます。この割合をアテンションの重みと呼びます。
- The6%
- animal62%
- didn't0%
- cross0%
- the0%
- street14%
- because6%
- it12%
- was非表示
- too非表示
- tired非表示
「it」はアテンションの 62% を「animal」に向けています。後ろのトークンは見えません。
「it」を選ぶと、重みの大部分が「animal」に向かいます。このステップの後、「it」のベクトルは「animal」の意味をいくらか運ぶようになり、それがモデルの後の部分で必要になります。 実際のモデルでは、これらの重みを人が手で書くことはありません。モデルが学習で得た数値を使って、ベクトル自体から計算されます。
クエリ、キー、バリュー
トークンは、誰が重要かをどうやって決めるのでしょうか? 図書館の検索を思い浮かべてください。あなたはクエリ(query、探しているもの)を入力します。各本には背表紙のラベルのようなキー(key、何についての本か)があります。 クエリをすべてのラベルと比べ、よく一致するほど、その本の中身、つまりバリュー(value)を多く読みます。
Transformer では、各トークンが 3 つの役割をすべて担います。トークンのベクトルに、学習済みの 3 つの異なる行列を掛けて、3 つの新しいベクトルを作ります。
- クエリ:このトークンが探しているもの。
- キー:このトークンが差し出すもの。他のトークンがそれを見つけられるようにします。
- バリュー:誰かがこのトークンに注意を向けたときに渡す情報。
そして、見る側のトークンについて、手順は 4 ステップです。比べる:内積を使ってクエリをすべてのキーと比べます。2 つのベクトルを数値ごとに掛けて結果を足し合わせるのです。 向きが似ていれば大きな数になります。スケーリング:スコアをベクトルの長さの平方根で割って小さくします。ソフトマックス:どんな数値のリストも、合計が 1 になる正の数に変える関数にかけます。 最後に、各バリューにその重みを掛けて混ぜます。
| トークン | キー / バリュー | q · k | 重み |
|---|---|---|---|
| the | k[0.10, -0.30]v[0.10, 0.10] | · | · |
| animal | k[1.20, 0.90]v[0.90, 0.20] | · | · |
| it | k[0.60, 0.40]v[0.30, 0.60] | · | · |
| 出力 | · | ||
トークン「it」はクエリ [1.00, 1.50] を持っています。これは「it」が探しているものです。「it」が見てよい各トークン(自分自身を含む)は、差し出すものであるキーと、渡すものであるバリューを持っています。
すべてのトークンについてまとめて書くと、Transformer を発表した 2017 年の論文の数式 softmax(QKᵀ / √d) · V になります。 Q、K、V はすべてのトークンのクエリ、キー、バリューを表に積み重ねたもので、d はキーベクトルの長さです。
因果マスク:先をのぞかない
GPT のようなテキスト生成モデルは、左から右へ 1 トークンずつ書きます(そのループは最後のベクトルから次の単語へで扱っています)。 学習中、モデルはテキストの次のトークンを一つひとつ予測することを学びます。もしトークンが自分より後ろの単語を見られたら、答えをそのまま写せてしまいます。
そこでこうしたモデルは因果マスクを使います。ソフトマックスの前に、後ろのすべてのトークンのスコアをマイナス無限大にします。ソフトマックスはそれをちょうどゼロの重みに変えます。 各トークンは自分自身とそれより前のすべてを見られますが、後ろは決して見られません。グリッドとして描くと、重みは三角形になります。
| 見る側のトークン | The | animal | didn't | cross | the | street | because | it | was | too | tired |
|---|---|---|---|---|---|---|---|---|---|---|---|
| The | |||||||||||
| animal | |||||||||||
| didn't | |||||||||||
| cross | |||||||||||
| the | |||||||||||
| street | |||||||||||
| because | |||||||||||
| it | |||||||||||
| was | |||||||||||
| too | |||||||||||
| tired |
すべての Transformer が因果的なわけではありません。BERT のように、テキストを書くためではなく理解するために作られたモデルでは、各トークンが文全体を両方向に見られます。
たくさんのヘッドを同時に
1 組の重みが一度に表せるのは、1 種類の関係だけです。でも、トークンが気にすることはいくつもあるかもしれません。代名詞がどの名詞を指すか、主語にどの動詞が対応するか、直前の単語は何だったか。
そこで Transformer は、それぞれ独自のクエリ、キー、バリューの行列を持つアテンションの計算をいくつも並行して実行します。その 1 つひとつをヘッドと呼びます。 各ヘッドの出力はつなげられ、混ぜ合わされて 1 つのベクトルに戻ります。元の Transformer は 1 層あたり 8 個のヘッドを使い、GPT-2 の最小版は 12 個を使っています。
Transformer ブロック
アテンションはトークン同士に情報を共有させます。Transformer はそれを、さらに 3 つの要素と一緒に 1 つのブロックに包みます。
- フィードフォワードネットワーク。 アテンションがトークンの間で情報を混ぜた後、各トークンのベクトルは単独で小さなニューラルネットワークを通ります。 ベクトルはより長いもの(元の設計では 4 倍の長さ)に広げられ、単純な非線形関数を通り、元の長さに縮められます。モデルが蓄えた知識の多くはここにあると考えられています。
- 残差接続。 トークンのベクトルを置き換えるのではなく、各サブ層の出力をそれに足します。ベクトルは、どの層も少しずつ書き換える、継続的な記録になります。 これにより、とても深い積み重ねもずっと学習しやすくなります。
- 正規化。 各サブ層の前に、ベクトルを標準的な大きさにそろえ直して、多くの層を通る間に数値が爆発したり消えたりしないようにします。
ブロックを積み重ねる
モデルは、それぞれ独自の学習済みの数値を持つこうしたブロックを、たくさん積み重ねたものです。元の Transformer は前半・後半それぞれに 6 個、GPT-2 の最小版は 12 個、大きなモデルはさらに数十個多く持っています。 各ブロックは前のブロックが作ったベクトルを読み、磨き上げます。前のほうの層は局所的で表面的なパターンを扱う傾向があり、後ろのほうの層はより抽象的な特徴を組み立てます。
途中で形が変わることはありません。トークンごとに 1 つのベクトルが入り、トークンごとに 1 つのベクトルが出ます。いちばん上で、最後のトークンのベクトルが次のトークンの予想に変えられます。
語順はどこにあるのか?
1 つ落とし穴があります。アテンションはそれだけでは順序を無視します。すべてのトークンを他のすべてと比べるので、「dog bites man」(犬が人をかむ)と「man bites dog」(人が犬をかむ)が同じに見えてしまいます。 Transformer は各トークンに位置の情報を与えることでこれを解決します。元の論文では、位置ごとに異なる正弦波の固定パターンを各埋め込みに足していました。 GPT-2 は代わりに位置ベクトルを学習します。新しいモデルの多くは、位置に応じた角度でクエリとキーのベクトルを回転させ(RoPE という方法です)、アテンションのスコアに 2 つのトークンがどれだけ離れているかが反映されるようにしています。
よくある質問
Transformer のアテンションとは何ですか?
アテンションは、各トークンがテキスト内の他のトークンを見て、それぞれが自分にとってどれだけ重要かを決める仕組みです。各トークンはクエリ、キー、バリューを作り、自分のクエリをすべてのキーと比べて重みを求め、新しいベクトルはバリューの重み付きの混ぜ合わせになります。こうして文脈が単語の意味を変えます。
クエリ、キー、バリューとは何ですか?
各トークンのベクトルから、学習済みの重みを使って計算される 3 つのベクトルです。クエリはそのトークンが探しているもの、キーはそのトークンが差し出すもの、バリューはそのトークンが渡す情報を表します。クエリとキーの一致度がアテンションの重みを決め、その重みでバリューを混ぜます。
マルチヘッドアテンションとは何ですか?
Transformer はアテンションを 1 回だけ実行するのではなく、それぞれ独自のクエリ、キー、バリューの重みを持つ複数のアテンションヘッドを並行して実行します。ヘッドごとに、近くの単語、文法、前に出てきた名前への参照など、異なる関係を追うように学習でき、それらの出力が組み合わされます。
Transformer はどうやって語順を知るのですか?
アテンションはそれだけでは入力を順序のない集合として扱うので、位置の情報を加える必要があります。元の Transformer は各埋め込みに固定の正弦波パターンを足し、GPT-2 は位置ベクトルを学習し、新しいモデルの多くは位置に応じた角度でクエリとキーを回転させる回転位置埋め込み(RoPE)を使っています。
参考資料
- Attention in transformers, step-by-step3Blue1Brown · 動画。最高の図解による解説
- Transformers, the tech behind LLMs3Blue1Brown · 動画。全体像
- The Illustrated TransformerJay Alammar
- Attention Is All You NeedVaswani et al., 2017 · 元の論文
