潜在空間:数値に隠れた意味
埋め込みの次元が捉えているもの、方向が意味を持つ理由、そして直接は読み取れないもの。
埋め込みとは何か?では、各単語を 300 個の数値のリストに変え、似た単語が近くに集まることを見ました。 そのベクトルがある空間には名前があります。潜在空間です。「潜在」とは隠れているという意味です。その座標は誰かが設計したものではなく、学習されたものなので、 意味は後から見つけ出すしかありません。この記事では、その隠れた構造がどんな姿をしているか、そこから何が読み取れるか、そしてどこで誤解を招くかを見ていきます。
「潜在空間」とは何か
入力を数値のベクトルに変えるモデルはどれも、潜在空間を定めます。そのモデルが出しうるすべてのベクトルの集まりです。 単語埋め込みが古典的な例ですが、画像生成モデル、音声モデル、大規模言語モデルの内部のベクトルにも同じ言葉が使われます。 重要な性質は、位置が入力について何かを表していることです。モデルが似ていると扱う 2 つの入力は、互いの近くに来ます。
以下ではすべて本物の単語ベクトル(GloVe、300 次元、よく使われる英単語 10,000 語)を使います。細かい点は違っても、考え方は他の潜在空間にも当てはまります。
軸には名前がない
まず思いつくのは、300 個の数値がそれぞれ 1 つのことを測っているという考えです。12 次元目は「動物かどうか」、40 次元目は「王族かどうか」といった具合です。実際には、個々の次元がそこまですっきりしていることはほとんどありません。
理由は単純です。学習が気にするのは、ベクトル同士の関係、つまり距離と角度だけです。空間全体を回転させても、距離も角度もすべて変わらず、 モデルはまったく同じようにうまく働きます。だから、ある概念を特定の 1 本の軸にそろえようとする力は何も働きません。意味は、多くの次元に同時に広がることになります。
埋め込みを数値 1 つずつ読んでもほとんど何もわからないのはそのためです。意味は方向にあり、方向とは 300 個の数値すべての特定の組み合わせです。
方向は意味を持ちうる
man(男性)から woman(女性)への矢印、つまり 2 つのベクトルの差を考えてみましょう。次に king(王)から queen(女王)への矢印を考えます。 空間が性別について一貫した何かを学んでいるなら、2 本の矢印はおおよそ同じ向きを指すはずです。実際にそうなっていて、boy→girl、uncle→aunt、actor→actress の矢印も同様です。
この文の「おおよそ」には大事な意味があります。コサイン 0.58 は、矢印が共通の方向を持ちつつ、それぞれに独自のくせもあるということです。他の関係はもっと弱いものもあります。 単数から複数への矢印(cat→cats、city→cities、child→children など)は互いにずっと一致しておらず、このデータでは平均コサインがわずか 0.23 です。
平行な矢印としての類推
ある矢印が「女性にする」を意味するなら、それを他の単語に足すことができます。これが有名な類推(アナロジー)の技です。king − man + woman は queen の近くに着地します。 同じ計算で、首都(paris − france + italy ≈ rome)や比較級(bigger − big + small ≈ smaller)も見つかります。
| 計算式 | 上位 3 件(コサイン) | 入力を含む場合 |
|---|---|---|
| king − man + woman | queen 0.71, princess 0.60, throne 0.58 | king |
| paris − france + italy | rome 0.78, milan 0.68, italian 0.67 | rome |
| bigger − big + small | smaller 0.82, larger 0.81, large 0.65 | smaller |
| cats − cat + dog | dogs 0.78, animals 0.62, pet 0.52 | dogs |
| brother − man + woman | daughter 0.81, mother 0.77, wife 0.76 | daughter |
| walked − walk + swim | swimming 0.53, raced 0.42, ran 0.42 | swim |
正直に言っておくべき注意点が 2 つあります。1 つ目に、結果のベクトルはたいてい出発点の単語のどれかにまだ最も近いので、類推のテストは入力の単語をこっそり除外しています。 2 つ目に、うまくいく類推だけを見せて、うまくいかないものを忘れるのは簡単です。この技は構造がある確かなしるしですが、信頼できる推論エンジンではありません。 サイトガイドのking − man + woman を解説では、自分で試せます。
近傍とクラスター
潜在空間で最も単純な構造は近傍です。色は色の近くに、数は数の近くに、首都はその国の近くにあります。 k-means のようなアルゴリズムは、点が密集したかたまりを探すことで、こうしたグループを自動的に見つけられます。埋め込みを使って文書やカスタマーレビューを話題ごとにまとめるのは、この方法です。
クラスターにはラベルがなく、境目もあいまいです。いくつもの意味を持つ単語はグループの間にあります。apple は果物とテクノロジー企業の間にあります。 クラスターを何と呼ぶかはあなたの解釈であって、ベクトルの中に保存されているものではありません。
2 点の間を歩く
位置に意味があるなら、2 つの単語の間の空間はどうでしょうか? 2 つのベクトルを混ぜ合わせ、たとえば village(村)を 70%、city(都市)を 30% にして、その混ぜたものに最も近い実在の単語を調べられます。
50% village + 50% city
両端の単語
両端以外で最も近い単語
2 つのことがわかります。まず正直な事実から。どのステップでも、両端の単語のどちらかが依然として最も近い実在の単語です。真ん中に「半分村、半分都市」という隠れた単語が待っているわけではありません。 でも、2 位以下の単語は筋の通った形で変わります。village と city の間では town(町)を通り、hot と cold の間では cool と warm を通り、 king から queen へは monarch(君主)を通ります。空間は十分になめらかで、2 つの意味の間にある点は、両方を併せ持つ単語の近くにあるのです。
画像生成モデルでは、このなめらかさが活用されています。多くの生成モデルには、2 枚の画像の間の点をデコードすると、もっともらしい中間の画像になる潜在空間があります。なめらかな「モーフィング」のアニメーションはこうして作られます。
単語だけではない
潜在空間は、モデルがデータをベクトルに変えるところならどこにでもあります。文埋め込みモデルは文全体をそれぞれ 1 つのベクトルに写すので、「How do I reset my password?」(パスワードをリセットするには?)は、 共通の単語が 1 つもなくても「I forgot my login」(ログイン情報を忘れた)の近くに来ることがあります。画像モデルは画像をベクトルに写します。OpenAI の CLIP のように、写真とそれを説明するキャプションが 1 つの共有空間で互いの近くに来るように学習したモデルもあり、これによってテキストで写真を検索できるようになります。画像や音声をまず断片に切り分ける方法はテキスト以外のトークンをご覧ください。
大規模言語モデルの内部には、潜在空間が 1 つではなくたくさんあります。どの層も、すべてのトークンについて新しいベクトルを作るからです (アテンションと Transformerを参照)。研究者はそこにも意味のある方向を見つけていますが、それを読み解くことは解決済みの問題ではなく、活発な研究分野です。
限界とバイアス
潜在空間は学習データを圧縮した記録であり、私たちが望まない部分も含んでいます。nurse(看護師)や engineer(エンジニア)のような単語は、定義には性別を含みませんが、 性別と結びついた文脈によく現れたので、ベクトルがどちらかに傾いています。
これは 2016 年の論文で丁寧に記録されており、その題名は実際の類推の結果を引用しています。「Man is to Computer Programmer as Woman is to Homemaker?」(男性にとってのプログラマーは、女性にとっての主婦?)。 このデータでは、doctor − man + woman の 1 位は physician(医師)、2 位は nurse です。検索から採用ツールまで、埋め込みの上に作られたシステムはどれも、 こうしたパターンを受け継ぐ可能性があります。それを減らす手法はありますが、完全に取り除けるものはありません。
もう 1 つの限界は私たちの側にあります。私たちはこれらの空間を平らな図を通してしか見られず、300 次元を 2 次元に押し縮めると必ず何かがゆがみます。高次元を見るでは、そうした図の作り方と、だまされずに読む方法を説明しています。 GloVe を自分で探索するには、埋め込みエクスプローラーを試すか、ベクトル・プレイグラウンドで単語の計算をしてみてください。
よくある質問
AI の潜在空間とは何ですか?
潜在空間とは、モデルが入力を内部で表すのに使うベクトルの空間です。各点は埋め込みで、その位置は人が付けたラベルではなく、モデルが学習したパターンを反映しています。似た入力は互いの近くに来て、空間を通るいくつかの方向は、複数形、時制、性別といった概念と対応しています。
埋め込みの次元にはそれぞれ意味があるのですか?
1 つずつには、たいていありません。1 つの次元が 1 つのはっきりした概念に対応することはまれで、意味は多くの次元に同時に広がる傾向があります。解釈できるパターンは、名前の付いた 1 本の軸としてではなく、次元の組み合わせである方向として現れるのがふつうです。
king − man + woman ≈ queen になるのはなぜですか?
多くの単語埋め込みでは、man と woman の差が、king と queen の差とおおよそ同じ向きを指しています。man を引いて woman を足すと、king のベクトルがその方向に動き、結果に最も近い単語が queen になることがよくあります。うまくいく関係もありますが、すべての関係で確実にうまくいくわけではありません。
埋め込みに偏りはありますか?
あります。埋め込みは人が書いたテキストから学ぶので、その中にある結びつきを、ステレオタイプも含めて吸収します。たとえば、ある単語埋め込みが特定の職業をどちらかの性別とより強く結びつけていることが研究で示されています。このバイアス(偏り)を測り、減らすことは活発な研究分野です。
参考資料
- Transformers, the tech behind LLMs3Blue1Brown · 埋め込みのセクションで、woman − man のような方向を視覚的に見せています
- GloVe: Global Vectors for Word RepresentationStanford NLP · 「linear substructures」(線形の部分構造)のセクションを参照
- Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word EmbeddingsBolukbasi et al., 2016
- Learning Transferable Visual Models From Natural Language SupervisionRadford et al., 2021 · CLIP の論文:画像とテキストを 1 つの空間に
