← 学ぶ · 基礎
埋め込み7 分で読めます

潜在空間:数値に隠れた意味

埋め込みの次元が捉えているもの、方向が意味を持つ理由、そして直接は読み取れないもの。

埋め込みとは何か?では、各単語を 300 個の数値のリストに変え、似た単語が近くに集まることを見ました。 そのベクトルがある空間には名前があります。潜在空間です。「潜在」とは隠れているという意味です。その座標は誰かが設計したものではなく、学習されたものなので、 意味は後から見つけ出すしかありません。この記事では、その隠れた構造がどんな姿をしているか、そこから何が読み取れるか、そしてどこで誤解を招くかを見ていきます。

「潜在空間」とは何か

入力を数値のベクトルに変えるモデルはどれも、潜在空間を定めます。そのモデルが出しうるすべてのベクトルの集まりです。 単語埋め込みが古典的な例ですが、画像生成モデル、音声モデル、大規模言語モデルの内部のベクトルにも同じ言葉が使われます。 重要な性質は、位置が入力について何かを表していることです。モデルが似ていると扱う 2 つの入力は、互いの近くに来ます。

以下ではすべて本物の単語ベクトル(GloVe、300 次元、よく使われる英単語 10,000 語)を使います。細かい点は違っても、考え方は他の潜在空間にも当てはまります。

軸には名前がない

まず思いつくのは、300 個の数値がそれぞれ 1 つのことを測っているという考えです。12 次元目は「動物かどうか」、40 次元目は「王族かどうか」といった具合です。実際には、個々の次元がそこまですっきりしていることはほとんどありません。

理由は単純です。学習が気にするのは、ベクトル同士の関係、つまり距離と角度だけです。空間全体を回転させても、距離も角度もすべて変わらず、 モデルはまったく同じようにうまく働きます。だから、ある概念を特定の 1 本の軸にそろえようとする力は何も働きません。意味は、多くの次元に同時に広がることになります。

1 次元目300 次元目
本物のデータです。GloVe の「性別の方向」を構成する 300 個の数値(woman − man のような 7 つの差の平均)。突出した次元は 1 つもありません。最も大きい次元でも方向全体の約 4% しか担っておらず、半分を説明するには 300 次元のうち 36 次元が必要です。

埋め込みを数値 1 つずつ読んでもほとんど何もわからないのはそのためです。意味は方向にあり、方向とは 300 個の数値すべての特定の組み合わせです。

方向は意味を持ちうる

man(男性)から woman(女性)への矢印、つまり 2 つのベクトルの差を考えてみましょう。次に king(王)から queen(女王)への矢印を考えます。 空間が性別について一貫した何かを学んでいるなら、2 本の矢印はおおよそ同じ向きを指すはずです。実際にそうなっていて、boy→girl、uncle→aunt、actor→actress の矢印も同様です。

manwomanboygirlkingqueenfathermotherbrothersisteruncleauntactoractress
本物のデータを、選んだ 2 つの方向に射影したものです。横軸は「女性 − 男性」の平均の方向、縦軸はこれらのペア同士が互いに異なる主な方向です。横軸はまさにこれらのペアから作っているので、ある程度平行になるのは当然です。より強い証拠は 300 次元の中にあります。7 つの差ベクトル同士の平均コサイン類似度は 0.58 で、ランダムな単語ペアの差では 0.07 です。

この文の「おおよそ」には大事な意味があります。コサイン 0.58 は、矢印が共通の方向を持ちつつ、それぞれに独自のくせもあるということです。他の関係はもっと弱いものもあります。 単数から複数への矢印(cat→cats、city→cities、child→children など)は互いにずっと一致しておらず、このデータでは平均コサインがわずか 0.23 です。

平行な矢印としての類推

ある矢印が「女性にする」を意味するなら、それを他の単語に足すことができます。これが有名な類推(アナロジー)の技です。king − man + woman は queen の近くに着地します。 同じ計算で、首都(paris − france + italy ≈ rome)や比較級(bigger − big + small ≈ smaller)も見つかります。

計算式上位 3 件(コサイン)入力を含む場合
king − man + womanqueen 0.71, princess 0.60, throne 0.58king
paris − france + italyrome 0.78, milan 0.68, italian 0.67rome
bigger − big + smallsmaller 0.82, larger 0.81, large 0.65smaller
cats − cat + dogdogs 0.78, animals 0.62, pet 0.52dogs
brother − man + womandaughter 0.81, mother 0.77, wife 0.76daughter
walked − walk + swimswimming 0.53, raced 0.42, ran 0.42swim
GloVe での本物の結果です。「上位 3 件」は、類推のテストでふつう行うように、入力の 3 単語を除いています。最後の列は、入力を除かない場合に最も近い単語で、king − man + woman ではやはり king です。最後の 2 行は意図した答え(sister、swam)を外しています。sister は 6 位で、swam はこの 10,000 単語の語彙にありません。

正直に言っておくべき注意点が 2 つあります。1 つ目に、結果のベクトルはたいてい出発点の単語のどれかにまだ最も近いので、類推のテストは入力の単語をこっそり除外しています。 2 つ目に、うまくいく類推だけを見せて、うまくいかないものを忘れるのは簡単です。この技は構造がある確かなしるしですが、信頼できる推論エンジンではありません。 サイトガイドのking − man + woman を解説では、自分で試せます。

近傍とクラスター

潜在空間で最も単純な構造は近傍です。色は色の近くに、数は数の近くに、首都はその国の近くにあります。 k-means のようなアルゴリズムは、点が密集したかたまりを探すことで、こうしたグループを自動的に見つけられます。埋め込みを使って文書やカスタマーレビューを話題ごとにまとめるのは、この方法です。

クラスターにはラベルがなく、境目もあいまいです。いくつもの意味を持つ単語はグループの間にあります。apple は果物とテクノロジー企業の間にあります。 クラスターを何と呼ぶかはあなたの解釈であって、ベクトルの中に保存されているものではありません。

2 点の間を歩く

位置に意味があるなら、2 つの単語の間の空間はどうでしょうか? 2 つのベクトルを混ぜ合わせ、たとえば village(村)を 70%、city(都市)を 30% にして、その混ぜたものに最も近い実在の単語を調べられます。

50% village + 50% city

両端の単語

  1. village0.87
  2. city0.87

両端以外で最も近い単語

  1. town0.82
  2. area0.72
  3. nearby0.70
  4. near0.69
本物の GloVe のデータです。各ステップで 2 つの単語ベクトルを混ぜ、10,000 単語の語彙の中で最も近い単語を挙げています。左:両端の単語との類似度。右:両端以外で最も近い単語で、1 位を太字にしています。スライダーか矢印キーで操作してください。

2 つのことがわかります。まず正直な事実から。どのステップでも、両端の単語のどちらかが依然として最も近い実在の単語です。真ん中に「半分村、半分都市」という隠れた単語が待っているわけではありません。 でも、2 位以下の単語は筋の通った形で変わります。village と city の間では town(町)を通り、hot と cold の間では cool と warm を通り、 king から queen へは monarch(君主)を通ります。空間は十分になめらかで、2 つの意味の間にある点は、両方を併せ持つ単語の近くにあるのです。

画像生成モデルでは、このなめらかさが活用されています。多くの生成モデルには、2 枚の画像の間の点をデコードすると、もっともらしい中間の画像になる潜在空間があります。なめらかな「モーフィング」のアニメーションはこうして作られます。

単語だけではない

潜在空間は、モデルがデータをベクトルに変えるところならどこにでもあります。文埋め込みモデルは文全体をそれぞれ 1 つのベクトルに写すので、「How do I reset my password?」(パスワードをリセットするには?)は、 共通の単語が 1 つもなくても「I forgot my login」(ログイン情報を忘れた)の近くに来ることがあります。画像モデルは画像をベクトルに写します。OpenAI の CLIP のように、写真とそれを説明するキャプションが 1 つの共有空間で互いの近くに来るように学習したモデルもあり、これによってテキストで写真を検索できるようになります。画像や音声をまず断片に切り分ける方法はテキスト以外のトークンをご覧ください。

大規模言語モデルの内部には、潜在空間が 1 つではなくたくさんあります。どの層も、すべてのトークンについて新しいベクトルを作るからです (アテンションと Transformerを参照)。研究者はそこにも意味のある方向を見つけていますが、それを読み解くことは解決済みの問題ではなく、活発な研究分野です。

限界とバイアス

潜在空間は学習データを圧縮した記録であり、私たちが望まない部分も含んでいます。nurse(看護師)や engineer(エンジニア)のような単語は、定義には性別を含みませんが、 性別と結びついた文脈によく現れたので、ベクトルがどちらかに傾いています。

本物のデータです。職業を表す単語が性別の方向のどこに位置するか(その方向とのコサイン)。単語そのものは中立なのに、ベクトルはどちらかに傾いており、学習テキストでの使われ方を映しています。he(彼)と she(彼女)は目安として示しています。

これは 2016 年の論文で丁寧に記録されており、その題名は実際の類推の結果を引用しています。「Man is to Computer Programmer as Woman is to Homemaker?」(男性にとってのプログラマーは、女性にとっての主婦?)。 このデータでは、doctor − man + woman の 1 位は physician(医師)、2 位は nurse です。検索から採用ツールまで、埋め込みの上に作られたシステムはどれも、 こうしたパターンを受け継ぐ可能性があります。それを減らす手法はありますが、完全に取り除けるものはありません。

もう 1 つの限界は私たちの側にあります。私たちはこれらの空間を平らな図を通してしか見られず、300 次元を 2 次元に押し縮めると必ず何かがゆがみます。高次元を見るでは、そうした図の作り方と、だまされずに読む方法を説明しています。 GloVe を自分で探索するには、埋め込みエクスプローラーを試すか、ベクトル・プレイグラウンドで単語の計算をしてみてください。

よくある質問

AI の潜在空間とは何ですか?

潜在空間とは、モデルが入力を内部で表すのに使うベクトルの空間です。各点は埋め込みで、その位置は人が付けたラベルではなく、モデルが学習したパターンを反映しています。似た入力は互いの近くに来て、空間を通るいくつかの方向は、複数形、時制、性別といった概念と対応しています。

埋め込みの次元にはそれぞれ意味があるのですか?

1 つずつには、たいていありません。1 つの次元が 1 つのはっきりした概念に対応することはまれで、意味は多くの次元に同時に広がる傾向があります。解釈できるパターンは、名前の付いた 1 本の軸としてではなく、次元の組み合わせである方向として現れるのがふつうです。

king − man + woman ≈ queen になるのはなぜですか?

多くの単語埋め込みでは、man と woman の差が、king と queen の差とおおよそ同じ向きを指しています。man を引いて woman を足すと、king のベクトルがその方向に動き、結果に最も近い単語が queen になることがよくあります。うまくいく関係もありますが、すべての関係で確実にうまくいくわけではありません。

埋め込みに偏りはありますか?

あります。埋め込みは人が書いたテキストから学ぶので、その中にある結びつきを、ステレオタイプも含めて吸収します。たとえば、ある単語埋め込みが特定の職業をどちらかの性別とより強く結びつけていることが研究で示されています。このバイアス(偏り)を測り、減らすことは活発な研究分野です。

参考資料