King − man + woman を解説
矢印の足し算としての単語の類推:プレイグラウンドが何を計算しているのか、なぜうまくいくのか、どこで破綻するのか。
単語埋め込みで最も有名な結果の 1 つは、ちょっとした計算です。king(王)のベクトルから man(男性)を引き、woman(女性)を足すと、答えに最も近い単語は queen(女王)になります。 手品のように聞こえますが、実は空間の中の方向についての話です。それがわかれば、どこでうまくいき、どこで失敗するかも見えてきます。
矢印としての単語
埋め込みモデルでは、各単語は数値のリスト(ここでは 300 個)で、これをベクトルと呼びます。そのリストは、原点(すべての数値がゼロの点)からある点へ向かう矢印として思い描けます。 矢印の足し算と引き算は、数値 1 つずつ行います。king − man を計算するには、king の 1 つ目の数値から man の 1 つ目の数値を引き、次に 2 つ目、と 300 個目まで続けます。
引き算の結果もまた矢印です。man から king へ行くために進む方向です。 モデルが「王族」という一貫した概念を学んでいれば、woman から queen への道のりも、おおよそ同じ向きを指すはずです。
つまり king − man + woman とは、king から出発し、「man」の方向を取り除き、「woman」の方向を加える、という意味です。幾何がきれいなら、queen の近くに着地します。 同じ考え方を逆から読んで、「king にとっての man は、何にとっての woman か?」と言うこともできます。
ベクトル・プレイグラウンドが実際にしていること
プレイグラウンドには a、b、c の 3 つの欄があり、a − b + c を計算します。裏では次のことをしています。
- 入力した 3 つの単語それぞれについて、300 個の数値からなるベクトル全体を引きます。
- 300 個すべての数値で計算をします。
- 結果を、モデルが読み込んだすべての単語(10,000 語)と、2 本の矢印がどれだけ同じ向きを指すかを測るコサイン類似度で比べます。
- 入力した 3 単語を除き、残りの中で最も近い単語とその類似度を表示します。
| モデル | 結果 | 類似度 |
|---|---|---|
| GloVe 300D | queen | 0.73 |
| FastText 300D | queen | 0.77 |
| Word2Vec 300D | royal | 0.51 |
GloVe と FastText はどちらも queen に着地します。Word2Vec はそうならず、その理由はありふれたものです。語彙が大文字と小文字を区別していて、 ここで読み込んでいる 10,000 単語には大文字で始まる Queen しか含まれていないのです。 そのベクトルのスコアは 0.44 で、royal(王の)より下になります。
細かい注意書き
「入力した 3 単語を除く」というステップは、見た目以上に重要です。GloVe のデータでは、king − man + woman に最も近いベクトルは実は king 自身で (類似度 0.82)、queen は 2 位です。man を引いて woman を足しても矢印はわずかにしか動かないので、出発点のいちばん近くにとどまるのです。 ほとんどの類推ツールが入力を除外するのはこのためです。有名な結果は本物ですが、聞こえるほど劇的ではありません。
キャンバス上の 3D の矢印も単純化したものです。300 次元のベクトルを平らにした表示なので、画面上の角度や長さはおおよそのものにすぎません。 図はヒントであって、答えは 300 個の数値すべてを使った計算から出てきます。
ほかにも試したい類推
どれも、プレイグラウンドのデフォルトのモデルである GloVe でうまくいきます。
paris − france + italy→rome(首都)france − paris + tokyo→japan(同じ関係を逆向きに)walking − walk + swim→swimming(動詞の形)bigger − big + small→smaller。largerが僅差で 2 位
最後の例は、よくある失敗を示しています。smaller(より小さい)と larger(より大きい)はほとんど同じ文に現れるので、モデルはこの 2 つを近くに置いたままにします。 埋め込みは「同じ種類の単語」には強く、「反対の意味」には弱いのです。
結果の読み方
プレイグラウンドに表示される類似度はコサイン類似度で、1 なら向きが完全に一致していることになります。確率でも、確信度のスコアでもありません。 結果の矢印が各候補の単語の方向をどれだけ指しているかを表しているだけです。Word2Vec の 0.51 のように低い値は、計算がまばらな領域に着地し、最も近い単語でさえあまり近くないことを意味します。
計算をせずに、単語を描くだけにすることもできます。単語の欄には最大 50 単語まで入力でき、それぞれを矢印として描くので、man woman king queen のような少数の単語を比べるのに手軽です。
なぜうまくいくのか、そして何を映しているのか
これらのモデルに「王族」や「性別」の方向をプログラムした人はいません。学習テキストが king と queen を、man と woman と同じように平行な形で使っているから、 自然に現れたのです。この幾何は、人がどう書くかを圧縮した要約です。 そもそも埋め込みの方向がなぜ意味を持つのかは、潜在空間:数値に隠れた意味で探っています。
これには両面があります。同じ計算が学習テキストのステレオタイプを浮かび上がらせること、たとえば特定の職業をどちらかの性別とより強く結びつけることが、研究で示されています。 類推が意外な答えを返したら、元のテキストの何がそれを生んだのかを考えてみる価値があります。
よくある質問
king − man + woman = queen とはどういう意味ですか?
単語埋め込みの有名な結果です。king のベクトルから man を引き、woman を足すと、最も近い単語が queen になる点が得られることがよくあります。これは、男性から女性へといった一部の関係が、埋め込み空間の中で一貫した方向として現れることを示しています。
単語の類推はいつもうまくいくのですか?
いいえ。性別、首都、動詞の時制などの関係ではうまくいきますが、他の多くの関係ではあまりうまくいきません。また、最も近いベクトルが入力の単語のどれかであることが多いので、結果はふつう入力の単語を除いて報告されており、そのせいで実際より信頼できる方法に見えます。
類推の答えはどうやって計算するのですか?
3 つのベクトルを a − b + c のように組み合わせ、その結果をすべての単語ベクトルとコサイン類似度で比べます。入力の 3 単語を除いて最も近い単語が答えです。WordCanvas3D のベクトル・プレイグラウンドでは、この計算を一歩ずつ確認できます。
ベクトルの計算でバイアスがわかりますか?
わかります。同じ計算で、たとえば特定の職業をどちらかの性別とより強く結びつけるといった、学習テキストから学んだステレオタイプが浮かび上がることがあります。こうした結果は人の書き方のパターンを反映したものなので、埋め込みは使う前にバイアス(偏り)を検査し、調整されることがよくあります。
