← 学ぶ · サイトガイド
埋め込み4 分で読めます

単語が 300 個の数値になるまで

単語埋め込みとは何か、GloVe、Word2Vec、FastText がそれをどう学習するか、そして類似度の測り方。

トークナイザーはテキストを ID に変えますが、ID はリスト内の位置にすぎません。9059 という数のどこにも「cat」(猫)を表すものはありません。 意味を扱うには、似た単語が似て見えるような表現が必要です。その表現が埋め込みで、単語やトークンごとに、ふつう数百個の数値が並んだリストです。 このようなリストはベクトルとも呼ばれ、その中の各位置を次元と呼びます。

このガイドは、このサイトの埋め込みのページに表示されるものに絞っています。考え方そのものをゼロから組み立てる解説は埋め込みとは何か?をお読みください。

このサイトの埋め込みのページでは、単語埋め込みの古典的な 3 つのセット、GloVe、Word2Vec、FastText を表示しています。 3 つとも、どの単語もちょうど 300 個の数値のリストです。

300 個の数値はどんな姿か

このサイトが使っている GloVe のデータから、4 つの単語について 300 個の数値のうち最初の 8 個を取り出しました。

king-0.07-0.37-0.21-0.880.06-0.260.34-0.23
queen-0.08-0.30-0.18-0.81-0.660.070.21-0.34
man-0.02-0.02-0.400.270.180.28-0.270.10
apple-0.170.130.34-0.71-0.21-0.77-0.440.26
300 個の GloVe の値のうち最初の 8 個(四捨五入)。ティールが正、赤が負で、色が濃いほど値が大きいことを表します。

「王族」や「果物」を意味する数値が 1 つあるわけではありません。意味は 300 個すべてに同時に広がっています。それでも、このほんの一部からでもパターンがうかがえます。king(王)と queen(女王)はいくつかの位置で似た形をしていますが、man(男性)と apple(りんご)はそれぞれ別の動きをしています。 次元が何を捉え、何を捉えないかは潜在空間のテーマです。

数値はどこから来るのか

3 つのモデルはどれも同じ考え方に基づいています。言語学者の J.R. Firth の言葉によく要約される考え方です。 「You shall know a word by the company it keeps.」(単語はその仲間によって知られる)。似た文脈に現れる単語は、似た意味を持つ傾向があります。 モデルは膨大なテキストを読み、似た近傍を持つ単語が似たリストになるまで、各単語の数値を調整します。

  • Word2Vec(Google、2013 年)は、単純な当てっこゲームで小さなニューラルネットワークを学習させます。ある単語の周りの単語を予測する、あるいは周りの単語からその単語を予測するゲームです。 学習後、各単語に対するネットワークの内部の重みが、その単語の埋め込みになります。
  • GloVe(スタンフォード大学、2014 年)は、まずコーパス全体で、各単語のペアが互いの近くに何回現れるかを数えます。 そして、2 つの単語のベクトルの関係が、それらが一緒に現れる頻度を反映するように、ベクトルを当てはめます。
  • FastText(Facebook、2016〜17 年)は Word2Vec を拡張し、単語の中の文字のかたまりについてもベクトルを学習します。そのため walk、walking、walked は部品を共有します。 これは珍しい単語や綴りの揺れに役立ちます。

データにも細かな違いがあります。ここでの GloVe のベクトルはすべて小文字です。Word2Vec と FastText は大文字を残しているので、Paris と paris が別の項目になることがあり、 Word2Vec のセットには prime_minister(首相)のようにつなげたフレーズまで入っています。

類似度を測る

各単語が 300 次元の空間の 1 点なら、「意味が似ている」は「似た方向を指している」ということになります。 ふつう使われる尺度はコサイン類似度で、1 は 2 つのベクトルが同じ向きを指していること、0 は無関係(直角)であることを意味します。

ペア類似度
cat · dog0.72
king · queen0.70
king · man0.47
cat · car0.28
king · apple0.27
単語のペアのコサイン類似度で、このサイトの GloVe のベクトルから計算したものです。

数値は直感と一致します。cat と car(車)は 1 文字しか違わないのに、cat は car よりも dog(犬)にずっと近いのです。 埋め込みは綴りについては何も知らず、知っているのは使われ方だけです。

埋め込みが間違えること

意外な結果が生まれるのも、使われ方のせいです。この GloVe のデータでは、apple の最近傍は microsoft、google、intel です。 学習テキストは果物よりも企業のことをはるかに多く語っていたのです。

反対の意味の単語が近いこともあります。good(良い)と bad(悪い)の類似度は約 0.72 です。「the food was good」(料理はおいしかった)と「the food was bad」(料理はまずかった)のように、ほとんど同じ文に現れるからです。

これらのモデルは静的でもあります。どんな文でも、各単語にはちょうど 1 つのベクトルしか与えられません。川の bank(岸)と、お金を預ける bank(銀行)は、1 つの点を共有しています。 現代の言語モデルは、各トークンのベクトルを周りの単語に応じて層ごとに調整することで、これを解決しています (その仕組みはアテンションと Transformerで紹介しています)。それでも最初のステップはここと同じで、 各トークン ID のベクトルを大きな表から引くことです。

なぜ 300 なのか

リストの長さは、学習の前に決める設計上の選択です。数値が多いほど、モデルは細かな違いを記録する余地を得ますが、 より多くの学習データ、メモリ、計算が必要になります。このような古典的な単語埋め込みでは、300 がよく使われるサイズになりました。 ここで各モデルに付いている 10,000 単語全体では、モデルあたり 300 万個の数値になります。

大規模言語モデルも同じ考え方をもっと大きな規模で使っており、トークンのベクトルは数千個の数値になることがよくあります。

空間を見る

300 次元を思い描ける人はいません。埋め込みのページでは、モデルから 1,000、5,000、10,000 単語を取り出し、そのベクトルを 3D に押し縮めて、その中を飛び回れるようにしています。 その押し縮め方と、それが隠してしまうものは、PCA と UMAPで扱っています。

よくある質問

GloVe、Word2Vec、FastText の違いは何ですか?

Word2Vec は、周りの単語からある単語を、あるいはある単語から周りの単語を予測することでベクトルを学習します。GloVe は、単語が一緒に現れる頻度をまとめた全体の表から学習します。FastText は Word2Vec と同じように働きますが、単語の断片も使うので、学習中に見なかった単語のベクトルも作れます。

単語埋め込みはなぜ 300 次元なのですか?

300 という数に特別な意味はありません。品質と、メモリや学習時間とのバランスが取れていたので、元の Word2Vec や GloVe の公開版でよく使われた設定です。次元が少ないと細かなニュアンスを捉えきれず、ずっと多くしても単語単位のベクトルでは効果が頭打ちになります。

静的な単語埋め込みにできないことは何ですか?

各単語にちょうど 1 つのベクトルしか与えないので、「bank」のように複数の意味を持つ単語は、ぼやけた平均の 1 つになります。FastText を除けば語彙にない単語のベクトルはなく、学習テキストのバイアスも反映します。現代の言語モデルは、文に応じて変わる文脈埋め込みを使っています。

2 つの単語の類似度はどうやって測るのですか?

ふつうはコサイン類似度を使い、2 つのベクトルの向きを比べます。1 に近い値は、単語がとてもよく似た文脈に現れることを意味します。似た文脈は似た意味であることが多いのですが、「hot」(熱い)と「cold」(冷たい)のような反対語も同じ場所で使われるので、高いスコアになることがあります。