PCA と UMAP:意味を平らにする 2 つの方法
300 次元を 3 次元に押し縮める 2 つの方法と、それぞれが残すもの、結果の読み方。
埋め込みのページの各単語は、実は 300 個の数値のリスト、つまり 300 次元の空間の 1 点です。画面は 2 次元で、私たちの直感が扱えるのは 3 次元までです。 そもそも単語を描くために、このサイトは 300 個の数値を 3 個に減らさなければなりません。これを次元削減と呼び、ページでは PCA と UMAP の 2 つの方法を選べます。
どちらも「正しい」わけではありません。297 次元を捨てれば、必ず何かを失います。2 つの手法は、残すものの選び方が違うだけです。 このガイドでは埋め込みのページにある 2 つの選択肢を扱います。t-SNE を含むより広い手法の仲間は、高次元を見るでさらに詳しく説明しています。
PCA:最も広い方向を見つける
主成分分析(PCA)は、点が最も広がっている方向を探します。それが第 1 の軸になります。 次に、第 1 の軸と直角な方向のうち次に広がっている方向を見つけ、以下同様に続けます。3D の表示を作るには、上位 3 つの方向を残し、残りを捨てます。
本のような平たいものを写真に撮ることを考えてみてください。最も多くの情報が得られるのは、形が最も広く見える正面から撮ったときで、横から撮ったときではありません。 PCA は、広がりが最も大きく見えるカメラの角度を選んでいるのです。数学的には回転してから軸を捨てるだけ(壁に落ちる影のような射影)なので、役に立つ性質があります。
- 決定的です。同じデータからは常に同じ図ができます。
- 線形なので、元の空間でのまっすぐな関係はまっすぐなまま残ります。
- 大きな距離はおおよそ保たれます。図の上で遠く離れているものは、データの中でも本当に遠く離れています。
弱点は、捨てなければならないものの多さです。単語埋め込みは情報を多くの方向に広げています。 このサイトが使っている GloVe の 10,000 個のベクトルでは、上位 3 つの方向が全体の広がりの約 9% しか捉えておらず、半分に達するには約 54 個の方向が必要です。 そのため PCA の表示は 1 つの大きな雲のように見えがちで、グループは真ん中で重なり合います。2 つの単語が、まったく似ていないのに画面上で近くに来ることもあります。
UMAP:近傍を一緒に保つ
UMAP(Uniform Manifold Approximation and Projection、2018 年)は別のやり方を取ります。全体の広がりを保つのではなく、近傍を保とうとするのです。
まず、300 次元の空間全体で各単語の最近傍を見つけ、それらをつなぐグラフを作ります。 次に単語を 3D に置き、3D での近傍が元の近傍にできるだけ一致するまで少しずつ動かします。近傍同士は引き合い、近傍でないもの同士は押し合います。
PCA
UMAP
結果は、ふつうはっきりと密集したクラスターになります。数は 1 つの島に、地名は別の島に。そのため UMAP の表示は探索しやすくなります。 ただし、このわかりやすさには読み方のルールが付いてきます。
- クラスター間の距離にはあまり意味がない。 遠く離れた 2 つの島が、隣り合った 2 つの島より関係が薄いとは限りません。
- クラスターの大きさにはあまり意味がない。 UMAP は密度をならす傾向があるので、大きくまばらなグループと小さく密集したグループが同じように見えることがあります。
- 実行ごとに違う。 UMAP はランダムな配置から始めるので、もう一度実行すると島が回転したり、反転したり、並び替わったりします。このサイトの表示は前もって計算してあるので、訪れるたびに同じです。
並べて比べる
| PCA | UMAP | |
|---|---|---|
| 残すもの | 全体の広がり | 局所的な近傍 |
| 手法 | 線形(回転) | 非線形(グラフ) |
| 毎回同じ結果になるか | なる | 保証されない |
| クラスターの見え方 | 重なり合う | 分かれる |
| 信用できる距離 | 大きな距離(おおよそ) | 小さな距離だけ |
埋め込みのページの読み方
埋め込みのページでは、次元削減のスイッチで 2 つを切り替えられます。同じモデルと単語数で両方を試して、比べてみましょう。
- 色は、各データセットのファイルに保存されたクラスター ID から来ています。表示ごとに別々に計算されているので、PCA でのある色が、UMAP での同じ色と同じグループを意味するわけではありません。
- ページ自体にも注意書きがあるとおり、3D 表示での距離は元の類似度のスコアではありません。本当の類似度には、300 個の数値すべてが重要です。
- 単語を検索して、両方の表示でその近傍を見てみましょう。両方に現れる近傍は、その関係が射影による見せかけではなく本物であることのよいしるしです。
UMAP で面白いグループを見つけ、PCA で全体像を確かめる、というのがよい習慣です。
よくある質問
埋め込みには PCA と UMAP のどちらを使うべきですか?
全体の形と主な変動の方向を、速く再現性のある形で見たいなら PCA を使いましょう。どの点が近傍かを重視し、クラスターを見たいなら UMAP を使いましょう。同じデータで両方を見るのが、最も多くのことがわかる方法であることがよくあります。
UMAP の図が毎回違うのはなぜですか?
UMAP はランダムな配置から始めてそれを最適化するので、実行や設定が違うと、特にクラスター間で異なる配置になることがあります。乱数のシードを固定すれば再現できます。PCA は決定的で、同じデータなら毎回同じ結果になります。
PCA は何を残し、何を失うのですか?
PCA は、データが最も広がっている少数のまっすぐな方向を残すので、大きな距離と全体の構造は残ります。残りの方向にあるものはすべて失われ、そのせいで別々の小さなグループが重なってつぶれてしまうことがあります。
UMAP の図はどう読めばいいですか?
どの点が互いの近くにあるかは信用してかまいません。密集したグループは、たいてい本当に何かを共有しています。クラスターの大きさやクラスター間の距離には注意してください。UMAP はそれらを確実には保ちません。結論を出す前に、点にカーソルを合わせて実際の単語を確かめましょう。
