目の前のものを理解しよう。
言語モデルが文章を読むしくみを、最初のステップからモデルが書く次の単語まで。
どこから始めればいいかわからない?ここから始めよう
基礎
一般的な学習用の教材です。良い教科書の 1 章のように、各記事で 1 つの考え方をしっかり説明します。
モデルが文字でも単語でもなくトークンを読む理由
文字、単語、単語の断片のトレードオフと、現代のモデルがみな断片を選び、バイトをセーフティネットにした理由。
トークナイザーの作り方:BPE、WordPiece、Unigram
バイトペア符号化を一歩ずつたどり、WordPiece と Unigram がどう違う選び方をするかを見ます。
テキスト以外のトークン:画像、音声、動画
マルチモーダルモデルが画像をパッチに、音をフレームに切り分け、単語のように読めるようにする仕組み。
埋め込みとは何か?
単語を数値のリストに変え、意味の似たものが近くに集まるようにする仕組み。
潜在空間:数値に隠れた意味
埋め込みの次元が捉えているもの、方向が意味を持つ理由、そして直接は読み取れないもの。
高次元を見る:PCA、t-SNE、UMAP など
何百もの次元を 2 次元や 3 次元に押し縮める方法と、各手法が残すもの、こっそり捨てるもの。
アテンションと Transformer をゼロから解説
各トークンが他のトークンを見て自分の意味を更新する仕組みと、それを積み重ねて Transformer ができるまで。
最後のベクトルから次の単語へ
ロジット、ソフトマックス、温度、top-k、top-p:モデルが次に何を言うかを選ぶ仕組み。
サイトガイド
WordCanvas3D の各ツールで何が見えるのかを手短に紹介し、基礎の記事へのリンクも付けています。
トークンとは何か、なぜ単語ではないのか?
トークナイザーがテキストを使い回せる断片に切り分ける仕組みと、その断片が単語とめったに一致しない理由。
関連ツール: トークナイザー絵文字や他の言語でトークンが多くかかる理由
UTF-8 バイト、バイトレベル BPE、そして同じあいさつが 4 トークンにも 25 トークンにもなる理由。
関連ツール: トークナイザー単語が 300 個の数値になるまで
単語埋め込みとは何か、GloVe、Word2Vec、FastText がそれをどう学習するか、そして類似度の測り方。
関連ツール: 埋め込みエクスプローラーPCA と UMAP:意味を平らにする 2 つの方法
300 次元を 3 次元に押し縮める 2 つの方法と、それぞれが残すもの、結果の読み方。
関連ツール: 埋め込みエクスプローラーKing − man + woman を解説
矢印の足し算としての単語の類推:プレイグラウンドが何を計算しているのか、なぜうまくいくのか、どこで破綻するのか。
関連ツール: ベクトル・プレイグラウンド
