学ぶ

目の前のものを理解しよう。

言語モデルが文章を読むしくみを、最初のステップからモデルが書く次の単語まで。

どこから始めればいいかわからない?ここから始めよう

基礎

一般的な学習用の教材です。良い教科書の 1 章のように、各記事で 1 つの考え方をしっかり説明します。

  1. 01トークン6 分で読めます

    モデルが文字でも単語でもなくトークンを読む理由

    文字、単語、単語の断片のトレードオフと、現代のモデルがみな断片を選び、バイトをセーフティネットにした理由。

  2. 02トークン6 分で読めます

    トークナイザーの作り方:BPE、WordPiece、Unigram

    バイトペア符号化を一歩ずつたどり、WordPiece と Unigram がどう違う選び方をするかを見ます。

  3. 03トークン5 分で読めます

    テキスト以外のトークン:画像、音声、動画

    マルチモーダルモデルが画像をパッチに、音をフレームに切り分け、単語のように読めるようにする仕組み。

  4. 04埋め込み7 分で読めます

    埋め込みとは何か?

    単語を数値のリストに変え、意味の似たものが近くに集まるようにする仕組み。

  5. 05埋め込み7 分で読めます

    潜在空間:数値に隠れた意味

    埋め込みの次元が捉えているもの、方向が意味を持つ理由、そして直接は読み取れないもの。

  6. 06埋め込み7 分で読めます

    高次元を見る:PCA、t-SNE、UMAP など

    何百もの次元を 2 次元や 3 次元に押し縮める方法と、各手法が残すもの、こっそり捨てるもの。

  7. 07Transformer7 分で読めます

    アテンションと Transformer をゼロから解説

    各トークンが他のトークンを見て自分の意味を更新する仕組みと、それを積み重ねて Transformer ができるまで。

  8. 08Transformer5 分で読めます

    最後のベクトルから次の単語へ

    ロジット、ソフトマックス、温度、top-k、top-p:モデルが次に何を言うかを選ぶ仕組み。

サイトガイド

WordCanvas3D の各ツールで何が見えるのかを手短に紹介し、基礎の記事へのリンクも付けています。

  1. トークン4 分で読めます

    トークンとは何か、なぜ単語ではないのか?

    トークナイザーがテキストを使い回せる断片に切り分ける仕組みと、その断片が単語とめったに一致しない理由。

    関連ツール: トークナイザー
  2. トークン4 分で読めます

    絵文字や他の言語でトークンが多くかかる理由

    UTF-8 バイト、バイトレベル BPE、そして同じあいさつが 4 トークンにも 25 トークンにもなる理由。

    関連ツール: トークナイザー
  3. 埋め込み4 分で読めます

    単語が 300 個の数値になるまで

    単語埋め込みとは何か、GloVe、Word2Vec、FastText がそれをどう学習するか、そして類似度の測り方。

    関連ツール: 埋め込みエクスプローラー
  4. 埋め込み4 分で読めます

    PCA と UMAP:意味を平らにする 2 つの方法

    300 次元を 3 次元に押し縮める 2 つの方法と、それぞれが残すもの、結果の読み方。

    関連ツール: 埋め込みエクスプローラー
  5. ベクトル4 分で読めます

    King − man + woman を解説

    矢印の足し算としての単語の類推:プレイグラウンドが何を計算しているのか、なぜうまくいくのか、どこで破綻するのか。

    関連ツール: ベクトル・プレイグラウンド
トップに戻る