Aprender

Entiende lo que estás viendo.

Cómo los modelos de lenguaje leen el texto, desde el primer paso hasta la siguiente palabra que escriben.

¿No sabes por dónde empezar? Empieza aquí

Fundamentos

Material de estudio general. Cada artículo explica bien una idea, como lo haría un buen capítulo de libro de texto.

  1. 01Tokens6 min de lectura

    Por qué los modelos leen tokens y no letras ni palabras

    El equilibrio entre letras, palabras y pedazos de palabra, y por qué todos los modelos modernos se quedaron con los pedazos, con los bytes como red de seguridad.

  2. 02Tokens6 min de lectura

    Cómo se construyen los tokenizadores: BPE, WordPiece y Unigram

    Paso a paso por byte-pair encoding, y en qué decisiones se distinguen WordPiece y Unigram.

  3. 03Tokens5 min de lectura

    Tokens más allá del texto: imágenes, audio y video

    Cómo los modelos multimodales cortan las imágenes en parches y el sonido en tramas para poder leerlos como palabras.

  4. 04Embeddings7 min de lectura

    ¿Qué son los embeddings?

    Convertir una palabra en una lista de números para que los significados parecidos queden cerca.

  5. 05Embeddings7 min de lectura

    El espacio latente: el significado oculto en los números

    Qué capturan las dimensiones de un embedding, por qué las direcciones llevan significado y qué no podemos leer directamente.

  6. 06Embeddings7 min de lectura

    Ver muchas dimensiones: PCA, t-SNE, UMAP y compañía

    Cómo aplastar cientos de dimensiones en 2 o 3, qué conserva cada método y qué desecha sin avisar.

  7. 07Transformers7 min de lectura

    La atención y el transformer, explicados desde cero

    Cómo cada token mira a los demás para actualizar su significado, y cómo apilar esa idea construye un transformer.

  8. 08Transformers5 min de lectura

    Del último vector a la siguiente palabra

    Logits, softmax, temperatura, top-k y top-p: cómo un modelo elige qué decir a continuación.

Guías del sitio

Recorridos rápidos de lo que muestra cada herramienta de WordCanvas3D, con enlaces a los fundamentos.

  1. Tokens4 min de lectura

    ¿Qué es un token y por qué no es una palabra?

    Cómo los tokenizadores cortan el texto en pedazos reutilizables, y por qué esos pedazos rara vez coinciden con las palabras.

    Va con: Tokenizador
  2. Tokens4 min de lectura

    Por qué los emoji y otros idiomas cuestan más tokens

    Bytes UTF-8, BPE a nivel de bytes y por qué el mismo saludo puede ocupar 4 tokens o 25.

    Va con: Tokenizador
  3. Embeddings4 min de lectura

    Cómo una palabra se convierte en 300 números

    Qué son los embeddings de palabras, cómo los aprenden GloVe, Word2Vec y FastText, y cómo se mide la similitud.

    Va con: Explorador de embeddings
  4. Embeddings4 min de lectura

    PCA vs UMAP: dos maneras de aplanar el significado

    Dos maneras de comprimir 300 dimensiones en 3, qué conserva cada una y cómo leer el resultado.

    Va con: Explorador de embeddings
  5. Vectores4 min de lectura

    King − man + woman, explicado

    Las analogías de palabras como aritmética de flechas: qué calcula el Laboratorio, por qué funciona y dónde falla.

    Va con: Laboratorio de vectores
Volver arriba