Entiende lo que estás viendo.
Cómo los modelos de lenguaje leen el texto, desde el primer paso hasta la siguiente palabra que escriben.
¿No sabes por dónde empezar? Empieza aquí
Fundamentos
Material de estudio general. Cada artículo explica bien una idea, como lo haría un buen capítulo de libro de texto.
Por qué los modelos leen tokens y no letras ni palabras
El equilibrio entre letras, palabras y pedazos de palabra, y por qué todos los modelos modernos se quedaron con los pedazos, con los bytes como red de seguridad.
Cómo se construyen los tokenizadores: BPE, WordPiece y Unigram
Paso a paso por byte-pair encoding, y en qué decisiones se distinguen WordPiece y Unigram.
Tokens más allá del texto: imágenes, audio y video
Cómo los modelos multimodales cortan las imágenes en parches y el sonido en tramas para poder leerlos como palabras.
¿Qué son los embeddings?
Convertir una palabra en una lista de números para que los significados parecidos queden cerca.
El espacio latente: el significado oculto en los números
Qué capturan las dimensiones de un embedding, por qué las direcciones llevan significado y qué no podemos leer directamente.
Ver muchas dimensiones: PCA, t-SNE, UMAP y compañía
Cómo aplastar cientos de dimensiones en 2 o 3, qué conserva cada método y qué desecha sin avisar.
La atención y el transformer, explicados desde cero
Cómo cada token mira a los demás para actualizar su significado, y cómo apilar esa idea construye un transformer.
Del último vector a la siguiente palabra
Logits, softmax, temperatura, top-k y top-p: cómo un modelo elige qué decir a continuación.
Guías del sitio
Recorridos rápidos de lo que muestra cada herramienta de WordCanvas3D, con enlaces a los fundamentos.
¿Qué es un token y por qué no es una palabra?
Cómo los tokenizadores cortan el texto en pedazos reutilizables, y por qué esos pedazos rara vez coinciden con las palabras.
Va con: TokenizadorPor qué los emoji y otros idiomas cuestan más tokens
Bytes UTF-8, BPE a nivel de bytes y por qué el mismo saludo puede ocupar 4 tokens o 25.
Va con: TokenizadorCómo una palabra se convierte en 300 números
Qué son los embeddings de palabras, cómo los aprenden GloVe, Word2Vec y FastText, y cómo se mide la similitud.
Va con: Explorador de embeddingsPCA vs UMAP: dos maneras de aplanar el significado
Dos maneras de comprimir 300 dimensiones en 3, qué conserva cada una y cómo leer el resultado.
Va con: Explorador de embeddingsKing − man + woman, explicado
Las analogías de palabras como aritmética de flechas: qué calcula el Laboratorio, por qué funciona y dónde falla.
Va con: Laboratorio de vectores
