Actividad 2. VISUALIZACION LLM

Objetivo general

Comprender, mediante la visualización interactiva, todo el flujo de inferencia de un LLM —desde la tokenización hasta la conversión de logits en probabilidades— y explicarlo con sus propias palabras, aplicándolo a la predicción de la siguiente palabra.

Instrucciones paso a paso

1. Abre la visualización: https://bbycroft.net/llm

2. Tokenización

• Observa cómo el texto se divide en tokens (números/fragmentos).

• ✅ Anota: ¿alguna palabra se partió en sub-palabras (subtokens)?

3. Embeddings

• Identifica dónde se muestran los embeddings (vectores) de cada token.

• ✅ Nota: aunque los valores no se entiendan “a ojo”, cada token se convirtió en un vector y además se le añadió posición (positional embedding).

4. Capas Transformer

• Revisa el paso por las capas (bloques).

• ✅ Ubica la sección de Self-Attention (atención). Suele verse como líneas/conexiones o mapas de calor.

5. Self-Attention (intuición)

• Piensa: para predecir la siguiente palabra después de “Margarita te voy a contar un”, ¿a qué tokens debería “mirar” el modelo? (pista: “voy”, “a”, “contar”).

• ✅ Escribe dos tokens que crees que reciben más atención.

6. Residual / Skip connections

• Observa que hay sumas de entradas y salidas (residuos).

• ✅ Anota por qué esto ayuda: (a) no perder información, (b) estabilizar el flujo.

7. Proyección a vocabulario

• Al final, el modelo transforma el vector en logits para todas las palabras del vocabulario.

• ✅ Idea clave: todavía no son probabilidades.

8. Softmax (probabilidades)

• Fíjate cómo los logits se convierten en probabilidades.

• ✅ Anota el concepto: “softmax convierte puntajes en una distribución que suma 1”.

11. Reflexión corta (3 preguntas, responde en tu cuaderno)

• ¿Los tokens siempre coinciden con palabras completas?

• ¿Por qué el positional embedding es necesario?

• ¿En qué parte “decide” el modelo qué mirar para predecir lo siguiente?