CAPÍTULO 34 / 40
Las matemáticas de la adaptación de modelos
4 lecciones · Explora, experimenta y comprende.
DOJO PETTu pequeño compañero de código
DOJO / TU GUÍA
Aprendamos juntos.
Pregúntame sobre este curso o por dónde empezar.
Lecciones del capítulo
4 lecciones
- Paso 139~20m1Código · 16⚡Reto
Adaptación de bajo rango (LoRA): fine-tuning con matrices diminutas
Ajusta un modelo de mil millones de parámetros entrenando dos matrices delgadas por capa: la factorización de rango ΔW = BA convierte una ac…
Abrir lección - Paso 140~20m1Código · 15⚡Reto
Mezcla de expertos: las matemáticas del enrutamiento disperso
Un enrutador softmax convierte una red grande en un equipo de especialistas: el enrutamiento top-k desacopla el número de parámetros del cóm…
Abrir lección - Paso 141~15m1Código · 15⚡Reto
Destilación de conocimiento: temperatura, objetivos suaves y KL
Los casi-aciertos de un maestro grande codifican cómo se relacionan las clases. Sube la temperatura del softmax para exponer ese conocimient…
Abrir lección - Paso 142~20m1Código · 16⚡Reto
Leyes de escalado neuronal: leyes de potencia y entrenamiento óptimo en cómputo
La pérdida cae como ley de potencia en tamaño del modelo, datos y cómputo — una línea recta en ejes log-log. Una optimización con restriccio…
Abrir lección