CAPÍTULO 18 / 40
Teoría de la información
3 lecciones · Explora, experimenta y comprende.
DOJO PETTu pequeño compañero de código
DOJO / TU GUÍA
Aprendamos juntos.
Pregúntame sobre este curso o por dónde empezar.
Lecciones del capítulo
3 lecciones
Por qué importa en ML
Entropía, cross-entropy y KL son las pérdidas dentro de todo clasificador y los regularizadores dentro de todo VAE — la teoría de la información mide la 'equivocación'.
- cross-entropy loss
- KL divergence
- InfoNCE
- Paso 83~10m13
Entropía y sorpresa
La entropía de Shannon convierte una distribución de probabilidad en un único número que cuantifica su imprevisibilidad — los bits promedio…
Abrir lección - Paso 84~10m13
Cross-Entropy y divergencia KL
La entropía cruzada y la divergencia KL miden 'cuán equivocada' está una distribución estimada — son las funciones de pérdida detrás de casi…
Abrir lección - Paso 85~10m13
Información mutua
La información mutua mide cuánto reduce conocer una variable la incertidumbre sobre otra — la respuesta rigurosa a '¿sirve esta feature?'.
Abrir lección