6.6 Resumen

Capítulo 6 en revisión

El Capítulo 6 introdujo la base teórico-informacional de la comparación de modelos. El sobreajuste es la enfermedad central, la regularización es la cura, y los criterios de información son el diagnóstico.

Cubrimos:

1. El problema con los parámetros (Sección 6.1): El sobreajuste ocurre cuando los modelos aprenden el ruido. El balance sesgo-varianza gobierna la complejidad del modelo.

2. Teoría de la información (Sección 6.2): La entropía, la divergencia KL y la log-verosimilitud esperada proporcionan el lenguaje para medir el rendimiento del modelo.

3. Regularización (Sección 6.3): Las distribuciones a priori actúan como regularizadores, encogiendo estimaciones hacia valores más simples y mejorando la predicción fuera de muestra.

4. Criterios de información (Sección 6.4): WAIC y PSIS estiman el rendimiento fuera de muestra sin salir de la muestra. WAIC penaliza el número efectivo de parámetros.

5. Uso de criterios de información (Sección 6.5): La comparación de modelos clasifica modelos; el promediado de modelos combina predicciones. Ambos deben usarse para reportar el panorama completo de modelos plausibles.

Fórmulas clave

• Entropía: $H(p) = -\sum p_i \log p_i$
• Divergencia KL: $D_{\text{KL}}(p \| q) = \sum p_i \log(p_i / q_i)$
• WAIC: $\text{WAIC} = -2(\text{lppd} - p_\text{WAIC})$
• Pesos de Akaike: $w_m = \exp(-\frac{1}{2} \Delta \text{WAIC}_m) / \sum_j \exp(-\frac{1}{2} \Delta \text{WAIC}_j)$