9.4 Resumen

Capítulo 9 en revisión

El Capítulo 9 conectó la entropía máxima con los modelos lineales generalizados. El principio de entropía máxima justifica la elección de la verosimilitud, y la función de enlace extiende el modelo lineal a resultados no gaussianos.

Cubrimos:

1. Entropía máxima (Sección 9.1): La distribución menos informativa consistente con las restricciones conocidas. Gaussiana para continuo (media, varianza), binomial para binario (conteo esperado), Poisson para conteos (tasa esperada).

2. Modelos lineales generalizados (Sección 9.2): $g(E[y_i]) = \alpha + \beta x_i$. La función de enlace une el predictor lineal con la escala natural del resultado. Logit para binario, log para conteos, identidad para continuo.

3. Distribuciones a priori de entropía máxima (Sección 9.3): Distribuciones a priori que codifican solo lo que sabemos. Uniforme para rango conocido, exponencial para media conocida, gaussiana para media y varianza conocidas.

Fórmulas clave

• Entropía: $H(p) = -\sum p_i \log p_i$
• GLM: $g(\mathbb{E}[y_i]) = \alpha + \beta x_i$
• Enlace logit: $\log\frac{p_i}{1-p_i} = \alpha + \beta x_i$
• Enlace log: $\log(\lambda_i) = \alpha + \beta x_i$
• Función logística: $p_i = \frac{1}{1 + e^{-(\alpha + \beta x_i)}}$

Lecciones clave

• La elección de la verosimilitud no es arbitraria — es la distribución de entropía máxima para el tipo de resultado.
• La función de enlace une el predictor lineal con la escala natural del resultado.
• Las distribuciones a priori deben codificar lo que sabemos — la entropía máxima es la línea base para la ignorancia.
• Los GLM son una generalización natural del modelo lineal, no una colección de trucos ad hoc.