6.5 Uso de criterios de información

La comparación y el promediado de modelos usan criterios de información para decidir qué modelos confiar y cómo combinar sus predicciones.

6.5.1 Comparación de modelos

La comparación de modelos pregunta: ¿qué modelo es el mejor? Comparamos el WAIC entre modelos y observamos las diferencias.

# Model comparison with AIC (as a proxy for WAIC)
set.seed(42)
n <- 100
x <- runif(n, 0, 10)
y <- 1 + 2 * x - 0.05 * x^2 + rnorm(n, sd = 2)

# Fit several models

m0 <- lm(y ~ 1) # intercept only
m1 <- lm(y ~ x) # linear
m2 <- lm(y ~ x + I(x^2)) # quadratic
m3 <- lm(y ~ poly(x, 3, raw = TRUE)) # cubic
m4 <- lm(y ~ poly(x, 5, raw = TRUE)) # degree 5

# Compare AIC

aics <- AIC(m0, m1, m2, m3, m4)
daic <- aics$AIC - min(aics$AIC)

cat("Model comparison (AIC):\n")
cat(sprintf("%-20s AIC = %8.2f dAIC = %7.2f\n",
rownames(aics), aics$AIC, daic))

Click Run to execute this code in your browser with WebR

6.5.2 Promediado de modelos

El promediado de modelos pregunta: ¿cómo combinamos predicciones de múltiples modelos? En lugar de elegir un solo modelo, ponderamos las predicciones por los pesos de Akaike:

$p(\tilde{y} \mid D) = \sum_{m} w_m \, p(\tilde{y} \mid D, m)$

Los pesos de Akaike son:

$w_m = \frac{\exp(-\frac{1}{2} \Delta \text{WAIC}_m)}{\sum_j \exp(-\frac{1}{2} \Delta \text{WAIC}_j)}$

# Model averaging with Akaike weights
set.seed(42)
n <- 100
x <- runif(n, 0, 10)
y <- 1 + 2 * x - 0.05 * x^2 + rnorm(n, sd = 2)

# Fit models

m1 <- lm(y ~ x)
m2 <- lm(y ~ x + I(x^2))
m3 <- lm(y ~ poly(x, 3, raw = TRUE))

# Compute AIC and Akaike weights

aics <- AIC(m1, m2, m3)
daic <- aics$AIC - min(aics$AIC)
weights <- exp(-0.5 _ daic) / sum(exp(-0.5 _ daic))

cat("Akaike weights:\n")
cat(sprintf(" Linear: weight = %.4f\n", weights[1]))
cat(sprintf(" Quadratic: weight = %.4f\n", weights[2]))
cat(sprintf(" Cubic: weight = %.4f\n", weights[3]))

# Averaged prediction at x = 5

x_new <- 5
pred1 <- predict(m1, data.frame(x = x_new))
pred2 <- predict(m2, data.frame(x = x_new))
pred3 <- predict(m3, data.frame(x = x_new))
pred_avg <- sum(weights * c(pred1, pred2, pred3))

cat(sprintf("\nPrediction at x = 5:\n"))
cat(sprintf(" Linear: %.3f\n", pred1))
cat(sprintf(" Quadratic: %.3f\n", pred2))
cat(sprintf(" Cubic: %.3f\n", pred3))
cat(sprintf(" Averaged: %.3f\n", pred_avg))

Click Run to execute this code in your browser with WebR

6.5.3 Cuándo comparar vs promediar

Comparación de modelos: Use cuando quiera entender qué variables importan (inferencia causal, comprensión científica).
Promediado de modelos: Use cuando quiera la mejor predicción (pronóstico, toma de decisiones).
Ambos: Use cuando múltiples modelos son plausibles y quiere dar cuenta de la incertidumbre del modelo.

Rethinking

Cuidado con la falsa dicotomía. La comparación y el promediado de modelos no son opuestos. Son complementarios. Compare modelos para entender qué variables importan y cuánta evidencia apoya cada modelo. Promedie modelos cuando necesite predicciones que den cuenta de la incertidumbre del modelo. La clave es reportar todos los modelos plausibles, no solo el "mejor". La ciencia progresa entendiendo el panorama completo de modelos, no eligiendo un ganador e ignorando el resto.

Resumen de la Sección 6.5

La comparación de modelos usa diferencias de WAIC para clasificar modelos.
El promediado de modelos combina predicciones ponderadas por pesos de Akaike.
Pesos de Akaike: $w_m = \exp(-\frac{1}{2} \Delta \text{WAIC}_m) / \sum_j \exp(-\frac{1}{2} \Delta \text{WAIC}_j)$ .
Use comparación para comprensión, promediado para predicción.
Reporte todos los modelos plausibles, no solo el "mejor".

Criterios de información

Resumen