5.5 Mínimos cuadrados ordinarios y lm

Los mínimos cuadrados ordinarios (MCO) y la función lm proporcionan un enfoque frecuentista rápido y ampliamente usado para la regresión lineal. Esta sección muestra cómo el análogo bayesiano se relaciona con MCO y cuándo ambos enfoques coinciden.

5.5.1 El estimador MCO

El estimador MCO minimiza la suma de residuos al cuadrado:

$\hat{\beta}_{\text{MCO}} = (X^T X)^{-1} X^T y$

Esta es la estimación de máxima verosimilitud bajo el modelo Gaussiano. También es la moda a posteriori (MAP) cuando las distribuciones a priori son planas (uniformes).

# Demonstrate OLS and its Bayesian equivalent
set.seed(42)
n <- 100
x <- runif(n, 0, 10)
y <- 2 + 1.5 * x + rnorm(n, sd = 2)

# OLS fit

fit <- lm(y ~ x)
cat("OLS estimates:\n")
cat(" Intercept:", round(coef(fit)[1], 3), "\n")
cat(" Slope:", round(coef(fit)[2], 3), "\n")
cat(" Residual SD:", round(summary(fit)$sigma, 3), "\n")

# OLS as matrix computation

X <- cbind(1, x)
beta*ols <- solve(t(X) %*% X) %_% t(X) %*% y
cat("\nMatrix computation:\n")
cat(" Intercept:", round(beta_ols[1], 3), "\n")
cat(" Slope:", round(beta_ols[2], 3), "\n")

# They are identical

cat("\nBoth methods give the same answer.\n")

Click Run to execute this code in your browser with WebR

5.5.2 Bayesiano vs frecuentista

El modelo bayesiano con distribuciones a priori planas da las mismas estimaciones puntuales que MCO. La diferencia es que el modelo bayesiano también proporciona la distribución a posteriori completa, no solo estimaciones puntuales y errores estándar.

# Compare Bayesian (flat prior) with OLS
set.seed(42)
n <- 100
x <- runif(n, 0, 10)
y <- 2 + 1.5 * x + rnorm(n, sd = 2)

# OLS

fit <- lm(y ~ x)

# Bayesian posterior (flat prior = uniform)

# The posterior for (alpha, beta) is multivariate normal:

# (alpha, beta) ~ Normal(beta_OLS, sigma^2 * (X'X)^{-1})

library(MASS)
post <- mvrnorm(1e4, mu = coef(fit), Sigma = vcov(fit))

cat("Bayesian posterior (flat prior):\n")
cat(" alpha: mean =", round(mean(post[,1]), 3),
", 95% CI = [", round(quantile(post[,1], 0.025), 3), ",",
round(quantile(post[,1], 0.975), 3), "]\n")
cat(" beta: mean =", round(mean(post[,2]), 3),
", 95% CI = [", round(quantile(post[,2], 0.025), 3), ",",
round(quantile(post[,2], 0.975), 3), "]\n")

cat("\nOLS confidence intervals:\n")
conf <- confint(fit)
cat(" alpha: [", round(conf[1,1], 3), ",", round(conf[1,2], 3), "]\n")
cat(" beta: [", round(conf[2,1], 3), ",", round(conf[2,2], 3), "]\n")

cat("\nWith flat priors, Bayesian and frequentist intervals coincide.\n")

Click Run to execute this code in your browser with WebR

5.5.3 Cuándo importan las distribuciones a priori

Con distribuciones a priori informativas, el modelo bayesiano difiere de MCO. Las distribuciones a priori atraen las estimaciones hacia la media a priori, lo cual es especialmente útil con muestras pequeñas o predictores colineales.

Rethinking

MCO es un caso especial, no el valor por defecto. MCO es el modelo bayesiano con distribuciones a priori planas. Las distribuciones a priori planas no son "objetivas" — asignan el mismo peso a valores absurdos y razonables. En la mayoría de los casos, las distribuciones a priori débilmente informativas son mejores: regularizan las estimaciones y previenen el sobreajuste. La función lm es rápida y conveniente, pero es un caso especial del modelo bayesiano, no al revés.

Resumen de la Sección 5.5

MCO minimiza la suma de residuos al cuadrado: $\hat{\beta} = (X^T X)^{-1} X^T y$ .
MCO es la estimación MAP del modelo bayesiano con distribuciones a priori planas.
Con distribuciones a priori planas, los intervalos bayesianos y frecuentistas coinciden.
Las distribuciones a priori informativas hacen que el modelo bayesiano difiera de MCO, usualmente para mejorar.
MCO es un caso especial del modelo bayesiano, no el valor por defecto.

Variables categóricas

Resumen