2.5 Resumen

Capítulo 2 en revisión

El Capítulo 2 construyó la inferencia bayesiana desde cero, comenzando con el jardín de los datos que bifurcan — la idea de que la inferencia es contar caminos a través de un jardín de posibilidades. Cada observación descarta algunos caminos, y la posterior es proporcional al número de caminos que permanecen.

Luego aprendimos a construir un modelo a partir de tres ingredientes: una verosimilitud (la historia de los datos), parámetros (las incógnitas) y una distribución a priori (conocimiento previo a los datos). La posterior combina los tres:

$p(\theta \mid D) \propto p(D \mid \theta) \cdot p(\theta)$

Examinamos los componentes del modelo en detalle: la verosimilitud es una probabilidad sobre los datos (no sobre los parámetros), la distribución a priori es un modelo de conocimiento (no un sesgo), y los parámetros son índices de una familia de procesos (no verdades).

Finalmente, exploramos tres métodos para hacer que el modelo funcione: aproximación por malla (exacta pero lenta), aproximación cuadrática (rápida pero aproximada) y MCMC (flexible pero requiere diagnóstico).

El mundo pequeño y el mundo grande

El mundo pequeño es el mundo matemático autoconsistente del modelo. En el mundo pequeño, la posterior está bien definida, y los métodos que aprendimos pueden calcularla. El mundo grande es la realidad compleja que esperamos entender. El mundo grande no se preocupa por nuestro modelo — produce datos según sus propios procesos, que pueden o no coincidir con nuestros supuestos.

La inferencia bayesiana conecta el mundo pequeño y el mundo grande actualizando el mundo pequeño a la luz de datos del mundo grande. Pero el puente solo funciona si el mundo pequeño es una aproximación razonable del mundo grande. Por esto la crítica y comparación de modelos son esenciales — son las herramientas para verificar si el mundo pequeño es adecuado.

# Visualize the small world vs the large world
# Small world: our binomial model with p = 0.67
# Large world: the true data-generating process

set.seed(42)

# Small world: model predictions

p <- 0.67
n <- 9
model_predictions <- rbinom(1000, size = n, prob = p)

# Large world: true process (slightly different from our model)

# Maybe the globe is not uniform, or tosses are not independent

true_p <- 0.70
true_data <- rbinom(1000, size = n, prob = true_p)

# Compare

par(mfrow = c(1, 2))
hist(model_predictions, breaks = 0:9 + 0.5, col = rgb(0.27, 0.51, 0.71, 0.5),
main = "Small world: model predictions",
xlab = "Number of waters", ylim = c(0, 300))
hist(true_data, breaks = 0:9 + 0.5, col = rgb(0.8, 0.2, 0.2, 0.5),
main = "Large world: true process",
xlab = "Number of waters", ylim = c(0, 300))
par(mfrow = c(1, 1))

cat("Model mean:", round(mean(model_predictions), 3), "\n")
cat("True mean:", round(mean(true_data), 3), "\n")
cat("The small world is an approximation of the large world\n")

Fórmulas clave del Capítulo 2

• Teorema de Bayes: $p(\theta \mid D) = \frac{p(D \mid \theta) \cdot p(\theta)}{p(D)}$
• Aproximación por malla: $p(\theta_i \mid D) = \frac{p(D \mid \theta_i) \cdot p(\theta_i)}{\sum_j p(D \mid \theta_j) \cdot p(\theta_j)}$
• Aproximación cuadrática: $p(\theta \mid D) \approx \text{Normal}(\hat{\theta}, H^{-1})$
• Actualización secuencial: $p(\theta \mid d_1, \ldots, d_n) \propto \prod_{i=1}^n p(d_i \mid \theta) \cdot p(\theta)$
• Distribución a priori conjugada (binomial): $\text{Beta}(\alpha + w, \beta + n - w)$