2.3 Componentes del modelo

Un modelo bayesiano tiene tres componentes: la verosimilitud, los parámetros y la distribución a priori. Cada uno juega un papel distinto, y confundirlos lleva a errores comunes. En esta sección, examinamos cada componente en detalle y mostramos cómo trabajan juntos.

2.3.1 Variables

Las variables en un modelo bayesiano vienen en varios tipos:

• Variables observadas ($D$): Los datos que realmente recolectamos. Estas son fijas y conocidas.
• Variables no observadas ($\theta$): Los parámetros que queremos estimar. Estas son desconocidas y se describen mediante distribuciones de probabilidad.
• Cantidades derivadas: Funciones de los parámetros, como predicciones o valores ajustados. Estas heredan la incertidumbre de los parámetros.

La distinción clave es entre variables observadas y no observadas. Las variables observadas son fijas; las no observadas tienen distribuciones. La distribución a posteriori describe lo que sabemos sobre las variables no observadas después de ver los datos.

2.3.2 La verosimilitud

La función de verosimilitud $P(D \mid \theta)$ nos dice qué tan plausibles son los datos para cada valor de los parámetros. No es una distribución de probabilidad sobre $\theta$ — es una función de $\theta$ dado $D$ fijo.

Para el ejemplo del lanzamiento del globo, la verosimilitud es:

$P(D \mid p) = \binom{n}{w} p^w (1-p)^{n-w}$

donde $w$ es el número de aguas y $n$ es el número de lanzamientos. El coeficiente binomial $\binom{n}{w}$ cuenta el número de formas de organizar $w$ aguas entre $n$ lanzamientos.

# Visualize the likelihood as a function of p
# For 6 waters in 9 tosses
p_grid <- seq(0, 1, length.out = 200)
likelihood <- dbinom(6, size = 9, prob = p_grid)

plot(p_grid, likelihood, type = "l", lwd = 2, col = "steelblue",
xlab = "Proportion of water (p)",
ylab = "Likelihood P(D | p)",
main = "Likelihood function for globe tossing")
abline(v = 6/9, lty = 2, col = "firebrick")
text(0.72, max(likelihood) * 0.9, "MLE = 6/9", col = "firebrick", pos = 4)

La verosimilitud tiene su pico en $p = 6/9 \approx 0.667$, la estimación de máxima verosimilitud (MLE). Pero la verosimilitud no es una distribución de probabilidad sobre $p$ — no integra a 1. Para obtener una distribución de probabilidad, necesitamos la distribución a priori y el teorema de Bayes.

Un error común es tratar la verosimilitud como una probabilidad sobre los parámetros. No lo es. La verosimilitud es $P(D \mid \theta)$, una probabilidad sobre los datos dados los parámetros. La posterior $P(\theta \mid D)$ es la probabilidad sobre los parámetros dados los datos.

2.3.3 Parámetros

Los parámetros son las cantidades desconocidas que indexan el modelo. En el ejemplo del lanzamiento del globo, el único parámetro es $p$, la proporción de agua. En modelos más complejos, puede haber muchos parámetros:

• Parámetros de media ($\mu$): El valor esperado del resultado.
• Parámetros de escala ($\sigma$): La dispersión o variabilidad.
• Coeficientes de regresión ($\beta$): El efecto de los predictores.
• Componentes de varianza ($\sigma_\alpha$): La variabilidad de los efectos a nivel de grupo.

Los parámetros no son "la verdad". Son cantidades convenientes que indexan una familia de posibles procesos generadores de datos. Diferentes modelos pueden usar diferentes parametrizaciones del mismo proceso, y el valor "verdadero" del parámetro solo es significativo relativo a un modelo específico.

# Parameters in a simple normal model
# Model: y ~ Normal(mu, sigma)
# Parameters: mu (mean), sigma (standard deviation)

# Simulate some height data

set.seed(42)
heights <- rnorm(50, mean = 170, sd = 10)

# The parameters we want to estimate

cat("Sample mean (estimate of mu):", round(mean(heights), 2), "\n")
cat("Sample SD (estimate of sigma):", round(sd(heights), 2), "\n")
cat("True mu: 170, True sigma: 10\n")

# The likelihood surface for (mu, sigma) is a function of both parameters

# For a fixed sigma, the likelihood as a function of mu is:

mu_grid <- seq(160, 180, length.out = 100)
likelihood_mu <- sapply(mu_grid, function(m)
sum(dnorm(heights, mean = m, sd = sd(heights), log = TRUE)))

plot(mu_grid, exp(likelihood_mu - max(likelihood_mu)), type = "l", lwd = 2,
col = "steelblue", xlab = "mu", ylab = "Relative likelihood",
main = "Likelihood profile for mu (sigma fixed at sample SD)")
abline(v = mean(heights), lty = 2, col = "firebrick")

2.3.4 La distribución a priori

La distribución a priori $P(\theta)$ codifica lo que sabemos sobre los parámetros antes de ver los datos. Es un modelo de nuestro conocimiento previo a los datos, no un sesgo ni un prejuicio.

La distribución a priori puede ser:

• Informativa: Basada en estudios previos, teoría o conocimiento experto.
• Débilmente informativa: Restringe los parámetros a rangos razonables sin influir fuertemente en la posterior.
• Difusa (no informativa): Esparce la probabilidad ampliamente, dejando que los datos dominen.

La verosimilitud marginal (evidencia) es:

$P(D) = \int P(D \mid \theta) \cdot P(\theta) \, d\theta$

Esta integral promedia la verosimilitud sobre la distribución a priori, produciendo la probabilidad de los datos bajo el modelo. Usualmente es difícil de calcular analíticamente, por lo que trabajamos con la posterior no normalizada $P(D \mid \theta) \cdot P(\theta)$ y normalizamos numéricamente.

# Demonstrate the role of the prior
# Globe tossing: 6 waters in 9 tosses

p_grid <- seq(0, 1, length.out = 500)
likelihood <- dbinom(6, size = 9, prob = p_grid)

# Three different priors

priors <- list(
"Uniform" = rep(1, 500),
"Beta(2,2)" = dbeta(p_grid, 2, 2),
"Beta(10,10)" = dbeta(p_grid, 10, 10)
)

par(mfrow = c(1, 3))
for (name in names(priors)) {
prior <- priors[[name]]
post <- (likelihood _ prior) / sum(likelihood _ prior)

# Plot prior and posterior together

plot(p_grid, post / max(post), type = "l", lwd = 2, col = "steelblue",
xlab = "p", ylab = "Relative density",
main = name)
lines(p_grid, prior / max(prior), lwd = 2, col = "firebrick", lty = 2)
legend("topright", legend = c("Posterior", "Prior"),
col = c("steelblue", "firebrick"), lty = c(1, 2), lwd = 2, cex = 0.7)
}
par(mfrow = c(1, 1))

2.3.5 Poniéndolo todo junto

El modelo bayesiano completo para el ejemplo del lanzamiento del globo puede escribirse como:

$y_i \sim \text{Binomial}(n, p)$ $p \sim \text{Uniform}(0, 1)$

La primera línea es la verosimilitud: cada observación $y_i$ se extrae de una distribución binomial con parámetros $n$ y $p$. La segunda línea es la distribución a priori: $p$ se extrae de una distribución uniforme en $[0, 1]$.

Esta notación, llamada la fórmula del modelo, es la forma estándar de especificar modelos bayesianos. La usaremos a lo largo del libro.

Resumen de la Sección 2.3

• Un modelo bayesiano tiene tres componentes: verosimilitud, parámetros y distribución a priori.
• La verosimilitud $P(D \mid \theta)$ es una probabilidad sobre los datos, no sobre los parámetros.
• Los parámetros son cantidades desconocidas que indexan el modelo; no son "la verdad".
• La distribución a priori $P(\theta)$ codifica el conocimiento previo a los datos; es un modelo, no un sesgo.
• La evidencia $P(D)$ normaliza la posterior pero a menudo se calcula numéricamente.
• La notación de fórmula del modelo ($y \sim \text{Binomial}(n, p)$, $p \sim \text{Uniform}(0,1)$) es la forma estándar de especificar modelos bayesianos.