11.3 Resultados sobredispersos

La sobredispersión ocurre cuando la varianza observada excede lo que la distribución nominal permite. Las mezclas beta-binomial y gamma-Poisson añaden un parámetro de dispersión para absorber esta variación extra.

11.3.1 Beta-binomial

El modelo beta-binomial añade dispersión a la binomial permitiendo que la probabilidad varíe:

$p_i \sim \text{Beta}(\bar{p} \theta, (1-\bar{p})\theta)$ $y_i \sim \text{Binomial}(n_i, p_i)$

La varianza es:

$\text{Var}(y_i) = n_i \bar{p}_i (1 - \bar{p}_i) \left(1 + \frac{n_i - 1}{\theta + 1}\right)$

Cuando $\theta \to \infty$ , el modelo se reduce a binomial. Menor $\theta$ significa más sobredispersión.

# Beta-binomial: simulate and compare with binomial
set.seed(42)
n <- 50
n_trials <- 20

# True probability varies by group (overdispersion)

p_true <- rbeta(n, 2, 3) # varies around mean ~0.4
y <- rbinom(n, n_trials, p_true)

# Binomial model (ignores overdispersion)

m_binom <- glm(cbind(y, n_trials - y) ~ 1, family = binomial)

cat("Binomial model:\n")
cat(" Estimated p:", round(plogis(coef(m*binom)[1]), 3), "\n")
cat(" Mean of y/n:", round(mean(y / n_trials), 3), "\n")
cat(" Var of y/n:", round(var(y / n_trials), 5), "\n")
cat(" Binomial var (np(1-p)):", round(n_trials * mean(y/n*trials) * (1 - mean(y/n_trials)), 3), "\n")

cat("\nOverdispersion:\n")
cat(" Observed variance > binomial variance\n")
cat(" The beta-binomial would absorb this extra variation.\n")

# Plot

hist(y / n_trials, breaks = 10, col = "steelblue",
main = "Beta-binomial: overdispersed proportions",
xlab = "y / n_trials")

Click Run to execute this code in your browser with WebR

11.3.2 Gamma-Poisson (binomial negativa)

La gamma-Poisson (equivalente a la binomial negativa) añade dispersión a la Poisson permitiendo que la tasa varíe:

$\lambda_i \sim \text{Gamma}\left(\frac{\mu_i}{\phi}, \frac{1}{\phi}\right)$ $y_i \sim \text{Poisson}(\lambda_i)$

La varianza es:

$\text{Var}(y_i) = \mu_i + \frac{\mu_i^2}{\phi}$

# Gamma-Poisson (negative binomial): overdispersed counts
set.seed(42)
n <- 100
x <- runif(n, 0, 10)

# Overdispersed: rate varies with Gamma

mu <- exp(0.5 + 0.2 * x)
phi <- 3 # dispersion parameter (smaller = more overdispersion)
lambda <- rgamma(n, shape = mu / phi, rate = 1 / phi)
y <- rpois(n, lambda)

# Poisson (wrong)

m_pois <- glm(y ~ x, family = poisson)

# Negative binomial (correct)

library(MASS)
m_nb <- glm.nb(y ~ x)

cat("Poisson vs Gamma-Poisson (NegBin):\n")
cat(" Poisson: intercept =", round(coef(m_pois)[1], 3),
" slope =", round(coef(m_pois)[2], 3), "\n")
cat(" NegBin: intercept =", round(coef(m_nb)[1], 3),
" slope =", round(coef(m_nb)[2], 3), "\n")
cat(" NegBin theta:", round(m_nb$theta, 2), "(dispersion parameter)\n")

cat("\n AIC comparison:\n")
cat(" Poisson:", round(AIC(m_pois), 1), "\n")
cat(" NegBin: ", round(AIC(m_nb), 1), "\n")

# Check overdispersion

cat("\n Mean:", round(mean(y), 2), " Variance:", round(var(y), 2), "\n")
cat(" Var/Mean ratio:", round(var(y) / mean(y), 2), "(>>1 = overdispersed)\n")

Click Run to execute this code in your browser with WebR

11.3.3 Cuándo usar modelos de mezcla

Beta-binomial: Cuando los datos binomiales están sobredispersados (ej., datos binarios agrupados, probabilidades variables).
Gamma-Poisson: Cuando los datos de conteo están sobredispersados (varianza > media).
Ambos: Cuando las observaciones están agrupadas o tienen heterogeneidad no observada.

Rethinking

La sobredispersión es heterogeneidad no observada. Cuando la varianza excede lo que la distribución nominal permite, significa que hay variación no observada entre observaciones. Cada observación tiene su propia probabilidad o tasa, pero no la observamos. Los modelos beta-binomial y gamma-Poisson absorben esta variación añadiendo una distribución sobre el parámetro. Esto no es un truco — es una forma principiada de modelar heterogeneidad. El parámetro de dispersión nos dice cuánta heterogeneidad hay. En el Capítulo 12, veremos que los modelos multinivel hacen lo mismo, pero con estructura de agrupación observada.

Overthinking

Mezclas continuas y la familia exponencial. La beta-binomial y la gamma-Poisson son mezclas continuas — integran sobre una distribución en el parámetro. Esto hace que ya no sean miembros de la familia exponencial, lo que significa que no tienen las mismas propiedades convenientes (estadísticos suficientes, distribuciones a priori conjugadas). Pero son más realistas. La conexión con los modelos multinivel es directa: un modelo multinivel es una mezcla donde la distribución de mezcla es sobre parámetros de nivel de grupo. La beta-binomial es un modelo multinivel donde cada observación es su propio grupo.

Resumen de la Sección 11.3

Beta-binomial: añade dispersión a la binomial vía una distribución Beta sobre $p$ .
Gamma-Poisson (binomial negativa): añade dispersión a la Poisson vía una distribución Gamma sobre $\lambda$ .
La varianza excede la nominal: $\text{Var}(y) = \mu + \mu^2/\phi$ para gamma-Poisson.
Sobredispersión = heterogeneidad no observada — el parámetro de dispersión la mide.
Estas son mezclas continuas, conectando directamente con los modelos multinivel (Capítulo 12).

Resultados con inflación de ceros

Resumen