4.1 Por qué las distribuciones normales son normales

La distribución Gaussiana (normal) es la distribución de referencia natural para cantidades que son la suma de muchas contribuciones pequeñas e independientes. Esta sección explica por qué las distribuciones normales aparecen tan a menudo y por qué son un buen punto de partida para muchos modelos.

4.1.1 La distribución normal

La función de densidad de probabilidad de la distribución normal es:

$p(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$

donde $\mu$ es la media y $\sigma$ es la desviación estándar. La distribución normal es la distribución más común en estadística, y hay razones profundas para esto.

4.1.2 Normal por adición

El teorema del límite central (TLC) establece que la suma de muchas variables aleatorias independientes e idénticamente distribuidas se aproxima a una distribución normal, independientemente de la forma de las distribuciones individuales. Por esto las distribuciones normales aparecen tan a menudo en la naturaleza: muchas cantidades son la suma de muchos efectos pequeños.

# Demonstrate the central limit theorem
# Sum of 16 uniform random variables
set.seed(42)

# Generate 10,000 sums of 16 uniform(-1, 1) random variables

small_sums <- replicate(1e4, sum(runif(16, -1, 1)))

# Plot the histogram and overlay a normal distribution

hist(small_sums, breaks = 50, freq = FALSE, col = "steelblue", border = "white",
main = "Central limit theorem: sums of uniform variables",
xlab = "Sum of 16 uniform(-1,1) draws")
curve(dnorm(x, mean = mean(small_sums), sd = sd(small_sums)),
add = TRUE, lwd = 2, col = "firebrick")
legend("topright", legend = c("Sums", "Normal approximation"),
col = c("steelblue", "firebrick"), lty = c(NA, 1), lwd = c(NA, 2),
fill = c("steelblue", NA), border = c("white", NA))

cat("Mean of sums:", round(mean(small*sums), 4), "\n")
cat("SD of sums:", round(sd(small_sums), 4), "\n")
cat("Expected mean: 0 (sum of E[uniform(-1,1)] = 0)\n")
cat("Expected SD:", round(sqrt(16 * (1/3)), 4), "(sqrt(16 _ var(uniform(-1,1))))\n")

Click Run to execute this code in your browser with WebR

El histograma de sumas es aproximadamente normal, aunque las variables individuales son uniformes. Este es el teorema del límite central en acción. Cuantas más variables sumemos, más se acerca la distribución a la normal.

4.1.3 Normal por multiplicación

Las distribuciones normales también surgen de la multiplicación de muchos efectos pequeños e independientes. Si una cantidad es el producto de muchos factores positivos independientes, su logaritmo es la suma de muchos efectos pequeños, que es normal por el TLC. Por lo tanto, la cantidad misma es log-normal.

# Normal by multiplication: products of random variables
set.seed(42)

# Product of 12 uniform(0.5, 1.5) variables

# (each factor varies by +/- 50%)

products <- replicate(1e4, prod(runif(12, 0.5, 1.5)))

# The product is approximately log-normal

# log(product) should be approximately normal

log_products <- log(products)

par(mfrow = c(1, 2))
hist(products, breaks = 50, freq = FALSE, col = "steelblue", border = "white",
main = "Products of random variables", xlab = "Product")
hist(log_products, breaks = 50, freq = FALSE, col = "firebrick", border = "white",
main = "Log of products (approximately normal)", xlab = "log(product)")
curve(dnorm(x, mean = mean(log_products), sd = sd(log_products)),
add = TRUE, lwd = 2, col = "darkgreen")
par(mfrow = c(1, 1))

cat("Mean of log(products):", round(mean(log_products), 4), "\n")
cat("SD of log(products):", round(sd(log_products), 4), "\n")

Click Run to execute this code in your browser with WebR

4.1.4 Normal por log-multiplicación

La distribución log-normal es común en biología y economía. Muchas cantidades — estaturas, pesos, ingresos — son el producto de muchos factores pequeños, y sus logaritmos son aproximadamente normales.

# Log-normal distribution in nature
# Simulate height as the product of many genetic and environmental factors
set.seed(42)

# Each factor is a small positive deviation from 1

n*factors <- 100
factors <- matrix(runif(n_factors * 1e4, 0.97, 1.03), nrow = 1e4)
heights <- apply(factors, 1, prod) _ 178 # baseline 178 cm

par(mfrow = c(1, 2))
hist(heights, breaks = 50, freq = FALSE, col = "steelblue", border = "white",
main = "Simulated heights (product of factors)", xlab = "Height (cm)")
curve(dnorm(x, mean = mean(heights), sd = sd(heights)),
add = TRUE, lwd = 2, col = "firebrick")

hist(log(heights), breaks = 50, freq = FALSE, col = "firebrick", border = "white",
main = "Log heights (normal)", xlab = "log(height)")
curve(dnorm(x, mean = mean(log(heights)), sd = sd(log(heights))),
add = TRUE, lwd = 2, col = "darkgreen")
par(mfrow = c(1, 1))

cat("Mean height:", round(mean(heights), 2), "cm\n")
cat("SD height:", round(sd(heights), 2), "cm\n")
cat("The normal distribution is a good approximation\n")

Click Run to execute this code in your browser with WebR

4.1.5 Usando la distribución normal

La distribución normal no es una ley de la naturaleza. Es un excelente valor por defecto cuando no conocemos el proceso generador exacto. Las razones son:

Procesos aditivos: Muchas cantidades son sumas de efectos pequeños → normal por TLC.
Procesos multiplicativos: Muchas cantidades son productos de factores pequeños → log-normal, que es cercana a la normal para variaciones pequeñas.
Entropía máxima: La distribución normal es la distribución con máxima entropía dada una media y varianza fijas. Esto la convierte en la distribución menos informativa consistente con lo que sabemos.
Conveniencia matemática: La distribución normal tiene propiedades útiles que facilitan el cálculo.

Rethinking

La distribución normal es un valor por defecto, no una ley. El teorema del límite central explica por qué las distribuciones normales son comunes, pero no dice que todos los datos sean normales. Muchas distribuciones del mundo real son asimétricas, de colas pesadas o multimodales. La distribución normal es un punto de partida — un modelo simple y bien entendido que podemos refinar cuando los datos lo exijan. La clave es verificar el modelo con simulaciones predictivas a posteriori (Sección 3.3) y usar distribuciones más flexibles cuando sea necesario (Capítulos 9-11).

Overthinking

Derivación de entropía máxima. La distribución normal puede derivarse del principio de entropía máxima: entre todas las distribuciones con una media $\mu$ y varianza $\sigma^2$ dadas, la distribución normal tiene la entropía más alta (menos información). Esto significa que si solo conocemos la media y la varianza de una distribución, la normal es la elección menos sorprendente — añade los menos supuestos adicionales. La entropía de una distribución es:

$H(p) = -\int p(x) \log p(x) \, dx$

Maximizar $H(p)$ sujeto a $\int x \, p(x) \, dx = \mu$ y $\int (x-\mu)^2 \, p(x) \, dx = \sigma^2$ produce la distribución normal. Por esto la distribución normal es la distribución de máxima entropía para una media y varianza dadas, y por eso es la elección natural cuando solo conocemos la media y la varianza.

Resumen de la Sección 4.1

El teorema del límite central explica por qué las sumas de muchos efectos pequeños son normales.
La multiplicación de muchos factores pequeños produce distribuciones log-normales, que son cercanas a la normal para variaciones pequeñas.
La distribución normal es la distribución de máxima entropía para una media y varianza dadas.
Es un valor por defecto excelente cuando no conocemos el proceso generador exacto.
No es una ley de la naturaleza — siempre verifique el modelo con simulaciones predictivas a posteriori.

Práctica

Un lenguaje para describir modelos