1.2 Repensamiento estadístico

Una idea errónea común es que la ciencia avanza al falsar hipótesis. Pero una hipótesis no es un modelo, y un modelo no es una hipótesis. Falsar un modelo no es lo mismo que falsar la idea científica detrás de él. Esta sección aboga por un enfoque más humilde y matizado de la inferencia científica, uno que trata a los modelos como herramientas de trabajo en lugar de oráculos.

El mito de la falsación

Karl Popper argumentó que la ciencia avanza por falsación: no podemos probar que una teoría es verdadera, pero podemos probar que es falsa. Una teoría que sobrevive a muchos intentos de falsación está "corroborada". Esta es una filosofía atractiva, pero tiene un problema profundo cuando se aplica a modelos estadísticos.

El problema es que nunca probamos una hipótesis científica directamente. Probamos un modelo de la hipótesis — un procedimiento estadístico específico con supuestos específicos. Cuando el modelo falla, no podemos saber si la hipótesis es incorrecta o si el modelo es incorrecto. La hipótesis y el modelo son cosas diferentes.

Considere un ejemplo simple. Una científica plantea la hipótesis de que "las personas más altas ganan más". Para probar esto, construye una regresión lineal del ingreso sobre la altura. La regresión no es significativa. ¿Ha falsado la hipótesis?

No necesariamente. La regresión lineal hace muchos supuestos:

La relación es lineal.
Los errores están distribuidos normalmente.
No hay variables confusoras.
La muestra es representativa.

Si cualquiera de estos supuestos es incorrecto, el modelo puede fallar incluso si la hipótesis es verdadera. Quizás la relación es no lineal. Quizás los confusores como la educación o el género distorsionan la asociación. Quizás la muestra es demasiado pequeña. El fracaso del modelo no falsa la hipótesis — solo falsa el modelo.

$\text{model} \neq \text{hypothesis}, \quad \text{falsify model} \neq \text{falsify idea}$

Los modelos como herramientas, no verdades

La lección es que los modelos son herramientas, no verdades. Un modelo es un dispositivo provisional para razonar sobre el mundo. Cuando un modelo falla, no abandonamos la idea científica. Reparamos el modelo o construimos uno mejor.

Así es como la ciencia realmente funciona. La mecánica newtoniana fue "falsada" por la relatividad de Einstein, pero no abandonamos la idea de que las fuerzas causan aceleración. Construimos un modelo mejor. De manera similar, cuando un modelo estadístico falla, no debemos abandonar la hipótesis científica. Deberíamos preguntar: ¿qué estaba mal con el modelo? ¿Podemos arreglarlo?

# Demonstrate: the same hypothesis, two different models
# Hypothesis: taller people earn more
set.seed(42)
n <- 100
height <- rnorm(n, mean = 170, sd = 10)
# True relationship: nonlinear (diminishing returns)
income <- 1000 * sqrt(height - 150) + rnorm(n, sd = 200)

# Model 1: Linear regression (may fail to detect the relationship)

fit_linear <- lm(income ~ height)
p_linear <- summary(fit_linear)$coefficients[2, 4]
cat("Linear model p-value:", round(p_linear, 4), "\n")

# Model 2: Quadratic regression (better fit)

fit_quad <- lm(income ~ height + I(height^2))
p_quad <- summary(fit_quad)$coefficients[2, 4]
cat("Quadratic model p-value:", round(p_quad, 4), "\n")

# Plot both models

plot(height, income, pch = 16, col = "steelblue",
main = "Same hypothesis, different models",
xlab = "Height (cm)", ylab = "Income")
abline(fit_linear, lwd = 2, col = "firebrick")
curve(1000 * sqrt(x - 150), from = 151, to = 190,
add = TRUE, lwd = 2, col = "darkgreen")
legend("topleft",
legend = c("Data", "Linear model", "True relationship"),
col = c("steelblue", "firebrick", "darkgreen"),
pch = c(16, NA, NA), lty = c(NA, 1, 1), lwd = 2)

Click Run to execute this code in your browser with WebR

El modelo lineal puede no detectar la relación porque la verdadera relación es no lineal. El modelo cuadrático lo hace mejor. Pero ningún modelo nos dice si la hipótesis es verdadera — solo nos dicen si el modelo se ajusta a los datos. La hipótesis vive en un nivel superior de abstracción.

El problema de la prueba de significancia de hipótesis nula

La prueba de significancia de hipótesis nula (NHST) es el procedimiento estadístico dominante en muchos campos. Funciona así:

Definir una hipótesis nula ( $H_0$ ): usualmente "sin efecto" o "sin diferencia".
Calcular un estadístico de prueba a partir de los datos.
Calcular el valor $p$ : la probabilidad de observar un estadístico tan extremo como el nuestro, asumiendo que $H_0$ es verdadera.
Si $p < 0.05$ , rechazar $H_0$ . De lo contrario, no rechazar.

Este procedimiento tiene varios problemas profundos:

No prueba la hipótesis de interés. La hipótesis nula suele ser un hombre de paja. Nadie cree que el efecto sea exactamente cero. La pregunta interesante no es "¿hay algún efecto?" sino "¿qué tan grande es el efecto?"
Confunde significancia estadística con importancia práctica. Un efecto minúsculo puede ser estadísticamente significativo con una muestra grande. Un efecto grande puede no ser significativo con una muestra pequeña.
Fomenta el pensamiento binario. "Significativo" o "no significativo" descarta información. El valor $p$ real, y más importante aún el tamaño del efecto y su incertidumbre, son mucho más informativos.
No es una medida de evidencia. El valor $p$ no es la probabilidad de que $H_0$ sea verdadera. Es la probabilidad de los datos dado $H_0$ , lo cual es algo muy diferente.

# Demonstrate: statistical significance vs practical importance
# With a large enough sample, any tiny effect becomes "significant"
set.seed(42)

# Tiny true effect: 0.01 standard deviations

n <- 10000
x <- rnorm(n)
y <- 0.01 * x + rnorm(n)

fit <- lm(y ~ x)
p_val <- summary(fit)$coefficients[2, 4]
effect_size <- coef(fit)[2]

cat("Sample size:", n, "\n")
cat("Effect size:", round(effect_size, 4), "(tiny)\n")
cat("p-value:", round(p_val, 6), "\n")
cat("Significant?", ifelse(p_val < 0.05, "YES", "NO"), "\n")
cat("\nWith n = 10000, even a meaningless effect is 'significant'\n")
cat("The golem does not know the effect is trivially small\n")

Click Run to execute this code in your browser with WebR

¿Qué deberíamos hacer en su lugar?

En lugar de probar hipótesis nulas, deberíamos:

Estimar tamaños de efecto con su incertidumbre. La distribución a posteriori nos da el rango completo de valores plausibles.
Comparar modelos en lugar de probar una sola nula. Los criterios de información y la validación cruzada nos ayudan a elegir el modelo que predice mejor.
Usar información a priori formalmente. La inferencia bayesiana nos permite incorporar lo que ya sabemos.
Simular y verificar. Las comprobaciones predictivas a posteriori nos permiten ver si el modelo puede reproducir los patrones en los datos.

Este es el enfoque de este libro. No abole la prueba de hipótesis — la reemplaza con algo mejor.

Rethinking

La falsación no es incorrecta; es insuficiente. La filosofía de Popper es un ideal útil, pero rara vez es operativa en la práctica. La razón es que nunca probamos hipótesis directamente — probamos modelos de hipótesis. Cuando un modelo falla, no podemos saber si la hipótesis es incorrecta o si el modelo es incorrecto. La solución no es abandonar la falsación, sino abrazar la construcción de modelos como un proceso iterativo: especificar, ajustar, criticar, comparar y repetir. Este es el enfoque de ingeniería para la estadística.

Overthinking

La tesis de Duhem-Quine. El filósofo Pierre Duhem argumentó que una hipótesis científica nunca se prueba de forma aislada. Siempre se prueba junto con un paquete de supuestos auxiliares — el modelo, el procedimiento de medición, el procedimiento estadístico, la teoría de fondo. Cuando la prueba falla, no podemos saber qué parte del paquete es la culpable. Esta es la tesis de Duhem-Quine, y es el fundamento filosófico del argumento de esta sección.

En términos estadísticos, el "paquete" es el modelo: la verosimilitud, la distribución a priori, la función de enlace, las variables predictoras, la forma funcional. Cuando el modelo falla, cualquiera de estos componentes podría ser el culpable. El enfoque bayesiano ayuda porque hace que cada componente sea explícito y modificable. Podemos cambiar la distribución a priori, añadir un predictor o cambiar la función de enlace, y ver cómo cambia la distribución a posteriori. Esto es análisis de sensibilidad, y es la respuesta práctica al problema de Duhem-Quine.

Resumen de la Sección 1.2

Una hipótesis no es un modelo. Falsar un modelo no falsa la idea científica.
Los modelos son herramientas, no verdades. Cuando un modelo falla, lo reparamos o reemplazamos, no abandonamos la hipótesis.
NHST tiene problemas profundos: prueba nulas de hombre de paja, confunde significancia con importancia y fomenta el pensamiento binario.
En su lugar, deberíamos estimar tamaños de efecto, comparar modelos, usar información a priori y simular para verificar.
La tesis de Duhem-Quine explica por qué la falsación es insuficiente: las hipótesis siempre se prueban junto con supuestos auxiliares.

Golems estadísticos

Tres herramientas para la ingeniería de golems