Contraste de hipótesis y significación

Un backtest escupe un número: vuestra estrategia ganó de media un 0,4% al mes. Glorioso, salvo que un mono lanzando monedas también arrojaría alguna media, y a veces una halagadora, por pura suerte. Todo el trabajo del contraste de hipótesis consiste en interponerse entre vosotros y ese mono: os obliga a responder una pregunta despiadada antes de celebrar nada. Si mi ventaja fuera en realidad cero, ¿con qué frecuencia el puro ruido me entregaría un resultado tan bueno como este? Si la respuesta es «constantemente», no habéis descubierto nada. Si es «casi nunca», quizá —quizá— tengáis algo real.

Este es el broche del curso de estadística. Todo lo anterior —las distribuciones, la normal, la esperanza y la varianza, el error estándar y el Teorema Central del Límite— construía la maquinaria que ahora apuntaréis a una única pregunta que define carreras: ¿es esta ventaja real, o es suerte?

La lógica del contraste: no asumas nada, luego busca la sorpresa

Analogía. Un contraste de hipótesis es un juicio. El acusado —la ventaja de vuestra estrategia— se presume inocente de tener efecto alguno. «Inocente» aquí significa que la ventaja verdadera es cero; esa presunción es la hipótesis nula $H_0$. La acusación, la hipótesis alternativa $H_1$, sostiene que sí hay efecto. No podéis declarar la culpabilidad porque la estrategia «parezca rentable». Solo condenáis si la evidencia es tan improbable bajo la inocencia que «fue solo suerte» deja de ser creíble.

Definiciones.

• Hipótesis nula $H_0$ — la base aburrida de no-efecto. Para una estrategia: el rendimiento medio verdadero es $0$. Para un coeficiente de regresión: la pendiente verdadera es $0$. La asumimos cierta e intentamos ponerla en evidencia.
• Hipótesis alternativa $H_1$ — la afirmación interesante de que sí hay efecto (media $\neq 0$, pendiente $\neq 0$). Una $H_1$ bilateral dice «distinta de cero en cualquier dirección»; una $H_1$ unilateral dice «específicamente mayor que cero» (o específicamente menor).

La asimetría es la clave de todo. Nunca demostramos $H_1$; solo rechazamos $H_0$ cuando los datos son demasiado sorprendentes para encajar con ella, o no la rechazamos cuando no lo son. «No rechazar» es una absolución, no una declaración de inocencia: la ausencia de evidencia no es evidencia de ausencia.

El estadístico de contraste y el contraste t: convertir una ventaja en una z-distancia

Analogía. Las medias en bruto no son comparables: una ventaja mensual del 0,4% es impresionante para un fondo de bonos adormilado y trivial para una estrategia cripto salvaje, porque el ruido difiere. Un estadístico de contraste reescala la ventaja a una unidad universal: ¿a cuántos errores estándar de cero está? Es la idea del z-score de la lección de la distribución normal, aplicada a un estimador en lugar de a una sola observación.

Definición. Para una muestra de $n$ rendimientos con media $\bar{x}$ y desviación típica $s$, recordad de la lección de muestreo que el error estándar de la media es $\mathrm{SE} = s / \sqrt{n}$. El estadístico t para contrastar $H_0:\ \mu = 0$ es

En palabras: la ventaja, medida en errores estándar. Un $|t|$ grande significa que el estimador se sitúa muy lejos en la cola de la distribución de «no-efecto»: los datos sorprenden si $H_0$ es cierta. Por el Teorema Central del Límite, para un tamaño muestral decente $\bar{x}$ es aproximadamente normal, así que $t$ se comporta como una normal estándar (la distribución t que le da nombre solo añade colas algo más gruesas para $n$ pequeño). Una regla rápida: $|t| > 2$ es el umbral clásico de «significativo a aproximadamente el 5%».

Ejemplo resuelto. Una estrategia tiene un rendimiento medio mensual de $\bar{x} = 0,8\%$ con una desviación típica mensual de $s = 4\%$, medida sobre $n = 36$ meses.

Un estadístico t de $1,20$ está por debajo de $2$: la ventaja apenas dista más de un error estándar de cero. Veredicto: no significativo. Con este ruido mes a mes y solo tres años de datos, una media del 0,8% es lo que la suerte produce de forma rutinaria. Ahora mirad qué hace más datos: mantened el mismo $\bar{x}$ y $s$ pero estirad a $n = 144$ meses (12 años). Entonces $\mathrm{SE} = 4\%/12 = 0,333\%$ y $t = 0,8\%/0,333\% = 2,40$ —ahora sí significativo—. La ventaja no cambió; el error estándar encogió porque $n$ creció. Ese $\sqrt{n}$ del denominador hace todo el trabajo.

El p-valor: la probabilidad de datos tan extremos, bajo la nula

Analogía. El p-valor es vuestro medidor de sorpresa. Poned en marcha la máquina asumiendo que la nula es cierta y leed: ¿con qué frecuencia el puro ruido produciría un resultado al menos tan extremo como el que realmente obtuve? Un p-valor minúsculo significa «el ruido básicamente nunca hace esto»: evidencia fuerte contra la nula. Un p-valor grande significa «el ruido hace esto constantemente»: un encogimiento de hombros.

Definición. El p-valor es la probabilidad, calculada asumiendo que $H_0$ es cierta, de observar un estadístico de contraste al menos tan extremo como el que obtuvisteis. Lo comparáis con un nivel de significación $\alpha$ elegido de antemano (el umbral que aceptaréis para gritar «¡real!», convencionalmente $0,05$):

• Si $p \leq \alpha$: rechazad $H_0$ — llamad al resultado estadísticamente significativo.
• Si $p > \alpha$: no rechacéis $H_0$.

Un estadístico t de $2,0$ corresponde a un $p \approx 0,046$ bilateral; un estadístico t de $1,20$ (nuestro primer ejemplo resuelto) a un $p \approx 0,23$ —es decir, el ruido reproduciría esa «ventaja» alrededor del 23% de las veces—. Por supuesto que no era significativo.

Una segunda trampa, más sutil: la significación estadística es un veredicto de sí/no a vuestro $\alpha$ elegido, no una medida del tamaño del efecto. Una ventaja microscópica e inútil puede ser «altamente significativa» con suficientes datos, y una ventaja enorme y valiosa puede ser «no significativa» con muy pocos. El p-valor responde «¿es distinguible de cero?», nunca «¿es grande?».

Errores de tipo I y tipo II, y la potencia para distinguirlos

Analogía. De vuelta al juicio: dos formas de arruinar el veredicto. Condenar a un acusado inocente (declarar una ventaja que no existe) —un error de tipo I, un falso positivo—. O absolver a uno culpable (no detectar una ventaja real) —un error de tipo II, un falso negativo—. No podéis llevar ambos a cero a la vez: un jurado que nunca condena a un inocente también deja escapar a más culpables.

Definiciones.

• Error de tipo I (falso positivo), tasa $\alpha$ — rechazar $H_0$ cuando en realidad es cierta. «Encontrasteis» una ventaja que es puro ruido. Vosotros fijáis esta tasa: elegir $\alpha = 0,05$ significa aceptar una tasa de falsos positivos del 5% por contraste.
• Error de tipo II (falso negativo), tasa $\beta$ — no rechazar $H_0$ cuando en realidad $H_1$ es cierta. Una ventaja real se coló sin detectarse.
• Potencia estadística $= 1 - \beta$ — la probabilidad de detectar correctamente un efecto real. Potencia alta = un contraste sensible que rara vez pierde ventajas genuinas.

El compromiso. Apretad $\alpha$ (exigid más prueba antes de condenar —digamos $\alpha = 0,01$) y reducís los falsos positivos, pero también hacéis más difícil detectar efectos reales, así que $\beta$ sube y la potencia cae. La cura para ambos es la misma palanca de las dos últimas lecciones: más datos. Un $n$ mayor encoge el error estándar, lo que afina toda la máquina —podéis mantener $\alpha$ baja y ganar potencia—. No hay almuerzo gratis salvo el tamaño muestral.

La trampa financiera: data snooping, p-hacking y sobreajuste del backtest

Analogía. Comprad un boleto de lotería y ganar es un milagro. Comprad un millón de boletos y alguno gana, pero ese ganador no tiene habilidad, solo está seleccionado. Contrastad una estrategia a $\alpha = 0,05$ y un falso positivo es una casualidad de 1 entre 20. Contrastad 1.000 estrategias sobre los mismos datos y, por pura suerte, unas 50 superarán el listón del 5% sin ventaja real alguna. Escoged la de mejor aspecto, publicad su glorioso backtest y habréis «descubierto» ruido. Esto es el data snooping —y es el error más letal de las finanzas cuantitativas—.

El mecanismo. Cada contraste tiene una tasa de falsos positivos del 5% en aislamiento. Pero la significación nunca se diseñó para sobrevivir a ejecutarse mil veces reportando solo al ganador. La probabilidad de que al menos uno de $m$ contrastes independientes de nula cierta dispare un falso positivo es $1 - (1 - \alpha)^m$. Para $\alpha = 0,05$:

A los 50 intentos es un cara o cruz en vuestra contra; a los 1.000, un descubrimiento falso está esencialmente garantizado. Por eso un único backtest deslumbrante, divorciado del recuento de cuántas estrategias se probaron para encontrarlo, es evidencia casi inservible. La misma enfermedad lleva otros nombres: p-hacking (retocar la regla, la ventana, el universo hasta que $p$ se cuela bajo $0,05$) y sobreajuste del backtest (añadir parámetros hasta que la estrategia memoriza el ruido del histórico).

Las defensas. El arreglo consiste en hacer el listón más difícil cuanto más buscasteis. La corrección Bonferroni, tosca pero honesta, divide vuestro umbral por el número de contrastes: contrastando $m$ estrategias, exigid $p \leq \alpha/m$ para cada una (de modo que $1.000$ estrategias a un $5\%$ global significan que cada una debe superar $p \leq 0,00005$ —un estadístico t cerca de $4$, no de $2$—). Los profesionales también usan el ratio de Sharpe deflactado, que descuenta el Sharpe de una estrategia por el número de intentos que costó encontrarla y por rendimientos no normales, e insisten en la validación fuera de muestra: reservar datos que la estrategia nunca vio, porque el ruido memorizado en muestra no reaparecerá fuera de muestra.

La significación no es relevancia económica

Analogía. Una báscula de baño lo bastante precisa para detectar un solo grano de arroz puede demostrar que ganasteis peso tras un estornudo —un cambio real y estadísticamente significativo sobre el que nadie actuaría jamás—. En los mercados, una ventaja minúscula puede ser inequívocamente real y aun así absolutamente inútil, porque el mercado cobra entrada: los diferenciales de compra-venta, las comisiones, el deslizamiento y el impacto de mercado descreman el rendimiento antes de que llegue a vuestro bolsillo.

La clave. La significación estadística responde «¿es esta ventaja distinguible de cero?». La relevancia económica responde una pregunta completamente distinta: «¿lo que queda tras los costes de operar merece la pena operarlo?». Con suficientes datos, una ventaja mensual del $0,01\%$ puede arrojar un estadístico t de $5$ —significación a prueba de balas— y aun así desvanecerse en el instante en que restáis un coste de ida y vuelta del $0,05\%$. Significativa, y neta-negativa.

Ejemplo resuelto. Una señal de alta rotación gana una ventaja bruta del $0,04\%$ por operación, establecida sobre una muestra enorme con un estadístico t de $6$ —tan estadísticamente real como la evidencia puede llegar a ser—.

La ventaja es real, significativa, y pierde dinero en cada operación una vez muerden los costes. Un profesional que se detiene en el p-valor despacha una estrategia estadísticamente impecable y financieramente suicida. Ejecutad siempre el segundo contraste: significativa, vale —pero ¿sobrevive a los costes, la capacidad y la rotación?

Juntándolo todo

El contraste de hipótesis es la disciplina que separa una ventaja de una casualidad. Asumid la nula (no hay efecto), reescalad vuestro estimador a un estadístico t ($t = \bar{x}/\mathrm{SE}$) y leed un p-valor: con qué frecuencia el ruido solo fingiría un resultado tan extremo. Rechazad la nula solo cuando ese p supere vuestro $\alpha$ —sin confundir nunca el p-valor con la probabilidad de que la nula sea cierta—. Respetad el compromiso $\alpha/\beta$ y perseguid la potencia con más datos. Luego sobrevivid a los dos retos específicos de las finanzas: el data snooping —corregid por cada estrategia que probasteis, porque 1.000 contrastes engendran ~50 «descubrimientos» afortunados— y la relevancia económica —una ventaja significativa todavía tiene que batir los costes—. La significación es donde empieza el análisis, no donde termina.

Con esto se cierra el curso de estadística: ya podéis tomar un número de un backtest e interrogarlo como un quant —¿es esto real, o es suerte, y aun siendo real, merece la pena operarlo?—. Todo curso posterior que reclame una «ventaja», un «factor» o una «señal» está haciendo implícitamente una afirmación de contraste de hipótesis. Ahora sabéis cómo auditarla.