Sobreajuste del backtest y el Sharpe desinflado

He aquí un secretillo sucio de las finanzas cuantitativas: la mayoría de los backtests que verás en tu vida son descubrimientos falsos. No fraudulentos: falsos. El investigador era honesto, el código era correcto, la curva de capital de verdad subía a 45 grados. Y aun así la estrategia no tenía ninguna ventaja en absoluto. ¿Cómo? Probaron mil cosas y te enseñaron la que mejor pintaba, igual que un “vidente” que lanza una moneda delante de 1.024 personas, por pura aritmética, encontrará a diez que la vieron salir cara diez veces seguidas y que ahora creen estar presenciando magia.

Este es el problema del contraste múltiple, y es la mayor razón individual por la que las estrategias de trading publicadas mueren en cuanto el dinero real las toca. Es especialmente despiadado en el aprendizaje automático, donde un solo GridSearchCV prueba en silencio diez mil configuraciones y te entrega la ganadora con cara de póker. Esta lección va de pillar la mentira. Veremos cómo el listón que un backtest debe superar sube con cada cosa de más que probaste, y conoceremos las herramientas (el ratio de Sharpe desinflado, la probabilidad de sobreajuste del backtest, la longitud mínima de backtest) que ponen un número a “¿esto es real, o simplemente tuve suerte 1.024 veces?”.

La trampa del contraste múltiple

Analogía. Compra 2.000 boletos de lotería y uno de ellos premia. ¿Te convierte eso en un genio eligiendo loterías? Obviamente no: compraste tantos boletos que alguno tenía que tocar, y ahora lo señalas y lo llamas habilidad. Un barrido de backtests es exactamente esto. Cada variante de estrategia es un boleto; los datos son el sorteo; la “ganadora” es el boleto que por casualidad encajó con el ruido de esta historia concreta. Enseña solo a la ganadora y esconde a las 1.999 perdedoras, y un montón de suerte parece genialidad.

Definición. El problema del contraste múltiple (o data-snooping / sesgo de selección): cuando evalúas muchas hipótesis sobre los mismos datos y reportas solo la mejor, el resultado reportado está sesgado al alza, porque has seleccionado sobre el ruido. Los estadísticos llaman al riesgo de obtener al menos un falso positivo a lo largo de una familia de contrastes la tasa de error por familia (family-wise error rate), y se dispara con el número de contrastes. Corre un contraste con una tasa de falso positivo del 5% y estás bien; corre 100 contrastes independientes y la probabilidad de al menos una “ganadora” espuria es $1 - 0.95^{100} \approx 99.4\%$. Prácticamente garantizado.

La versión popular es más cruda: “si torturas los datos el tiempo suficiente, confesarán cualquier cosa”. La tortura en la investigación cuantitativa rara vez es deliberada. Se esconde en:

• Búsqueda en rejilla. Un GridSearchCV sobre 5 hiperparámetros con 8 valores cada uno son $8^5 = 32{,}768$ pruebas silenciosas. Tú ves un número; la máquina probó decenas de miles.
• Barridos de variables. Probar 50 variables candidatas y quedarte con las 5 que “funcionan” es una selección sobre $\binom{50}{5} \approx 2.1$ millones de subconjuntos.
• La memoria del investigador. Incluso a mano, “déjame probar una ventana de 20 días… no, de 50… quizá añadir un stop-loss…” es contraste múltiple sin fichero de registro. Estas son las pruebas más peligrosas porque están sin contar.

Ejemplo resuelto — 100 estrategias con ventaja literalmente cero. Supón que construyes 100 estrategias cuyo ratio de Sharpe verdadero es exactamente 0: puras tiradas de moneda, ninguna ventaja en absoluto. Haz el backtest de cada una sobre $T$ años de datos. Una sola estimación de Sharpe de una estrategia con cero verdadero no es exactamente 0; es ruidosa, dispersa alrededor de 0 con un error típico de aproximadamente $1/\sqrt{T}$ (en unidades anualizadas, más precisamente unos $\sqrt{(1 + \tfrac{1}{2}\text{SR}^2)/T} \approx 1/\sqrt{T}$ cuando el SR verdadero está cerca de 0). Con, digamos, $T = 5$ años el error típico es de aproximadamente $1/\sqrt{5} \approx 0.45$.

Ahora toma el máximo de 100 extracciones de una distribución de media 0 y desviación típica 0,45. El máximo de 100 normales estándar se sitúa en torno a $+2.5$ desviaciones típicas, así que la mejor de tus 100 estrategias de ventaja cero registrará un Sharpe de aproximadamente $2.5 \times 0.45 \approx 1.1$. Un Sharpe de 1,1, de una estrategia con ventaja demostrablemente cero. Será la curva de capital más bonita del mazo, y es 100% ruido.

Cuándo preocuparse más

Preocúpate al máximo por la trampa del contraste múltiple siempre que el espacio de búsqueda sea grande y los datos estén fijos y sean cortos: barridos de hiperparámetros de ML, minería de variables y cualquier discurso de “probamos todas las combinaciones”. Preocúpate menos cuando tengas una hipótesis económica fuerte contrastada una sola vez sobre datos que nunca habías visto: ese es un único contraste honesto. El número que separa ambos casos es $N$, el recuento de cosas distintas que probaste. Todo lo que sigue va de convertir ese $N$ en un listón justo.

El Sharpe máximo esperado bajo la hipótesis nula

Así que la mejor de muchos backtests ruidosos está inflada. La pregunta obvia: ¿en cuánto? Si podemos calcular cuán alto es el Sharpe que produce la pura suerte cuando pruebas $N$ estrategias, obtenemos un listón: una barrera mínima que tu mejor Sharpe observado debe superar antes de que merezca siquiera una segunda mirada.

Analogía. Imagina a $N$ personas, cada una lanzando una moneda justa 100 veces y anotando su racha de caras más larga. Con $N = 1$ persona, la racha más larga esperada es modesta. Con $N = 1{,}000$ personas, alguien clavará una racha de 12 caras, no porque tenga habilidad, sino porque le diste mil oportunidades a la suerte. La racha récord esperada crece con $N$. El Sharpe máximo esperado es la misma idea: más pruebas, “récord” esperado más alto, todo bajo la hipótesis nula de ventaja verdadera cero.

Definición / fórmula. Bailey y López de Prado derivaron el ratio de Sharpe máximo esperado bajo la hipótesis nula (Sharpe verdadero = 0) a lo largo de $N$ pruebas independientes. Si las estimaciones de Sharpe de las pruebas tienen una dispersión (desviación típica) de $\sigma_{\text{SR}}$, entonces:

$E[\max \text{SR}] \approx \sigma_{\text{SR}} \left[ (1 - \gamma)\,\Phi^{-1}\!\left(1 - \tfrac{1}{N}\right) + \gamma\,\Phi^{-1}\!\left(1 - \tfrac{1}{N\,e}\right) \right]$

En palabras: escala la dispersión de las pruebas $\sigma_{\text{SR}}$ (lo dispersas que están las estimaciones de Sharpe de tus estrategias) por un factor que crece con el número de pruebas $N$. Aquí $\Phi^{-1}$ es la función de distribución acumulada normal estándar inversa (la función cuantil: convierte una probabilidad en la puntuación z por debajo de la cual queda esa fracción de una normal), $\gamma \approx 0.5772$ es la constante de Euler–Mascheroni y $e$ es el número de Euler. Todo el corchete se comporta como $\sqrt{2 \ln N}$ para $N$ grande, así que el listón sube con la raíz cuadrada del logaritmo de cuántas cosas probaste. Crecimiento lento, pero implacable, y nunca se detiene.

La moraleja: tu mejor Sharpe observado tiene que superar esta curva ascendente para contar como real. La cantidad

$\text{Ventaja desinflada} = \text{SR}_{\text{observado}} - E[\max \text{SR}]$

es lo que queda tras restar la parte que la suerte podría explicar. Si es cero o negativa, tu ganadora es indistinguible del ruido.

Ejemplo resuelto. Las estimaciones de Sharpe de tus estrategias están dispersas con $\sigma_{\text{SR}} = 0.5$, y probaste $N = 1{,}000$ configuraciones. Sustituye:

• $\Phi^{-1}(1 - 1/1000) = \Phi^{-1}(0.999) \approx 3.09$
• $\Phi^{-1}(1 - 1/(1000 e)) = \Phi^{-1}(0.999632) \approx 3.37$
• Corchete $\approx (1 - 0.577)(3.09) + (0.577)(3.37) \approx 0.423 \times 3.09 + 0.577 \times 3.37 \approx 1.31 + 1.94 \approx 3.25$
• $E[\max \text{SR}] \approx 0.5 \times 3.25 \approx \mathbf{1.6}$

Así que la pura suerte, a lo largo de 1.000 pruebas de ventaja cero, espera entregarte un mejor Sharpe de aproximadamente 1,6. Si tu reluciente ganadora registra un Sharpe observado de 1,5, queda por debajo del listón de la suerte: su ventaja desinflada es $1.5 - 1.6 = -0.1$, y es indistinguible de la suerte. La rechazarías. Para ser creíble con $N = 1{,}000$, tendrías que superar ~1,6 con margen de sobra.

El ratio de Sharpe probabilístico (PSR)

El listón de arriba nos dice a qué altura poner la barrera. Pero hay un segundo problema escondido en cualquier ratio de Sharpe, incluso uno solo y honesto: un Sharpe es una estimación a partir de un historial finito, y cuánto confiamos en él depende de cuán largo es el historial y qué forma tienen los rendimientos.

Analogía. Dos bateadores batean ambos .350 esta temporada. Uno tiene 600 turnos al bate; el otro, 30. Misma media, confianza radicalmente distinta: 30 turnos podrían ser una buena racha, 600 no. Un ratio de Sharpe de 6 meses de rendimientos es el bateador de 30 turnos. El ratio de Sharpe probabilístico es la herramienta que dice, en esencia: “con estos datos y estos rendimientos, ¿cuánta confianza tengo en que la habilidad verdadera está por encima de cierto punto de referencia?”.

Definición. El ratio de Sharpe probabilístico (PSR) es la probabilidad de que el ratio de Sharpe verdadero supere un punto de referencia elegido $\text{SR}^*$, dado un Sharpe observado $\widehat{\text{SR}}$, una longitud de historial $T$ y los momentos superiores de la distribución de rendimientos:

$\text{PSR}(\text{SR}^*) = \Phi\!\left( \frac{(\widehat{\text{SR}} - \text{SR}^*)\,\sqrt{T - 1}}{\sqrt{1 - \hat{\gamma}_3\,\widehat{\text{SR}} + \frac{\hat{\gamma}_4 - 1}{4}\,\widehat{\text{SR}}^2}} \right)$

No te asustes con el denominador: es simplemente el error típico de la estimación de Sharpe, y hace todo el trabajo pesado. Lee las piezas:

• Historial más largo ($T$) → más confianza. $T$ aparece como $\sqrt{T-1}$ en el numerador, así que duplicar tu historial encoge el ruido y empuja el PSR hacia la certeza. El bateador de 600 turnos.
• La asimetría $\hat{\gamma}_3$ importa. La asimetría mide la falta de simetría. La asimetría negativa (el rendimiento que de vez en cuando se desploma: vender seguros, recoger céntimos delante de una apisonadora) aumenta el denominador, bajando el PSR. El ratio de Sharpe favorece a las estrategias que acumulan en silencio pequeñas ganancias y rara vez revientan, hasta que lo hacen. El PSR las penaliza por ello.
• La curtosis $\hat{\gamma}_4$ importa. La curtosis mide las colas gruesas. El exceso de curtosis ($\hat{\gamma}_4 - 3 > 0$, colas gruesas) también aumenta el denominador y baja el PSR. Las grandes sorpresas en cualquier dirección significan que tu estimación de Sharpe es más endeble de lo que asumen las matemáticas de la distribución normal.

Ejemplo resuelto. Una estrategia registra $\widehat{\text{SR}} = 1.0$ (anualizado) a lo largo de $T = 36$ meses, con punto de referencia $\text{SR}^* = 0$. Si los rendimientos fueran perfectamente normales ($\hat{\gamma}_3 = 0$, $\hat{\gamma}_4 = 3$), el denominador es 1 y PSR $= \Phi(1.0 \times \sqrt{35}) = \Phi(5.9) \approx 99.99\%$: sólido como una roca. Ahora supón que los rendimientos son feos: asimetría $\hat{\gamma}_3 = -1.5$ y un exceso de curtosis que lleva $\hat{\gamma}_4 = 8$. El denominador se hincha hasta $\sqrt{1 - (-1.5)(1.0) + \frac{8-1}{4}(1.0)^2} = \sqrt{1 + 1.5 + 1.75} = \sqrt{4.25} \approx 2.06$. Ahora PSR $= \Phi(1.0 \times \sqrt{35} / 2.06) = \Phi(2.87) \approx 99.8\%$: todavía bueno, pero el mismo Sharpe observado es notablemente menos certero una vez que tienes en cuenta los rendimientos desequilibrados y de colas gruesas. Estira más los momentos y la confianza sigue desangrándose.

El ratio de Sharpe desinflado (DSR)

Ahora fusionamos las dos ideas. El PSR pregunta “¿está el Sharpe verdadero por encima del punto de referencia $\text{SR}^*$?”, pero dejaba $\text{SR}^*$ como una elección libre, normalmente fijada en 0. El ratio de Sharpe desinflado hace la jugada brillante de fijar ese punto de referencia en el máximo esperado bajo la hipótesis nula: el mismísimo listón de la suerte que calculamos antes. Dicho de otro modo: no preguntes “¿está mi Sharpe por encima de cero?”. Pregunta “¿está mi Sharpe por encima de lo que la mejor de todas mis pruebas produciría solo por suerte?”.

Definición. El ratio de Sharpe desinflado (DSR) es el PSR evaluado frente al punto de referencia ajustado por contraste múltiple:

$\text{DSR} = \text{PSR}\big(\text{SR}^* = E[\max \text{SR}]\big) = \Phi\!\left( \frac{(\widehat{\text{SR}} - E[\max \text{SR}])\,\sqrt{T - 1}}{\sqrt{1 - \hat{\gamma}_3\,\widehat{\text{SR}} + \frac{\hat{\gamma}_4 - 1}{4}\,\widehat{\text{SR}}^2}} \right)$

Funde ambas correcciones en un único número: desinfla por el número de pruebas $N$ (a través del punto de referencia $E[\max \text{SR}]$, que depende de $N$ y de la dispersión de las pruebas $\sigma_{\text{SR}}$) y descuenta por los historiales cortos y los rendimientos no normales (a través de la maquinaria del PSR). La salida es una probabilidad: la confianza en que el Sharpe verdadero de la estrategia bate lo que la suerte por sí sola habría producido a lo largo de todas tus pruebas. Una regla práctica habitual: exige $\text{DSR} > 0.95$ antes de creerte una estrategia descubierta.

Ejemplo resuelto — reutilizando nuestro listón. Recuerda: $\sigma_{\text{SR}} = 0.5$, $N = 1{,}000$, así que $E[\max \text{SR}] \approx 1.6$. Supón que esta vez el Sharpe observado de la configuración ganadora es un sólido $\widehat{\text{SR}} = 2.2$ a lo largo de $T = 60$ meses, con rendimientos aproximadamente normales (denominador ≈ 1). Entonces:

$\text{DSR} = \Phi\!\left( \frac{(2.2 - 1.6)\sqrt{59}}{1} \right) = \Phi(0.6 \times 7.68) = \Phi(4.6) \approx 0.999$

Un Sharpe de 2,2 que bate un listón de suerte de 1,6 a lo largo de un historial de 5 años es creíble: DSR ≈ 99,9%. Pero toma el caso anterior, Sharpe observado de 1,5 frente al mismo listón de 1,6: el numerador se vuelve negativo, $\Phi$ de un número negativo está por debajo de 0,5 y el DSR se desploma quizá hasta ~15%. Mismo recuento de pruebas, un Sharpe solo 0,7 más bajo, y el veredicto pasa de “lánzalo” a “bórralo”.

Probabilidad de sobreajuste del backtest (PBO) y longitud mínima de backtest

El DSR necesita que nombres tu recuento de pruebas $N$ y tu dispersión de pruebas. Pero ¿y si no puedes fiarte de tu propio $N$, o quieres una comprobación sin modelo? Dos herramientas más atacan el problema desde ángulos distintos.

Probabilidad de sobreajuste del backtest (PBO)

Analogía. Estás contratando a un entrenador de ajedrez mediante un torneo. El “mejor” entrenador es quien ganó tu cuadro interno. Pero si tu cuadro era pequeño y ruidoso, el ganador puede que simplemente tuviera un sorteo fácil, y perdería contra el entrenador mediano en un torneo de verdad. El PBO mide exactamente eso: con qué frecuencia la estrategia que parecía la mejor dentro de muestra resulta ser un actor por debajo de la media fuera de muestra.

Definición. La probabilidad de sobreajuste del backtest (PBO), de la validación cruzada combinatoriamente simétrica (CSCV) de López de Prado, se construye sobre la misma lógica de partición combinatoria que la CPCV (validación cruzada combinatoria purgada) de la Lección 3. La receta: divide tu historial en $S$ trozos iguales; forma cada manera de elegir la mitad de los trozos como dentro de muestra y la mitad complementaria como fuera de muestra (eso son $\binom{S}{S/2}$ particiones simétricas). Para cada partición:

1. Encuentra la estrategia que se posiciona como la mejor dentro de muestra.
2. Busca el rango fuera de muestra de esa misma estrategia.
3. Anota si cayó en la mitad inferior fuera de muestra (es decir, rindió por debajo de la mediana).

El PBO es la fracción de particiones en las que la campeona dentro de muestra rinde por debajo de la mediana fuera de muestra. Un PBO cercano a 0 significa que tu proceso de selección elige ganadoras genuinas; un PBO cercano a 0,5 significa que elegir la mejor dentro de muestra no es mejor que una tirada de moneda: tu “mejor” estrategia está sobreajustada. Como usa rangos relativos a lo largo de muchas particiones simétricas, el PBO no necesita que confieses $N$; el sobreajuste se revela en lo mal que los rangos dentro de muestra predicen los rangos fuera de muestra.

Ejemplo resuelto. Tienes 7 estrategias candidatas y divides el historial en $S = 8$ trozos, lo que da $\binom{8}{4} = 70$ particiones simétricas dentro/fuera. En 49 de las 70 particiones, la estrategia que se posicionó como la #1 dentro de muestra cayó en los 4 inferiores (por debajo de la mediana) fuera de muestra. PBO $= 49/70 = 0.70$. Eso es catastrófico: el 70% de las veces, tu “ganadora” es en realidad una estrategia por debajo de la media que simplemente ajustó mejor el ruido dentro de muestra. No deberías fiarte de tu selección en absoluto.

Longitud mínima de backtest (MinBTL)

Analogía. Un casino solo necesita unos pocos miles de tiradas para estar estadísticamente seguro de que su pequeña ventaja es real, porque coloca un único tipo de apuesta honesta. Un investigador que probó 1.000 estrategias necesita un historial mucho más largo antes de que cualquier Sharpe superviviente sea creíble: tiene que dejar atrás un listón de suerte mucho más alto. Cuanto más pescaste, mayor tiene que ser la captura antes de que te creas que no fue un lanzamiento afortunado.

Definición. La longitud mínima de backtest (MinBTL) responde: dado que probé $N$ estrategias, ¿cuántos años de datos necesito antes de que un Sharpe de (digamos) 1,0 pudiera distinguirse del listón de suerte de la mejor de $N$? La aproximación de López de Prado, en unidades anualizadas para un Sharpe objetivo cercano a 1, es:

$\text{MinBTL} \;\approx\; \frac{2 \ln N}{\text{SR}_{\text{objetivo}}^2} \quad\text{(años)}$

La característica clave: la MinBTL crece con $\ln N$: cuantas más configuraciones pruebes, más largo será el historial que necesitas antes de que un Sharpe dado signifique algo. Refleja el crecimiento $\sqrt{2 \ln N}$ del listón de la suerte (elevar al cuadrado el Sharpe saca la raíz cuadrada hacia un simple $\ln N$).

Ejemplo resuelto. Apuntando a un Sharpe de $\text{SR}_{\text{objetivo}} = 1.0$:

Dale la vuelta: si probaste 1.000 cosas y solo tienes 7 años de datos, ningún Sharpe de 1,0 entre ellas puede creerse: careces físicamente del historial para batir el listón que tu propia búsqueda creó. O pruebas menos cosas, o consigues más datos, o exiges un Sharpe mucho más alto.

Juntándolo todo

La mayoría de los backtests son falsos porque los investigadores seleccionan la mejor de muchas pruebas ruidosas y te enseñan solo a la ganadora. Las soluciones arrancan todas de un número honesto ($N$, el recuento de cosas que realmente probaste) y preguntan si tu resultado bate lo que la suerte por sí sola produce con ese $N$:

• El Sharpe máximo esperado bajo la hipótesis nula es el listón de la suerte: sube como $\sqrt{2\ln N}$, escalado por la dispersión de las pruebas $\sigma_{\text{SR}}$. Tu mejor Sharpe observado debe superarlo.
• El ratio de Sharpe probabilístico (PSR) descuenta un Sharpe por un historial corto y por la asimetría negativa / colas gruesas: las condiciones que vuelven poco fiable un Sharpe alto.
• El ratio de Sharpe desinflado (DSR) es la piedra angular: el PSR contrastado contra el listón de la suerte, así que corrige por el número de pruebas y por la fragilidad de la estimación en una sola probabilidad. Exige DSR > 0,95.
• La probabilidad de sobreajuste del backtest (PBO) usa particiones combinatorias (la lógica de la CPCV de la Lección 3) para medir con qué frecuencia tu campeona dentro de muestra rinde por debajo de la mediana fuera de muestra: una alarma de sobreajuste sin modelo.
• La longitud mínima de backtest (MinBTL) crece con $\ln N$: cuanto más buscaste, más largo será el historial que necesitas antes de que cualquier Sharpe sea creíble, y a veces los datos son simplemente demasiado cortos para justificar la búsqueda.

Ya posees el kit de herramientas completo para la pregunta que decide si un backtest vale un dólar: ¿encontré una ventaja, o encontré la más afortunada de mis mil conjeturas? Puedes calcular el listón de la suerte, desinflar un Sharpe por las pruebas y la longitud del historial, medir la probabilidad de que tu selección esté sobreajustada y comprobar si tus datos son siquiera lo bastante largos para plantear la pregunta.

Pero fíjate en lo que cada una de estas herramientas asumió en silencio: que ya tienes un montón de estrategias candidatas que contrastar. ¿De dónde salen las buenas candidatas, y cómo construyes modelos cuyas ventajas sobrevivan al desinflado? Ese es el tema de la siguiente lección, Modelos, ensamblados e importancia de variables, donde pasamos de auditar estrategias a construirlas: los modelos de ML que generan señales, los ensamblados que las hacen robustas y los métodos de importancia de variables que te dicen por qué funciona un modelo, para que la ventaja que descubras sea una que el Sharpe desinflado de verdad te deje conservar.