El ML y el enemigo del sobreajuste

El aprendizaje automático hace milagros con los gatos. Enséñale a un clasificador de imágenes moderno unos cuantos millones de fotos etiquetadas y distinguirá un perro de una magdalena con una precisión superior al 99%, siempre, para siempre, porque un labrador en 2026 tiene exactamente el mismo aspecto que un labrador en 2019, y el universo no está intentando engañar al modelo activamente. Los mercados no son gatos. Un mercado es un sistema adversarial, consciente de sí mismo y en constante mutación, donde el mero acto de encontrar un patrón puede destruirlo, donde las reglas del año pasado dejan de aplicarse en silencio, y donde la mejor “señal” que tu ordenador encuentra tras un fin de semana de trasteo es, casi siempre, un precioso fósil de puro ruido.

Por eso un brillante ingeniero de ML puede entrar en las finanzas, desplegar exactamente el mismo arsenal que arrasó en el reconocimiento de imágenes y perder dinero con una consistencia asombrosa. Las herramientas no están rotas: lo que falla son las intuiciones. Todo este curso tiene un villano con nombre acechando en cada página: el sobreajuste (overfitting), la seductora costumbre de aprender el ruido en lugar de la señal para luego escandalizarse cuando el ruido no se repite. El trabajo de la Lección 1 es hacer que le tengáis miedo del modo correcto, y darle la vuelta a vuestro objetivo desde el instinto del ingeniero —“encontrar el mejor modelo”— hacia el instinto del superviviente: no dejarse engañar.

El problema de la señal-ruido

Analogía. Imagina que intentas oír una sola palabra susurrada en un concierto de rock en un estadio. La palabra está ahí —es información real—, pero está enterrada bajo 50.000 fans gritando y un muro de amplificadores. Eso es un rendimiento de mercado. El susurro (la señal predictiva genuina) es real pero minúsculo; el rugido (la fluctuación aleatoria del precio) es abrumador. Un clasificador de imágenes, en cambio, trabaja en una biblioteca: la “palabra” se grita y casi no hay ruido de fondo.

Definición. La relación señal-ruido (SNR) es el tamaño de la componente significativa y predecible de una magnitud en relación con el tamaño de su componente aleatoria e impredecible; informalmente, $\text{SNR} = \frac{\text{varianza de la señal}}{\text{varianza del ruido}}$. Una SNR alta significa que el patrón domina; una SNR baja significa que domina la aleatoriedad. Los mercados se sitúan en una de las SNR más bajas de toda la estadística aplicada.

Dos números lo concretan:

• $R^2$ fuera de muestra — la fracción de la varianza de los rendimientos que tu modelo explica sobre datos con los que nunca entrenó. Para tareas de imagen, el “cuánto acertamos” análogo es de ~0,99+. Para un predictor de rendimientos de acciones genuinamente bueno, un $R^2$ fuera de muestra honesto de 0,01 a 0,05 (del uno al cinco por ciento) se considera excelente. Los célebres estudios sobre la prima de riesgo mensual de las acciones discuten incluso si el $R^2$ es siquiera positivo al nivel del 0,5%.
• Coeficiente de información (IC) — la correlación entre tu previsión y el rendimiento realizado, $\text{IC} = \text{corr}(\text{previsión}, \text{real})$. Una buena señal transversal de acciones tiene un IC en torno a 0,02 a 0,06. Eso significa que tus previsiones y la realidad coinciden en torno a un 2–6% del camino. El ~95% restante es ruido que no puedes predecir.

Ejemplo resuelto — el abismo. Pon los dos dominios uno al lado del otro y lo absurdo de tomar prestadas las intuiciones se hace evidente:

Ahora traduce el IC a tasa de acierto. Con un IC de 0,05, la tasa de acierto direccional de cada apuesta individual ronda $50\% + \frac{\text{IC}}{2}$ aproximadamente: digamos en torno al 52,5%. Así que tu modelo “estupendo” acierta 52,5 de cada 100 veces. Un clasificador de imágenes acierta 99 de cada 100. Las mismas matemáticas, los mismos algoritmos, dos planetas completamente distintos, y un modelo flexible que no sabe que está en el planeta de baja SNR tratará alegremente el 47,5% de puro ruido como si fuera estructura aprendible.

Cuándo usarlo (la lente SNR)

Echa mano del marco señal-ruido primero, antes de ajustar nada, para fijar tus expectativas y la flexibilidad de tu modelo. Cuando la SNR es brutalmente baja —como lo es siempre para los rendimientos— quieres modelos simples y fuertemente regularizados con pocos parámetros, porque cada grado de libertad extra es una oportunidad más de ajustar ruido. Reserva los modelos gigantes y flexibles para subproblemas de alta SNR (algunas tareas de microestructura o de volatilidad tienen una SNR mucho mejor que los rendimientos direccionales). La lente SNR es la equivocada solo cuando has encontrado de verdad un rincón de alta SNR, pero da por hecho que no lo has hecho hasta que se demuestre lo contrario.

No estacionariedad y cambio de régimen

Analogía. El ajedrez es un sitio estupendo para ser una máquina que aprende: las reglas de 1850 son las reglas de hoy, así que un modelo entrenado con un siglo de partidas sigue siendo válido para siempre. Ahora imagina un ajedrez donde, sin previo aviso, un martes cualquiera los alfiles empiezan a moverse como caballos y los peones pueden capturar hacia atrás, y nadie te lo dice. Toda estrategia que aprendiste con esfuerzo es ahora activamente errónea. Eso es un mercado. Las reglas del juego —las relaciones entre las variables— se desplazan, a veces suavemente, a veces de forma violenta de la noche a la mañana. Un desplome bursátil, un ciclo de subida de tipos, un cambio estructural en quién opera: cada uno puede reescribir el reglamento.

Definición. Un proceso es estacionario si sus propiedades estadísticas —media, varianza, las relaciones entre variables— no cambian con el tiempo. Los mercados son no estacionarios: el proceso generador de datos (DGP) —el verdadero mecanismo subyacente que produce los datos— se desplaza por sí mismo. Cuando la relación entre tus características (features) y el objetivo cambia con el tiempo, eso se llama deriva de concepto (concept drift). Tus datos de entrenamiento fueron generados por un régimen; tus datos en vivo los genera un régimen distinto; el modelo está respondiendo a una pregunta que ya no se está formulando.

Ejemplo resuelto — una señal que se evapora. Supón que descubres una señal de estilo momentum con un IC genuinamente real de 0,05 durante un mercado alcista tranquilo y de baja volatilidad: llámalo el período en régimen. La pruebas en backtest sobre tres años de ese régimen y tiene una pinta fantástica. Entonces estalla una crisis: la volatilidad se triplica, las correlaciones se disparan hacia 1, y el comportamiento que impulsaba tu señal se invierte (las ventas de pánico arrollan al momentum). Fuera de régimen, el IC de esa misma señal es 0,00 o incluso −0,03: ahora pierde dinero. Promedia los dos regímenes y quizá reportes un IC tímidamente positivo; vívelos en secuencia y obtienes una curva de capital suave que de repente cae por un precipicio justo cuando tienes más capital desplegado.

La trampa más profunda es que la no estacionariedad invalida el supuesto central del aprendizaje supervisado: que los datos de entrenamiento y los de vivo provienen de la misma distribución. Cuando el DGP se desplaza, ese supuesto es falso, y no hay modelado ingenioso que lo rescate del todo. Puedes adaptarte (reentrenamiento móvil, detección de régimen), pero nunca puedes asumir que la distribución del pasado es la del futuro.

Cuándo preocuparse por la no estacionariedad

Preocúpate al máximo siempre que tu ventana de entrenamiento cubra una franja estrecha de condiciones de mercado —unos pocos años de un solo régimen— y pretendas desplegar a lo largo de lo que venga después. Entonces debes probar a través de regímenes (calma y crisis, tipos altos y tipos bajos), preferir características con una razón económica para persistir, e incorporar reentrenamiento. Puedes relajarte un poco cuando tu objetivo tiene de verdad una estructura más estable (algunas relaciones de valor relativo, ancladas por un amarre económico, se desplazan menos que los rendimientos brutos), pero “esta relación se mantendrá para siempre” es una hipótesis que contrastar, nunca un supuesto que hacer.

El humano en el bucle — los contrastes múltiples

Analogía. Dale una moneda a mil monos y haz que la lancen diez veces cada uno. Por puro azar, un mono sacará diez caras seguidas. Si entonces coronas a ese mono como “el lanzador dotado” y apuestas tus ahorros a su undécimo lanzamiento, acabas de cometer el pecado capital de la investigación cuantitativa. El mono no tiene ninguna habilidad: simplemente revisaste mil resultados aleatorios y te quedaste con el más afortunado. En la investigación cuantitativa, eres tú quien sostiene los mil monos, y los monos son tus características, modelos y configuraciones de parámetros.

Definición. Los contrastes múltiples (también data snooping, data dredging o sesgo de selección) son la inflación de la significancia aparente que se produce cuando pruebas muchas hipótesis y reportas solo la mejor. Cada backtest que corres es un lanzamiento de moneda con los datos. Prueba los suficientes y el mejor parecerá brillante incluso cuando ninguno tenga ventaja real. El punto crucial e incómodo: no es un error malicioso, es la consecuencia natural de un investigador honesto iterando —ajusta una característica, vuelve a correr, ajusta un umbral, vuelve a correr, cambia el modelo, vuelve a correr— cientos de veces, quedándose cada vez con lo que mejor pinta.

Ejemplo resuelto — el mejor de 100 backtests sin ventaja. Supón que pruebas 100 estrategias que genuinamente tienen ventaja cero: el verdadero ratio de Sharpe anual de cada una (rendimiento por unidad de riesgo) es exactamente 0. Con unos pocos años de datos, el Sharpe medido de cada estrategia es una extracción aleatoria, aproximadamente normal de media 0 y desviación típica de unos 0,5 (un error de muestreo típico para unos pocos años de rendimientos mensuales). ¿Cuál es el máximo de 100 extracciones de ese tipo?

El máximo esperado de $n$ extracciones normales estándar crece como $\sqrt{2\ln n}$. Para $n = 100$:

$\mathbb{E}[\max] \approx \sqrt{2\ln 100} = \sqrt{2 \times 4.605} = \sqrt{9.21} \approx 3.03$

Multiplica por la desviación típica por contraste (~0,5) y el mejor de 100 estrategias inútiles muestra un Sharpe medido de unos $3.03 \times 0.5 \approx \textbf{1.5}$. Un Sharpe de 1,5 parece un fondo al que asignarías capital encantado, y está construido sobre nada. Amplíalo:

El horror es la monotonía: cuanto más buscas, mejor pinta la ventaja falsa. El esfuerzo que ayudaría en cualquier otro dominio te perjudica activamente aquí, porque cada intento extra es un boleto de lotería más en una lotería cuyo único premio es el autoengaño.

Cuándo más importa el humano en el bucle

Este problema domina siempre que el investigador itera muchas veces contra el mismo conjunto de datos, que es esencialmente siempre en la investigación cuantitativa. Las defensas: cuenta tus intentos con honestidad (cada variante, incluidas las que descartaste mentalmente), guarda bajo llave un verdadero conjunto de validación final (holdout) que tocas una sola vez, preinscribe tu hipótesis antes de espiar, y deflacta tus estadísticos por el esfuerzo de búsqueda. Importa menos solo cuando contrastas de verdad una única hipótesis preespecificada una sola vez: una disciplina tan rara en la práctica que deberías asumir que has hecho data snooping hasta que demuestres que no.

El sobreajuste, con precisión

Analogía. Un estudiante que entiende la materia puede responder a preguntas que nunca ha visto. Un estudiante que memorizó el examen del año pasado clava ese examen exacto y se da de bruces con el nuevo. El sobreajuste es el segundo estudiante con bata de laboratorio. El backtest es el examen del año pasado; operar en vivo es el nuevo; la brecha entre las dos notas es el sobreajuste que pagas, en efectivo.

Definiciones — déjalas nítidas:

• Rendimiento dentro de muestra (in-sample): cómo le va al modelo sobre los mismísimos datos con los que se entrenó. Siempre halagador. Casi sin valor como prueba.
• Rendimiento fuera de muestra (out-of-sample, OOS): cómo le va sobre datos que nunca vio durante el entrenamiento ni la selección. El único número que significa algo.
• Error de generalización: el error esperado del modelo sobre datos nuevos, no vistos del mismo proceso. Esto es lo que de verdad te importa; el error dentro de muestra lo subestima sistemáticamente.
• Equilibrio sesgo-varianza (bias–variance trade-off): el error esperado total se descompone (a grandes rasgos) como $\text{Error} \approx \text{Sesgo}^2 + \text{Varianza} + \text{Ruido irreducible}$. El sesgo es el error de un modelo demasiado simple para capturar la verdadera señal (infraajuste). La varianza es el error de un modelo tan flexible que cambia descontroladamente con cada muestra de entrenamiento: está persiguiendo el ruido (sobreajuste). El término de ruido irreducible es enorme en los mercados (baja SNR), así que el modelo óptimo es mucho más simple de lo que sugieren tus instintos de alta SNR.

El síntoma que define el sobreajuste es la brecha creciente entre el rendimiento dentro de muestra y el fuera de muestra a medida que añades complejidad. Un poco de complejidad ayuda a ambos. Pasado un punto óptimo, el de dentro de muestra sigue subiendo (ahora está ajustando ruido) mientras que el de fuera de muestra alcanza un pico y luego cae: el modelo ha empezado a aprender peculiaridades del conjunto de entrenamiento que nunca se repetirán.

Ejemplo resuelto — pagar por la brecha. Dos modelos sobre la misma tarea:

El backtest del modelo flexible es cuatro veces más bonito y pierde dinero en producción. El backtest del modelo simple es modesto y sobrevive. Si seleccionas por el número de dentro de muestra —que es lo natural y perezoso— elegirás sistemáticamente el peor modelo en vivo. Esa inversión es el corazón de la tragedia del sobreajuste: cuanto más bonito es el backtest, más sospechoso deberías estar, porque la belleza dentro de muestra es exactamente lo que fabrica el exceso de flexibilidad.

Cuándo los números de dentro de muestra son (apenas) útiles

El rendimiento dentro de muestra es útil para exactamente dos cosas: depurar (si el modelo ni siquiera puede ajustar los datos de entrenamiento, está roto) y comparación relativa bajo una validación idéntica y comprometida de antemano. Nunca es útil como afirmación autónoma de ventaja. En el momento en que alguien cita un Sharpe de backtest sin contarte el protocolo fuera de muestra y el recuento de intentos, trata el número como decoración, no como prueba.

El giro mental — de “el mejor modelo” a “no dejarse engañar”

Analogía. Un buscador de oro ingenuo se queda con cada piedra brillante y declara que cada una es oro. Un geólogo de verdad asume que cada piedra brillante es oro de los tontos hasta que un ensayo demuestre lo contrario, porque en un lecho de río lleno de pirita la mayoría de las piedras brillantes son falsas, y el coste de equivocarse es alto. La investigación cuantitativa es el lecho del río. Las “ventajas” sobreajustadas son pirita: preciosas, abundantes, sin valor. Tu trabajo no es encontrar la piedra más bonita. Tu trabajo es no dejarte engañar por el montón de piedras bonitas que te rodea.

El giro, dicho sin rodeos. El ML ordinario pregunta: “¿Qué modelo tiene la mejor puntuación de validación?” y despacha al ganador. El ML cuantitativo debe preguntar: “¿Es este resultado real, o acabo de engañarme a mí mismo?”, y exigir pruebas antes de desplegar nada. Las tres patologías de arriba empujan todas en la misma dirección: en un mundo de baja SNR, no estacionario, donde el investigador corre cientos de intentos, la expectativa por defecto para cualquier resultado bonito es que sea un artefacto. Así que adoptas una postura de paranoia disciplinada:

• Culpable hasta que se demuestre fuera de muestra. Cada backtest se supone sobreajustado hasta que sobreviva a datos que el modelo nunca tocó. El fuera de muestra es el único tribunal; el testimonio de dentro de muestra es inadmisible.
• El método científico, de verdad. Enuncia la hipótesis primero (idealmente con una razón económica por la que debería funcionar), decide la prueba antes de ver el resultado, y deja que los datos intenten falsarla. Una señal que “funciona” pero que no puedes explicar económicamente es un sospechoso de sobreajuste de primer orden.
• Preinscripción y el holdout sagrado. Guarda bajo llave una porción de datos que mirarás exactamente una vez, al final del todo. En el instante en que iteras contra ella, deja de ser fuera de muestra y se convierte en más datos de entrenamiento, y tu “validación” se convierte en teatro.
• Cuenta y deflacta. Lleva la cuenta de cuántas estrategias probaste y descuenta tus estadísticos en consecuencia (el Sharpe deflactado de la Lección 4 lo vuelve cuantitativo).

Cuándo la paranoia está justificada (esencialmente siempre)

Usa esta mentalidad como la opción por defecto para cualquier trabajo de predicción de mercados: una SNR baja, un DGP no estacionario y un humano iterando cientos de veces juntos garantizan que el ML ingenuo exagera las ventajas. Solo puedes bajar la paranoia en entornos genuinamente de alta SNR, estacionarios y de una sola hipótesis, que, en el trading, son tan comunes como el arbitraje sin riesgo. Ante la duda, asume que te has engañado a ti mismo y ve a buscar la prueba de que no.

Juntándolo todo

Tres fuerzas conspiran para hacer de los mercados el lugar más difícil de la tierra para hacer aprendizaje automático, y se combinan en lugar de cancelarse. La señal-ruido baja (IC ≈ 0,05, $R^2$ fuera de muestra ≈ 0,01–0,05) significa que apenas hay señal que encontrar, así que un modelo flexible rellena el vacío con ruido. La no estacionariedad significa que incluso la señal real que encuentras puede evaporarse o invertirse cuando cambia el régimen: las reglas del juego se desplazan a mitad de partida. Y el humano en el bucle, corriendo cientos de intentos y quedándose con el mejor, fabrica ventajas de aspecto impresionante a partir del puro azar. Juntas exigen un único giro que define el curso: deja de intentar encontrar el mejor modelo, y empieza a intentar no dejarte engañar. Trata cada resultado como culpable hasta que se demuestre fuera de muestra. El sobreajuste es el enemigo con nombre, y se esconde detrás de cada backtest bonito que corras jamás.

Ya tienes el miedo correcto en el sitio correcto: no “no soy capaz de encontrar un modelo”, sino “soy capaz de encontrar mil falsos, y mi trabajo es no dejarme engañar por ellos”. Ese miedo reconfigura cada paso que sigue, y el primerísimo paso es el que la mayoría de la gente hace catastróficamente mal antes incluso de tocar un modelo: cómo conviertes los datos brutos de mercado en las características de las que aprenderás y, sobre todo, cómo etiquetas lo que intentas predecir. Equivoca las características y las etiquetas —filtra información futura, etiqueta mal un resultado, muestrea en los momentos equivocados— y sobreajustarás antes incluso de empezar a entrenar. Ese es el tema de la siguiente lección, Características financieras y etiquetado, donde construimos entradas y objetivos que no le entreguen en secreto las respuestas a tu modelo.