Validar sin engañarte a ti mismo

Construiste un mercado desde cero. Los agentes operan, se dejan llevar por el rebaño, entran en pánico, arbitran; de ese revuelo, las colas anchas y la agrupación de volatilidad aparecieron como el tiempo sobre un océano. En la última lección calibraste el invento — giraste sus mandos hasta que los rendimientos simulados se parecían inquietantemente al S&P 500 real. Se lo enseñaste a tu supervisor. El gráfico es precioso. La curtosis encaja al milímetro.

Ahora la pregunta incómoda, la que persigue a todo quant que alguna vez sobreajustó un backtest: ¿capturó el modelo algo cierto sobre los mercados, o simplemente memorizaste la hoja de respuestas?

Este es el mismo desafío del escéptico que recorriste en el curso de modelos generativos — Sharpe desinflado, el zoológico de factores, validación cruzada purgada, «¿te has engañado a ti mismo?» — apuntado directamente hacia los modelos basados en agentes (MBA). El credo viaja. Un modelo lo bastante flexible como para casar cualquier cosa no ha explicado nada.

Casar no es validar

La analogía. Imagina a un estudiante que consiguió el examen del año pasado y memorizó cada respuesta. Llega el día de la prueba — si las preguntas son idénticas — y borda el examen. ¿Es un economista brillante? No tienes ni idea. Eso solo lo averiguas cuando las preguntas cambian. Memorizar el examen de prueba no te dice nada sobre comprensión; te dice que el estudiante es bueno memorizando.

Un MBA calibrado a un conjunto de hechos estilizados y luego juzgado por esos mismos hechos es exactamente ese estudiante. Por supuesto que los reproduce. Doblegaste los parámetros hasta que lo hizo.

La distinción, con precisión:

• Calibración — el procedimiento que ajusta los parámetros libres del modelo $\theta$ para que las salidas del modelo casen con rasgos elegidos de los datos (p. ej. el método de momentos simulados de la última lección: minimizar la distancia entre momentos simulados y empíricos). La calibración consume datos para fijar los mandos.
• Validación — el procedimiento que comprueba si el modelo ajustado captura estructura a la que no fue ajustado: generaliza a datos nuevos, regímenes nuevos o hechos reservados fuera de la calibración. La validación retiene datos para hacer una pregunta honesta.

Casar los objetivos de calibración vive enteramente dentro de la calibración. Es una condición previa para tomarse el modelo en serio, no un resultado. Llamarlo «validación» es el pecado original del trabajo empírico con MBA.

Por qué los MBA son especialmente propensos a esto. Cada tipo de agente que añades, cada regla de comportamiento, cada umbral y peso es un grado de libertad — un parámetro libre que el optimizador puede menear. Un modelo con suficientes grados de libertad puede ajustar no solo la señal, sino también el ruido; se convierte en una curva flexible que se puede doblegar hacia casi cualquier objetivo. Esto es sobreajuste, la misma enfermedad que una estrategia de trading de 200 factores que brilla dentro de muestra y muere en directo. Cuantos más mandos, más barato resulta «casa con los datos».

Mira lo barato que es. La isla de abajo convierte shocks gaussianos i.i.d. (independientes, idénticamente distribuidos) en rendimientos agrupados y de colas anchas deslizando un solo mando de retroalimentación. Lee el exceso de curtosis en vivo (cuánto más anchas son las colas que en una distribución normal, que tiene exceso de curtosis $0$).

Deslízalo. Puedes aterrizar el exceso de curtosis en $1$, en $4$, en $9$ — todo un rango de objetivos «de aspecto realista» — con un solo parámetro. Así que si tus datos reales resultan tener exceso de curtosis $4.7$, «mi MBA casa la curtosis $4.7$» es una afirmación sobre tu dial, no sobre los mercados. El modelo siempre iba a poder acertarlo. Un objetivo que un modelo flexible siempre puede alcanzar no tiene peso probatorio alguno.

Cuándo usarlo

Usa esta distinción como filtro en cada resultado de MBA que reportes. Antes de que cualquier gráfico entre en el artículo, pregunta: ¿fue este rasgo un objetivo de calibración? Si sí, pertenece a la sección de «calidad del ajuste» y solo demuestra que el optimizador funcionó. Si no, es una predicción genuina y pertenece a «validación». En el momento en que no puedas responder a la pregunta, para — has perdido la pista de tus grados de libertad, que es exactamente cuando se cuela el autoengaño.

Hechos estilizados fuera de muestra

La primera prueba de verdad es la obvia una vez que has nombrado el pecado: validar contra hechos o datos que el modelo nunca vio durante la calibración.

La analogía. Volvamos a nuestro estudiante memorizador — ahora entrégale un examen totalmente nuevo, escrito después de que estudiara. Esa nota significa algo. La evaluación fuera de muestra es el examen nuevo.

Hay dos modalidades, y los buenos artículos de MBA usan ambas.

(a) Reservar momentos (hechos estilizados). Recuerda los hechos estilizados canónicos — las huellas estadísticas recurrentes de los rendimientos reales. El boletín de abajo los contrasta con un simple paseo aleatorio gaussiano, que no tiene ninguno de ellos.

La jugada de validación: calibra a un subconjunto, reserva el resto. Ajusta tu MBA a, digamos, solo las colas anchas y la agrupación de volatilidad. Luego — sin tocar los parámetros de nuevo — comprueba si los hechos reservados emergen gratis: ¿aparece el efecto apalancamiento (la volatilidad sube más tras caídas de precio que tras subidas)? ¿Surge sin que se lo pidas la gaussianidad por agregación (los rendimientos parecen más normales cuando los mides en horizontes más largos)? Si hechos que nunca apuntaste salen del mecanismo por sí solos, el mecanismo está haciendo trabajo real. Si no lo hacen, tu modelo reproduce precisamente lo que metiste a la fuerza y nada más — una tabla de consulta con pasos extra.

(b) Datos fuera de muestra. Calibra en un trozo y valida en otro que el modelo nunca vio:

• un periodo de tiempo distinto (calibra 2005–2015, valida 2016–2024),
• un activo distinto (calibra en renta variable, comprueba que los hechos se sostienen en divisas),
• un régimen distinto (calibra en mercados tranquilos, prueba si la dinámica de los cracs es sensata).

Ejemplo resuelto — calibra en 3 momentos, puntúa en 3 distintos. Supón que calibras el MBA a tres momentos objetivo y el ajuste es excelente:

Ahora congela $\theta$ y puntúa tres momentos que reservaste:

La tabla de la izquierda parece triunfal; la de la derecha es el reporte honesto. Un efecto apalancamiento del signo correcto y magnitud aproximada que nunca apuntaste es una victoria real. Pero que la volatilidad de la volatilidad falle por un $43\%$ te dice que el motor de volatilidad del modelo es demasiado simple — un hallazgo que habrías enterrado por completo si solo hubieras mostrado la tabla de calibración. La brecha entre las dos tablas es la validación.

Cuándo usarlo

Reserva siempre algo. Con hechos estilizados en abundancia y décadas de datos en distintos activos, no hay excusa para una evaluación enteramente dentro de muestra. Calibra a los hechos que tu mecanismo apunta más directamente; reserva como conjunto de prueba los hechos posteriores y de apariencia emergente (apalancamiento, gaussianidad por agregación, lo entre activos). Cuanto más sorprendente sea el hecho reservado que el modelo clava, más credibilidad te has ganado — y las sorpresas solo son posibles fuera de muestra.

Identificabilidad y análisis de sensibilidad

Supón que el modelo pasa algunas pruebas fuera de muestra. Ahora quieres interpretarlo — «el parámetro de comportamiento de rebaño es alto, lo que explica las colas anchas». Cuidado. Esa historia solo es legítima si los parámetros son identificables.

Identificabilidad. Un parámetro (o conjunto de parámetros) está identificado si los datos podrían, en principio, fijarlo: valores verdaderos distintos producen salidas distintas, así que observar las salidas te permite recuperar el valor. Está no identificado si valores muy distintos de $\theta$ producen las mismas salidas (o indistinguibles) — entonces ninguna cantidad de datos puede diferenciarlos, y cualquier narrativa que cuelgues de un valor ajustado concreto carece de fundamento. Este es el problema de mal planteamiento / identificabilidad de la última lección, ahora con sombrero de validación.

La analogía. Dos recetas — una con dos tazas de harina y un huevo, otra con una taza de harina y dos huevos — que hornean pasteles idénticos. Prueba el pastel y no puedes decir qué receta se usó. Si las salidas de tu MBA son el pastel, un parámetro no identificado es el compromiso harina-huevo: indeterminable a partir del resultado. Contar una historia segura sobre «el parámetro de la harina» es entonces pura imaginación.

El análisis de sensibilidad es cómo detectas esto. Varía cada mando a lo largo de un rango plausible, manteniendo los demás fijos, y mide cuánto se mueve cada momento de salida:

• Un parámetro al que las salidas son insensibles está efectivamente no identificado — los datos no pueden fijarlo, así que podría ser cualquier cosa y el modelo ni se enteraría. O bien fíjalo desde la teoría o bien descártalo; no cuentes una historia sobre su valor ajustado.
• Un parámetro que mueve todo es de alto apalancamiento: hay que fijarlo con cuidado (calibración estrecha, idealmente estimaciones externas), porque errores pequeños en él cascadean en grandes errores de salida.

Ejemplo resuelto — una tabla de sensibilidad. Perturba cada parámetro un $+10\%$ y registra el cambio resultante en dos momentos de salida:

La tasa de cancelación $c$ mueve las salidas esencialmente nada. Eso significa que la calibración no puede haberla estimado de forma significativa — cualquier valor ajusta más o menos igual de bien — así que una frase como «la tasa de cancelación ajustada de $0.07$ explica la microestructura del mercado» es ficción. Mientras tanto $\kappa$ domina: un error del $10\%$ en $\kappa$ dispara la curtosis casi un $40\%$, así que todo tu resultado descansa en acertar con $\kappa$.

Cuándo usarlo

Ejecuta un análisis de sensibilidad antes de interpretar un solo parámetro — es el seguro más barato contra las afirmaciones excesivas. También vale de paso como herramienta de reducción de modelo: un mando que las salidas ignoran es un grado de libertad que puedes eliminar, encogiendo gratis tu superficie de sobreajuste. Y te dice dónde gastar esfuerzo: fija los parámetros de alto apalancamiento con datos externos, y deja de angustiarte por los planos.

El Sharpe desinflado de los MBA: contar tus intentos

Aquí viene el corte más profundo, el que conecta todo de vuelta con el curso generativo. El Sharpe desinflado te enseñó que la ventaja aparente de una estrategia debe descontarse por cuántas estrategias probaste — prueba suficientes reglas aleatorias y una parecerá brillante por azar. La misma lógica de pruebas múltiples gobierna los MBA.

La analogía. Lanza $1000$ monedas diez veces cada una y la mejor sale cara nueve veces. ¿Espectacular? No — con $1000$ intentos, una racha casi perfecta es el resultado esperado bajo puro azar. La racha es evidencia de cuántas monedas lanzaste, no de una moneda mágica. Un MBA que casa los datos tras una larga búsqueda de parámetros es esa moneda con suerte.

Los dos contadores que inflan tu ajuste aparente:

1. Grados de libertad (flexibilidad del modelo). Cada tipo de agente, cada regla, cada parámetro libre expande el espacio de comportamientos que el modelo puede producir. Un MBA suficientemente flexible puede casar cualquier conjunto de hechos estilizados — así que bajo la hipótesis nula «este modelo es solo una función flexible sin contenido económico real», casar los datos es el resultado esperado, no una sorpresa. Un ajuste lo bastante flexible es poco informativo del mismo modo que una racha de $1000$ monedas es poco informativa.
2. Número de intentos (grados de libertad del investigador). Cada ejecución de calibración, cada «déjame probar a añadir un agente chartista», cada reparametrización es un intento. Ejecuta los suficientes y una configuración casa bien por suerte. Si no cuentas y reportas esos intentos, tu único resultado reluciente es un lanzamiento de moneda con sesgo de supervivencia.

En conjunto: un MBA flexible que casa los datos es lo que esperarías bajo la nula, no evidencia en su contra. Para que el ajuste signifique algo, debes penalizarlo por la flexibilidad y por la búsqueda — el análogo en MBA de desinflar una ratio de Sharpe.

La crítica de Windrum et al. Este no es un campo asentado y ordenado. Windrum, Fagiolo y Moneta (2007) expusieron por qué la validación empírica de MBA es genuinamente difícil y disputada: no hay un estándar de validación consensuado, los MBA sufren problemas de identificación crónicos (muchos conjuntos de parámetros, la misma salida — exactamente nuestro pastel de harina y huevos), y son fáciles de sobreparametrizar hasta la imposibilidad de falsación. El trabajo honesto con MBA trata la validación como un problema metodológico abierto, no como una casilla que marcar.

Dos respuestas parciales de esa literatura:

• Docking (alineamiento de modelos). Reproduce los resultados publicados de otro modelo con tu propia implementación, o muestra que dos modelos producen la misma salida en condiciones equiparadas. Si tu modelo construido de forma independiente hace «docking» (acopla) con uno establecido, eso es corroboración entre modelos — una comprobación de errores de implementación y una forma de replicación. (Piénsalo como validación cruzada entre modelos en lugar de entre pliegues de datos.)
• Validación comparativa. No preguntes «¿ajusta mi modelo?» de forma aislada — pregunta «¿ajusta mejor que un modelo más simple, teniendo en cuenta sus parámetros extra?». Un MBA de $12$ parámetros que no ajusta mejor que uno de $3$ ha gastado nueve grados de libertad en nada.

Este es el compromiso central: parsimonia frente a fidelidad. Más agentes y mandos siempre mejoran el ajuste dentro de muestra (más libertad siempre ajusta mejor) — pero cada mando injustificado es un grado de libertad que ajusta ruido, infla tu recuento de intentos y erosiona la identificabilidad. La disciplina: cada tipo de agente y parámetro debe ganarse su sitio — justificado por la economía o exigido por un hecho reservado — no añadido porque acercó un poco la curtosis.

Cuándo usarlo

Lleva un recuento corriente de tus intentos y tus grados de libertad, igual que un quant cuidadoso registra cada variante de backtest. Antes de afirmar que un ajuste es significativo, hazte la pregunta de la desinflación: dado lo flexible que es este modelo y cuántas configuraciones probé, ¿qué tan sorprendido debería estar realmente de que case? Si la respuesta honesta es «no mucho», tienes una racha de $1000$ monedas, no un descubrimiento. Echa mano del docking y la validación comparativa cuando un ajuste de modelo único parezca demasiado limpio para fiarte.

Recapitulación

Toda la lección es un solo credo, trasladado de la disciplina del Sharpe desinflado a la modelización basada en agentes: casar no es validar, y un modelo lo bastante flexible como para casar cualquier cosa no ha explicado nada.

• Casar no es validar. Reproducir tus objetivos de calibración es circular — ajustaste el modelo para acertarlos. Un solo mando puede alcanzar casi cualquier curtosis, así que «casa con los datos» es barato.
• Hechos estilizados fuera de muestra. La prueba de verdad: reserva hechos (calibra a algunos, comprueba que el resto emerge sin pedirlo) y reserva datos (periodo, activo, régimen nuevos). La brecha entre las tablas dentro de muestra y reservada es la validación.
• Identificabilidad y sensibilidad. Si distintos $\theta$ dan las mismas salidas, el parámetro está no identificado — no cuentes historias sobre su valor ajustado. El análisis de sensibilidad (perturba cada mando, observa las salidas) señala las direcciones planas y no identificadas y las de alto apalancamiento.
• El Sharpe desinflado de los MBA. Cuenta tus grados de libertad y tus intentos. Un modelo flexible que casa los datos es lo esperado bajo la nula, no evidencia. Un ajuste perfecto de $12$ parámetros dentro de muestra es una bandera roja. Apóyate en el docking, la validación comparativa y la parsimonia.