Lo que un ABM te da y un backtest no puede

Has pasado todo este curso construyendo un mercado desde cero: un zoológico de agentes, mandos calibrados, hechos estilizados validados. Es mucho trabajo. Un backtest — reproducir tu estrategia sobre una cinta histórica de precios y ver lo que habría ganado — es muchísimo menos trabajo. Así que una pregunta justa, ligeramente hostil, merece respuesta antes del examen final: ¿para qué molestarse?

Esta es la lección del premio. Vamos a mirar las tres cosas que un modelo basado en agentes (ABM) puede hacer y que un backtest categóricamente no puede — no «hace peor», sino que no puede, ni siquiera en principio — y cerraremos comparando honestamente los ABM con los modelos generativos profundos que conociste antes, para que sepas qué herramienta coger para cada trabajo.

El punto ciego del backtest: los contrafactuales

Analogía. Un backtest es una grabación de un partido de fútbol. Puedes volver a verlo eternamente, congelar cualquier instante, contar los pases. Pero nunca puedes preguntarle a la grabación «¿y si el campo hubiera sido más ancho?» o «¿y si el otro equipo hubiera presionado más arriba?». La cinta solo conoce el partido que ocurrió. Para responder a esas preguntas necesitarías a los jugadores de verdad — algo capaz de reaccionar y volver a jugar bajo condiciones nuevas.

Definición — un contrafactual. Un contrafactual es una pregunta sobre un mercado que nunca existió: una regla distinta, una estructura distinta, o una mezcla distinta de participantes. «¿Cuál habría sido la volatilidad si el tamaño de tick fuera la mitad de grande?» es un contrafactual. No es una pregunta sobre el pasado; es una pregunta sobre un pasado posible distinto.

Aquí está el meollo del asunto, en dos hechos que ya conoces de lecciones anteriores:

1. La cinta histórica es un único camino realizado. La realidad ejecutó el experimento una sola vez. Obtuviste una secuencia de precios del enorme espacio de secuencias que el mercado podría haber producido. (Lo llamamos el problema de la historia única.) Un backtest solo puede estudiar esa única extracción.
2. La cinta no reacciona. Incluso dejando de lado que es un único camino, la grabación está congelada. Cambia algo — el tamaño de tu orden, una regla del mercado, la mezcla de agentes — y la cinta no hace nada, porque es un objeto terminado.

Un ABM rompe ambas limitaciones a la vez porque es generativo (puede producir tantas historias nuevas como quieras — muchos caminos, no uno) y mecanicista (el precio sale de agentes que siguen reglas que tú escribiste, así que puedes cambiar esas reglas y volver a ejecutar). Esa segunda propiedad es el superpoder. Un contrafactual no es más que «edita el mecanismo, vuelve a darle al play».

El contrafactual más sencillo de todos: cambiar quién está operando. Abajo, la población es el mando. No hay ninguna cinta histórica que tenga una versión de sí misma con «un 30 % más de operadores de momentum» — pero el ABM sí, al instante. Arrastra los controles deslizantes y observa cómo sale un mercado distinto por el otro lado.

Fíjate en lo que acabas de hacer: preguntaste «¿qué tipo de mercado obtienes de esta mezcla de participantes?» y obtuviste una respuesta — un camino de precios y un número de volatilidad realizada — para un mercado que nunca ha existido. Prueba la Mezcla estabilizadora, luego Guiado por tendencia y luego Ruido puro, y observa cómo oscila la volatilidad realizada. Esa lectura es un contrafactual. Ningún backtest del planeta puede producirla.

Cuándo usarlo

Recurre a la maquinaria contrafactual siempre que la decisión que tienes delante implique cambiar algo del mundo, no solo elegir una estrategia dentro de un mundo fijo. «¿Cuál de mis estrategias es la mejor con los datos que tengo?» — el backtest sirve. «¿Qué pasa si cambian las reglas del juego que genera los datos?» — necesitas un modelo que reaccione. El resto de esta lección son tres sabores de esa pregunta.

Estructura de mercado contrafactual

Analogía. Una ciudad quiere saber si añadir un semáforo de giro a la izquierda en un cruce reducirá los accidentes. No pueden averiguarlo releyendo los informes de accidentes del año pasado — esos ocurrieron bajo la antigua sincronización de semáforos. Tienen que simular el cruce con la nueva regla y ver cómo se comportan los conductores simulados. Las bolsas y los reguladores se enfrentan al problema idéntico, y un ABM es su simulador de tráfico.

Definición — estructura de mercado contrafactual. Este es el superpoder de la política y el diseño de bolsas: cambia una regla del propio mercado y luego mide el efecto emergente sobre los spreads, la profundidad, la volatilidad o la frecuencia de desplomes. Los «agentes» se mantienen más o menos iguales; editas el entorno en el que operan. Reglas candidatas a retorcer:

Por qué un backtest categóricamente no puede hacer esto. Los datos históricos se generaron bajo las reglas antiguas. Una cinta grabada con un tick de $0.01 contiene cero información sobre lo que produciría un tick de $0.005, porque los agentes que hicieron esa cinta estaban optimizando contra el mundo de $0.01. Meter datos de reglas antiguas en un análisis de «regla nueva» es como predecir el tráfico bajo un nuevo límite de velocidad a partir de imágenes grabadas bajo el antiguo — el comportamiento de los conductores está incrustado.

Ejemplo resuelto — una reducción del tamaño de tick

Supón que una bolsa está considerando reducir a la mitad su tamaño de tick, de $0.02 a $0.01, en una acción que cotiza en torno a $50. Calibras tu ABM al mercado actual (de $0.02), confirmas que reproduce el spread y la profundidad reales, luego cambias una línea — el tick — y vuelves a ejecutar. Salida ilustrativa:

La historia que cuentan los números: el spread se reduce aproximadamente a la mitad (bueno para los pequeños operadores), pero la profundidad mostrada cae a menos de la mitad porque los creadores de mercado, ahora capaces de mejorar la cotización por una décima de centavo, publican menos tamaño en cada nivel. El volumen sube ligeramente; la volatilidad sube un poco al moverse más por operación un libro más fino. Eso es un compromiso estructural que un regulador puede sopesar — y no había forma de leerlo de la cinta antigua.

Cuándo usarlo

Usa los contrafactuales estructurales cuando la bolsa o el regulador sea tu cliente, o cuando tu propia ventaja dependa de un cambio de regla que se avecina (un piloto de tamaño de tick, un nuevo badén de velocidad). La disciplina: calibra a fondo el régimen actual, cambia exactamente una regla e informa de rangos, no de estimaciones puntuales.

Pruebas de estrés de flash crash y bucles de retroalimentación

Analogía. Los ingenieros aeronáuticos no certifican un ala revisando los vuelos que no se estrellaron. Ponen un ala en un banco de pruebas y la doblan hasta que falla, a propósito, para encontrar el punto de rotura. Un backtest es el libro de bitácora de los vuelos que ocurrieron; un ABM es el banco de estrés donde puedes fabricar la tormenta y ver cómo se pandea la estructura.

Definición — prueba de estrés de bucle de retroalimentación. Esto es usar el ABM para fabricar y diseccionar dinámicas patológicas — cascadas, espirales de liquidez, desplomes — que ningún conjunto de datos histórico contiene con suficiente variedad para estudiar. La palabra clave es bucle de retroalimentación: una cadena en la que un efecto retroalimenta para amplificar su propia causa.

El caso canónico: el Flash Crash (desplome relámpago) del 6 de mayo de 2010. En cuestión de minutos el mercado de renta variable de EE. UU. se desplomó aproximadamente un 9 % y luego rebotó recuperando casi todo, en torno a media hora en total. Ninguna noticia lo justificaba. Lo que ocurrió fue un mecanismo, y es exactamente el tipo de cosa que un ABM está diseñado para reproducir:

1. Un gran programa de venta golpeó un libro fino.
2. La caída desencadenó órdenes de momentum y stop-loss — «vende si cae por debajo de X» automáticas — añadiendo más ventas.
3. Los creadores de mercado retiraron liquidez: al dispararse la volatilidad y no poder distinguir señal de ruido, retiraron sus cotizaciones para no quedar arrollados.
4. Con el libro destripado, la siguiente venta movió el precio aún más — lo que desencadenó más stops y retiró a más creadores… una espiral de liquidez.

Un backtest de una estrategia «a través» del 6 de mayo solo te muestra un garabato aterrador. Un ABM te permite hacer dos cosas que una cinta nunca podría: (a) reproducir el desplome desde el mecanismo — mostrar que este bucle de retroalimentación, dados estos agentes, produce ese colapso — y (b) hacer pruebas de estrés por perturbación — empujar la población o las reglas y ver qué empeora, suaviza o imposibilita la cascada.

Ejemplo resuelto — una espiral de retirada de liquidez

Modela un libro donde los creadores de mercado publican una profundidad que se encoge a medida que sube la volatilidad. Recorre una iteración de retroalimentación a la vez:

Cada fila causa la siguiente: el mayor impacto dispara la volatilidad, que adelgaza el libro, que hace que la venta siguiente golpee más fuerte. Esa es la espiral — y, crucialmente, ahora puedes preguntar «¿y si un cortacircuitos hubiera suspendido la negociación tras el paso 2?» añadiendo esa regla y volviendo a ejecutar. Así es como descubres si una suspensión calma o empeora la dinámica.

Cuándo usarlo

Usa las pruebas de estrés cuando lo que te importa es la cola — gestión de riesgos, ejercicios regulatorios de «qué podría romper el mercado», diseñar un cortacircuitos. La mentalidad: estás cazando modos de fallo y las condiciones que los disparan o amortiguan, no estimando un rendimiento medio. Informa de los mecanismos que encontraste, y mantente humilde respecto a los que no.

Un campo de entrenamiento que responde

Analogía. Un boxeador que solo le pega a un saco pesado parecerá estupendo — el saco nunca se escabulle, nunca contraataca, nunca se adapta. Ponlo en un ring con un oponente vivo y la ilusión se hace añicos. Un backtest histórico es el saco pesado: absorbe tus golpes y nunca reacciona. Un ABM es el compañero de sparring que te devuelve los golpes.

Definición — entorno reactivo vs. no reactivo. Un entorno no reactivo reproduce una secuencia fija sin importar lo que haga tu agente. Un entorno reactivo responde a las acciones de tu agente — otros participantes ven tus órdenes y se ajustan. Un backtest es no reactivo por construcción; un ABM es reactivo por construcción.

Este es el premio del aprendizaje por refuerzo (RL). Recuerda la brecha sim-a-real y el impacto de mercado del prerrequisito de RL profundo: en la realidad, tus propias operaciones mueven el precio (impacto), y una estrategia entrenada donde no lo hacen será peligrosamente sobreoptimista. Un backtest comete exactamente este pecado — ejecuta tus órdenes contra precios históricos como si fueras un fantasma invisible, así que ignora silenciosamente el impacto de mercado y exagera el rendimiento. Peor aún, los mercados reales son no estacionarios (los regímenes cambian), y una cinta fija no puede presentar un adversario adaptativo.

Un ABM arregla ambas cosas: es reactivo (opera, y los demás agentes responden — el precio se aleja de ti) y no estacionario (puedes cambiar regímenes y poblaciones). Así, un agente de RL entrenado dentro de un ABM aprende a manejar el impacto, los adversarios y los cambios de régimen — las cosas que matan en producción a las estrategias entrenadas con backtest. Este es el uso más exigente de un ABM, y es exactamente por lo que marcos como ABIDES (lección 3) exponen la simulación como un entorno de RL al que tu agente puede enchufarse.

Ejemplo resuelto — una orden grande, dos entornos

Necesitas vender 100.000 acciones de una acción cotizada a $50.00 / $50.02 (bid/ask), con unas 2.000 acciones en reposo en cada nivel de precio. Compara:

El backtest enseña una estrategia que es activamente peligrosa: dispara la orden entera, porque la cinta te recompensa por ignorar el impacto. El ABM enseña la verdad — vende a un libro y el libro se aleja corriendo — así que el agente aprende a trocear, dosificar y ocultar, que es lo que sobrevive al contacto con una bolsa real.

Cuándo usarlo

Usa el ABM-como-entorno-de-RL cuando el comportamiento de tu estrategia cambia el mercado — ejecución, creación de mercado, liquidación de órdenes grandes — es decir, siempre que el impacto de mercado sea de primer orden. Si operas tamaños minúsculos en un mercado profundo donde tu impacto es genuinamente despreciable, un backtest puede bastar. En el momento en que el impacto importa, un entorno no reactivo te está mintiendo, y necesitas un compañero de sparring.

ABM vs. modelos generativos: cuándo recurrir a cada uno

Ya has conocido dos formas de construir un mercado sintético: los ABM (este curso) y los modelos generativos profundos (GAN, VAE, difusión — de arriba abajo, aprendidos). La visión madura no es «cuál gana». Es «cuál para cada trabajo». Aquí está el cara a cara honesto:

Lee la tabla como una división del trabajo, no como una competición:

• Los modelos generativos ganan cuando quieres muestreo de escenarios de alta fidelidad y aumento de datos dentro del régimen existente: caminos sintéticos rápidos y realistas contra los que hacer backtest, con los que estresar un modelo de riesgo o aumentar un conjunto de datos escaso. Su kryptonita es que no pueden hablarte de un mundo que nunca vieron, y no reaccionan.
• Los ABM ganan cuando necesitas contrafactuales, mecanismo, pruebas de estrés o entrenamiento reactivo de RL: las cuatro cosas de las que trata esta lección. Su kryptonita es que son lentos, difíciles de calibrar y rara vez igualan la textura por muestra de un modelo generativo.

Y la jugada genuinamente madura: combínalos. Usa un modelo generativo para producir una rica biblioteca de escenarios de fondo realistas, y un ABM para reaccionar a tu agente dentro de esos escenarios, o para plantear las preguntas estructurales de «¿y si cambiaran las reglas?» a las que el modelo generativo es ciego. Mecanismo y fidelidad son complementos.

Cuándo usarlo

Por defecto, usa la herramienta más barata que pueda responder a tu pregunta. ¿Elegir una estrategia en el mercado de hoy? Backtest. ¿Necesitas caminos sintéticos realistas, rápido? Modelo generativo. ¿Necesitas cambiar una regla, fabricar un desplome o entrenar un agente que mueve el precio? ABM — y paga su impuesto de calibración de buena gana, porque nada más puede hacer esos trabajos.

Resumen

Un ABM no es un backtest más sofisticado — responde a una clase distinta de pregunta. Un backtest reproduce la única historia que ocurrió y nunca reacciona; un ABM es generativo y mecanicista, así que puede:

• Responder contrafactuales — preguntas sobre mercados que nunca existieron, porque puedes editar el mecanismo y volver a ejecutar (el mezclador de poblaciones fue el ejemplo más sencillo).
• Evaluar la estructura de mercado — tamaño de tick, cortacircuitos, badenes de velocidad, lit vs. dark — que un backtest no puede, porque sus datos se hicieron bajo las reglas antiguas.
• Estresar bucles de retroalimentación — reproducir y diseccionar flash crashes y espirales de liquidez desde el mecanismo, sin garantizar nunca la seguridad.
• Entrenar agentes de RL que responden — un entorno reactivo y no estacionario que enseña el impacto de mercado en lugar de ocultarlo (al coste de una nueva brecha ABM-a-real).

Y frente a los modelos generativos, son complementos, no rivales: generativo para muestreo rápido de alta fidelidad, ABM para contrafactuales, mecanismo, estrés y entrenamiento reactivo. Cada uno de estos poderes es alquilado, no propio — solo es tan fiable como tu calibración y validación. Con eso, el curso está completo. Al examen.