La brecha sim-to-real y la evaluación honesta

Os habéis pasado las últimas cinco lecciones construyendo agentes profundos que aprenden a ejecutar órdenes madre y a cotizar mercados de doble cara. Algunos de ellos, en el backtest, son espectaculares. Sharpe de 4. Curva de capital suave. Inventario revirtiendo limpiamente a la media en torno a cero. Sois, francamente, unos genios, y estáis a punto de quedaros muy, muy pobres.

He aquí la broma brutal que está en el corazón de todo este campo: vuestro agente no aprendió a operar. Aprendió a operar vuestro simulador. Cada defecto del entorno que construisteis — cada sitio donde la simulación cobra de menos por la agresividad, ignora vuestra huella, os ejecuta a precios imposibles o reproduce un mercado que no os ve venir — es un agujero legal, y un agente de deep RL es un buscador de agujeros incansable, creativo y completamente amoral. Esta es la lección que corona el curso, y su trabajo es bajarle los humos a todo lo anterior. No porque los métodos estén mal, sino porque la brecha entre un backtest en verde y un P&L en verde es donde van a morir las carreras, los fondos y muchísimo dinero. Aprendamos a cruzarla con honestidad.

La brecha sim-to-real, definida

Imaginad a un estudiante que consigue la plantilla de respuestas del examen una semana antes. Borda la prueba, el primero de la clase, y concluye que es un físico brillante. Luego le entregáis un problema real, nunca visto, y se queda en blanco. Nunca aprendió física — aprendió este examen. Eso es la brecha sim-to-real: el abismo entre el rendimiento en el entorno de entrenamiento y el rendimiento en el mundo real, abierto por el agente al aprender las manías del entorno en lugar de la tarea subyacente.

Con precisión: un agente de RL maximiza el retorno esperado bajo la dinámica del entorno en el que entrena. Si la función de transición $P(s' \mid s, a)$ y la recompensa $r(s,a)$ de vuestro simulador difieren de la verdadera dinámica del mercado en vivo $P^\star, r^\star$ — y siempre difieren, porque ningún simulador es el mercado — entonces la política $\pi^\star$ óptima para vuestra simulación no es la política óptima en real. El agente ha resuelto el MDP equivocado. Peor aún, lo ha resuelto exactamente, exprimiendo hasta la última gota de ventaja que permitía vuestra física imperfecta. Cuanto más capaz sea vuestro aproximador de funciones (y una red profunda es muy capaz), más a fondo explota la brecha.

¿Por qué es esto peor para el RL que para el aprendizaje automático supervisado corriente? Dos razones, ambas estructurales:

• El agente elige su propia distribución de entrenamiento. A un modelo supervisado se le alimenta un conjunto de datos fijo; sobreajusta, claro, pero a una distribución que le entregasteis. Un agente de RL actúa, y sus acciones determinan qué estados visita a continuación. Explora activamente los estados que le gustan — aquellos donde vuestra simulación es generosa — y gravita hacia los rincones del entorno donde la física es más endeble. No es una víctima pasiva del desplazamiento de distribución; es un prospector activo de él.
• El espacio de búsqueda de políticas es enorme. El aprendizaje supervisado busca sobre funciones de una entrada fija a una etiqueta. El RL busca sobre políticas — estrategias enteras de comportamiento a lo largo del tiempo, en un espacio que crece de forma combinatoria con el horizonte y el conjunto de acciones. Más grados de libertad significan muchísimas más maneras de encontrar una “solución” espuria que encaja con los accidentes del simulador en lugar de con la estructura del mercado.

Cuándo usarlo

El encuadre sim-to-real es la lente para cada decisión de evaluación de este curso. Antes de fiaros de cualquier número de backtest de cualquiera de las lecciones 1–5, haceos la pregunta sim-to-real: ¿qué diferencia entre mi entorno y el mercado en vivo podría estar generando este resultado? Si no podéis nombrar el mecanismo por el cual un número sobreviviría al contacto con la realidad, tratadlo como ficción hasta que se demuestre lo contrario.

El modelo de impacto de mercado es el meollo

De todas las formas en que un simulador puede mentir, una domina: el modelo de impacto de mercado. He aquí el problema inescapable. Un backtest reproduce datos históricos — pero la historia ocurrió sin vuestra orden dentro. La cinta que estáis reproduciendo nunca sintió vuestra compra de un millón de acciones. Así que el simulador debe inventarse qué habría pasado: cuánto movió vuestra orden el precio (impacto), si os ejecutaron y cuándo (probabilidad de ejecución y posición en la cola), y cómo reaccionó el libro. Esa física inventada es el modelo de impacto, y es la suposición más consecuente y menos observable de todo el proceso.

Equivocaos en la dirección amable y las consecuencias son catastróficas justo de la manera que a un agente de RL le encanta:

• Cobrad de menos el impacto temporal y un agente de ejecución profundo aprende a estampar el libro — operar tamaños enormes en trozos únicos — porque la simulación apenas castiga la agresividad. En real, esa agresividad paga un impacto convexo y real y la estrategia se desangra.
• Ignorad la huella del agente y un agente creador de mercado asume que sus propias cotizaciones nunca mueven el mercado y siempre se ejecutan al precio publicado sin selección adversa. En real, en cuanto publica una cotización ajustada, los operadores informados lo despluman (operan contra él precisamente cuando se equivoca), y su “captura de diferencial garantizada” se convierte en una pérdida garantizada.
• Saltaos la posición en la cola y la simulación ejecuta vuestra orden limitada pasiva en el instante en que el precio la toca. La realidad: estáis 4.000 acciones dentro de la cola a ese precio, el nivel negocia 1.000 acciones, el precio se mueve y os quedáis con nada — salvo cuando el mercado está a punto de arrollaros, en cuyo caso os ejecutan al completo justo antes de la pérdida. La selección adversa es la cruel asimetría de la cola.
• Saltaos las ejecuciones parciales y la latencia y el agente asume que sus órdenes llegan al instante y se completan atómicamente. En real, hay un retardo entre la decisión y la ejecución, las órdenes se ejecutan a trozos, y el precio que visteis no es el precio que obtenéis.

Un ejemplo resuelto — ejecuciones amables frente a realistas

Tomad un agente creador de mercado que cotiza una acción, publicando un bid pasivo para capturar el diferencial. A lo largo de un día de backtest publica 10.000 bids que el precio toca. Supongamos que el medio diferencial cotizado que intenta capturar es de $0,02 por acción, 100 acciones por golpe.

Simulación amable (la mentira): cada toque se ejecuta, al completo, al precio publicado, sin selección adversa. El agente “captura” el medio diferencial en los 10.000 toques:

• Captura bruta de diferencial: 10.000 × 100 × $0,02 = $20.000.
• Selección adversa modelada: $0. Comisiones modeladas: ignoradas.
• P&L reportado: +$20.000. Precioso. A producción.

Simulación realista (la física): la posición en la cola significa que solo el 60 % de los toques se ejecuta de verdad (el resto, la cola que tenéis delante se come las impresiones) → 6.000 ejecuciones. Y las ejecuciones están adversamente seleccionadas: os ejecutan preferentemente cuando el precio está a punto de moverse en vuestra contra. Digamos que el movimiento adverso realizado promedia $0,035 por acción en las operaciones ejecutadas — mayor que los $0,02 que esperabais ganar. Añadid una comisión de bolsa de $0,001 por acción.

• Captura bruta de diferencial en ejecuciones reales: 6.000 × 100 × $0,02 = $12.000.
• Coste de selección adversa: 6.000 × 100 × $0,035 = −$21.000.
• Comisiones: 6.000 × 100 × $0,001 = −$600.
• P&L realizado: 12.000 − 21.000 − 600 = −$9.600. Una pérdida.

Mismo agente, mismas acciones, mismo día. Lo único que cambió fue la honestidad del modelo de ejecución — y dio la vuelta a un ganador de $20.000 para convertirlo en un perdedor de $9.600. El agente no empeoró; el simulador dejó de mentir. Esto es por qué el modelado del impacto y de la ejecución es el meollo, no una nota al pie.

No estacionariedad y cambio de régimen

En un videojuego, las reglas nunca cambian. La física del Comecocos en 2024 es la física del Comecocos en 1980. Por eso el RL conquistó Atari, el Go y StarCraft: el entorno es estacionario — su dinámica no deriva — así que una política aprendida sobre mil millones de fotogramas sigue siendo óptima en el fotograma mil millones y uno. El mercado no os concede semejante misericordia.

Los mercados son no estacionarios: la distribución generadora de datos deriva con el tiempo. La microestructura cambia (los tamaños de tick se reforman, abren nuevos centros de negociación, las carreras armamentísticas de latencia escalan). Los regímenes de volatilidad voltean — la plácida monotonía de 2017 y las convulsiones de marzo de 2020 no son extracciones de la misma distribución. La liquidez migra. Una política ajustada a datos de 2015–2019 está resolviendo un MDP sutilmente diferente del que está en vivo en 2020–2024; sus $P^\star$ y $r^\star$ se han movido bajo sus pies. El mundo en forma cerrada donde una única política óptima existe para siempre sencillamente no es donde vivís.

Y luego está la parte que no tiene análogo en ningún juego de mesa: el mercado es adversarial y adaptativo. Los demás participantes no son una dinámica fija del entorno — son otros agentes que aprenden, y se adaptan a vosotros. Si vuestro agente de ejecución es predecible (siempre carga al principio en la apertura, siempre retira cotizaciones en el mismo umbral de inventario), otros jugadores detectarán el patrón y operarán contra él — adelantándose a vuestras compras, desvaneciéndose ante vuestras cotizaciones. En términos de teoría de juegos, no estáis jugando contra la naturaleza; estáis en un juego no estacionario donde las estrategias de vuestras contrapartes coevolucionan con las vuestras. Una política que era rentable se convierte en una firma, y una firma se convierte en un lastre en el momento en que alguien la aplica ingeniería inversa.

La evaluación honesta — la disciplina

Así que vuestro backtest es sospechoso, vuestro modelo de impacto es una conjetura y el mundo no se está quieto. ¿Cómo sabéis alguna vez si tenéis algo real? Adoptáis una disciplina — una lista de comprobación de evaluaciones diseñada no para halagar a vuestro agente sino para intentar matarlo. La mentalidad es adversarial: asumid que vuestra ventaja es falsa y exigid que sobreviva a un guante de pruebas. Seis prácticas, en orden de con qué frecuencia se saltan (la más saltada primero):

(1) Comparad siempre contra el punto de referencia analítico — nunca contra “no hacer nada”. Este es el pecado capital y el más fácil de cometer. Vuestro agente creador de mercado profundo gana dinero — ¿comparado con qué? ¿Comparado con no operar? Por supuesto que bate a no operar; ese es un listón sin sentido. La comparación honesta es contra el punto de referencia fuerte, simple y en forma cerrada que ya existe para vuestro problema: Almgren–Chriss o TWAP/VWAP para la ejecución, Avellaneda–Stoikov para la creación de mercado. Si vuestro agente de deep RL no puede batir una fórmula analítica de una línea fuera de muestra, no tenéis un resultado — tenéis una forma carísima de perder contra una fórmula. (Y recordad de la lección de ejecución: en el propio mundo asumido por la fórmula, un agente de RL correcto debería simplemente volver a deducir el punto de referencia, no batirlo.)

(2) Validación cruzada con avance hacia delante / purgada y con embargo — para detener las fugas. La validación cruzada k-fold ingenua filtra el futuro al pasado en datos de series temporales, porque la etiqueta de una muestra se realiza sobre una ventana hacia delante. Si la ventana de etiqueta de una muestra de entrenamiento se solapa con el pliegue de prueba, el modelo está literalmente entrenado sobre la respuesta con la que se le está evaluando. El arreglo (López de Prado): purgar las muestras de entrenamiento cuyos horizontes de etiqueta se solapan con el pliegue de prueba, y poner un embargo a una banda extra justo después para matar la fuga por correlación serial. La evaluación con avance hacia delante — entrenar sobre el pasado, probar sobre el futuro estrictamente posterior, ir avanzando — es la columna vertebral que respeta el tiempo por debajo de todo ello.

(3) Sharpe desinflado — pagad el impuesto del testeo múltiple. He aquí el asesino silencioso. No probasteis una función de recompensa — probasteis 500. Distinta aversión al riesgo λ, distintas características de estado, distintos tamaños de red, distintas penalizaciones terminales. Escogisteis la mejor. Pero si probáis 500 configuraciones sobre la misma historia, la mejor parece estupenda por pura suerte, incluso cuando ninguna tiene ventaja real: bajo la hipótesis nula (Sharpe verdadero = 0), el máximo Sharpe esperado a lo largo de N pruebas asciende de forma constante con N. El Sharpe desinflado recorta vuestro mejor Sharpe observado por esta “valla de suerte” creciente. Si vuestro ganador no supera la valla para el número de configuraciones que de verdad probasteis, es estadísticamente indistinguible de la suerte — sobreajuste, no alfa.

(4) Fuera de muestra sobre un régimen reservado. Más allá de las ventanas deslizantes, reservad deliberadamente un régimen entero que nunca tocasteis durante el desarrollo — una crisis, una monotonía de baja volatilidad, un año distinto — y probad ahí. Fuerte dentro de muestra, fuerte fuera de muestra en el mismo régimen y luego muere en un régimen reservado es la firma clásica de una política que memorizó un único estado de ánimo del mercado. (5) Paper-trade / shadow-trade. Ejecutad el agente en vivo sobre datos en tiempo real sin dinero real (o con un tamaño microscópico), generando las órdenes que enviaría y puntuándolas contra las ejecuciones reales. Esta es la primera vez que vuestro agente se topa con el impacto y la latencia reales que nunca pudo simular. (6) Ablaciones frente al punto de referencia. Quitad los componentes del agente de uno en uno — eliminad la señal alfa, congelad el sesgo de inventario, reemplazad la red por una política lineal — y volved a medir contra el punto de referencia analítico. Si quitar vuestro componente más sofisticado no perjudica, ese componente era decoración, y el punto de referencia os estaba sosteniendo.

Cuándo usarlo

Esta disciplina no es un pulido opcional para la redacción final — es el proceso de investigación. Pasad el guante de pruebas mientras desarrolláis, no al final: comparad contra el punto de referencia desde el primer día, usad CV purgada para cada decisión de selección de modelo, llevad la cuenta de cuántas configuraciones habéis probado para poder desinflar con honestidad, y reservad un régimen que os neguéis a espiar. Los equipos que se saltan esto no descubren que su ventaja era falsa en el laboratorio; lo descubren en producción, con dinero real.

Disciplina de despliegue

Supongamos que vuestro agente sobrevivió al guante de pruebas: bate a Avellaneda–Stoikov fuera de muestra, supera la valla del Sharpe desinflado, aguanta en un régimen reservado y hace shadow-trading de forma limpia. Enhorabuena — ahora os toca ser paranoicos en producción, porque el mercado en vivo sigue siendo el único lugar que vuestro simulador nunca visitó. El despliegue es su propia disciplina:

• Empezad pequeño. Desplegad a una fracción minúscula del tamaño objetivo. El primer trabajo del trading en vivo no es ganar dinero; es medir la brecha sim-to-real con ejecuciones reales y pérdidas pequeñas, antes de escalar.
• Límites de posición y de pérdida. Topes duros sobre el inventario, el tamaño por operación y la pérdida diaria. El agente no tiene derecho a apostar la firma solo porque su función de valor esté confiada.
• Un interruptor de emergencia. Una parada dura, accionable por un humano (y autoaccionable), que aplana las posiciones y detiene el agente al instante. Innegociable.
• Monitorización en vivo frente a simulación. Comparad continuamente las ejecuciones realizadas, el deslizamiento y el P&L contra lo que el simulador predijo para las mismas acciones. Si lo vivo diverge de la simulación más allá de un umbral, parad — la brecha que temíais se ha abierto, y cada operación adicional es ahora terreno inexplorado.
• Cadencia de reentrenamiento continuo. Como el mercado es no estacionario, una política congelada decae. Reentrenad y revalidad según un calendario (y tras rupturas de régimen), volviendo a pasar el guante de pruebas completo de evaluación honesta cada vez — nunca intercambiéis en caliente un modelo que no lo haya superado.
• Humildad sobre la capacidad. Una ventaja que funciona con $1M de tamaño puede desaparecer con $100M, porque vosotros os convertís en el impacto. Estimad la capacidad con honestidad y no escaléis más allá de donde vuestra propia huella se come el alfa.

Cuándo usar deep RL siquiera

Hora de la frase más honesta del curso: la mayoría de las veces, el punto de referencia analítico de una línea gana, y ese es el resultado correcto y publicable. Echad mano de un agente de deep RL solo cuando tengáis razones específicas y defendibles de que la forma cerrada deja dinero sobre la mesa — una señal genuina de horizonte corto a la que condicionarse, un impacto no lineal o dependiente del régimen que el modelo analítico no puede expresar, restricciones duras y no suaves, o una cesta correlacionada de alta dimensión. Incluso entonces, el agente profundo tiene que batir el punto de referencia fuera de muestra, tras la desinflación, tras el shadow-trading — o desplegáis el punto de referencia. “Probamos deep RL y Avellaneda–Stoikov / Almgren–Chriss era igual de bueno una vez descontada la complejidad y el riesgo” no es un fracaso; es un hallazgo riguroso y valioso que salva a vuestra firma de desplegar una caja negra frágil sin ventaja alguna. La marca de un experto no es amar el método más sofisticado — es saber exactamente cuándo el simple ya es óptimo y tener la disciplina de decirlo.

Hacia dónde va esto

Habéis completado el arco: desde el control tabular hasta la aproximación de funciones profunda, pasando por las inestabilidades del DQN sobre el estado financiero, los gradientes de política y el actor–crítico para el control continuo, el deep RL para la ejecución, el deep RL para la creación de mercado — y finalmente esto, la lección que os dice que desconfiéis de todo ello hasta que sobreviva al contacto con la realidad. Eso no es cinismo; es la postura de trabajo de todo profesional serio. La brecha sim-to-real, el meollo del modelo de impacto, la no estacionariedad, el guante de pruebas de la evaluación honesta y la paranoia de despliegue son la diferencia entre un backtest precioso y una estrategia que sobrevive.

Esta fue la última lección lectiva del curso. Lo que queda es el Examen final — una tirada graduada y a una sola oportunidad a lo largo de todo el curso: aproximación de funciones e inestabilidad del DQN, gradientes de política y actor–crítico, agentes de ejecución y de creación de mercado, y todo lo de este broche sobre por qué el backtest en verde es el principio del trabajo, no el final. Traed el escepticismo que acabáis de aprender. Es lo más valioso de vuestra caja de herramientas.