Aprendizaje por Refuerzo para Trading

El aprendizaje automático supervisado responde a una única pregunta: dado esto, predice aquello. Es un adivino brillante y un decisor inútil. Te pronosticará el retorno de mañana y jamás te dirá cuánto comprar, cuándo parar o qué hacer después de que la operación que acabas de colocar haya empujado el precio. El trading no es un problema de predicción: es un problema de decisión secuencial, jugado contra un adversario que reacciona a cada uno de tus movimientos. La disciplina construida exactamente para esa forma de problema es el aprendizaje por refuerzo (RL): un agente toma acciones, el mundo responde con recompensas y una situación nueva, y el agente aprende una política —una regla que asigna una acción a cada estado— que maximiza la recompensa a largo plazo, no solo en el próximo tick.

Este curso coge el instrumental de RL y lo apunta a los mercados, con honestidad. El RL tiene aquí ventajas genuinas que el aprendizaje supervisado no puede reclamar: optimiza lo que de verdad te importa (el beneficio acumulado ajustado por riesgo, incluido el coste de operar), gestiona el bucle de realimentación en el que tu acción mueve el entorno y expresa de forma natural problemas —ejecución óptima, creación de mercado, dimensionado dinámico— que son de control, no de pronóstico. Pero el RL también amplifica cada peligro del curso de aprendizaje automático que lo precede. Los datos son no estacionarios, el simulador siempre se equivoca en lo que importa, el agente explotará con alegría cualquier recompensa que especifiques mal, y un backtest de RL es aún más fácil de sobreajustar que uno supervisado, porque el agente elige su propia distribución de entrenamiento. El hilo que recorre cada lección es el mismo enemigo de antes —el sobreajuste— con un disfraz nuevo y más astuto.

Este es el recorrido, del planteamiento a la frontera:

• Los mercados como proceso de decisión de Markov — el lenguaje formal del RL (estado, acción, recompensa, transición, política, retorno, descuento), por qué el trading encaja en él y el pronóstico no, y la diferencia más importante respecto a un videojuego: en los mercados, la acción mueve el entorno.
• El diseño de recompensas y sus trampas — la parte más difícil y peligrosa del RL aplicado: convertir «ganar dinero con cuidado» en un escalar. Recompensas ajustadas por riesgo, el coste de operar, el reward shaping, la miopía frente al factor de descuento y las historias de terror de reward hacking que llegan cuando te equivocas.
• Métodos basados en valor frente a policy-gradient — las dos grandes familias: aprender cuánto vale cada situación (Q-learning, DQN) frente a aprender la política directamente (policy gradients, PPO, actor-crítico). Cuándo encaja cada uno, por qué las acciones continuas te empujan hacia los métodos de política y el problema de exploración frente a explotación bajo costes de transacción.
• La ejecución óptima como problema de RL — la victoria canónica: trocear una orden grande para equilibrar el impacto de mercado con el riesgo de timing. Cómo se relaciona con la solución cerrada de Almgren–Chriss, qué añade el RL (y qué se limita a redescubrir) y cómo leer una política de ejecución aprendida.
• Agentes de creación de mercado — cotizar ambos lados del libro mientras se gestiona el inventario: el dilema inventario-frente-a-spread, el esqueleto de Avellaneda–Stoikov, la selección adversa y por qué la recompensa de un creador de mercado es un campo de minas de incentivos perversos.
• El salto sim-a-real — la lección que humilla a todo lo anterior: por qué un agente de RL que imprime dinero en tu backtest lo pierde en real. No estacionariedad, un simulador imperfecto, el agente sobreajustando su propio entorno y la disciplina de despliegue que te mantiene honesto.

Al terminar verás el trading como un ingeniero de control ve un termostato o un coche autónomo —como un bucle de observar, actuar y adaptarse— sin perder la paranoia, ganada a pulso, del quant ante un backtest demasiado bonito. Un examen final calificado te devuelve toda la disciplina al final, una pregunta bloqueada cada vez.