Deep RL para Ejecución y Creación de Mercado

Dos de los cursos anteriores te enseñaron mitades del mismo agente. Aprendizaje por refuerzo para trading te dio la mitad de la toma de decisiones: plantear el mercado como un proceso de decisión de Markov, diseñar recompensas y elegir acciones en un bucle donde tu jugada cambia el mundo. Deep learning para datos de mercado te dio la mitad de la percepción: redes neuronales que leen un libro de órdenes ruidoso y de alta dimensión y lo convierten en características. Este curso suelda ambas —aprendizaje por refuerzo profundo— y apunta el resultado a los dos problemas de control donde tiene la pretensión más sólida de pertenecer: la ejecución óptima (trocear una orden grande para batir la referencia de coste) y la creación de mercado (cotizar ambos lados del libro y cobrar el spread por asumir el riesgo).

El deep RL es genuinamente potente y genuinamente sobrevalorado, y las finanzas son donde la distancia entre ambas cosas es mayor. La promesa es real: una red de política profunda puede leer el estado bruto del libro de órdenes, condicionar sobre una señal de corto plazo y aprender una regla de cotización o ejecución que ningún modelo cerrado puede expresar. Pero todos los peligros de los dos cursos madre se agravan aquí. La red neuronal trae su hambre de datos a un dominio con un tamaño de muestra efectivo minúsculo y un objetivo no estacionario y adversario. El aprendizaje por refuerzo trae la tríada mortal —aproximación de funciones, bootstrapping y aprendizaje off-policy, la combinación que hace divergir a los métodos de valor profundos— y un agente que elige su propia distribución de entrenamiento, que es sobreajuste con pasos extra. El hilo de cada lección es el mismo de los cursos anteriores: un backtest que parece demasiado bueno normalmente lo es, y la única cura es una referencia brutalmente honesta.

Este es el recorrido, de la maquinaria al veredicto:

• Del control tabular a la aproximación de funciones profunda — por qué no puedes mantener una tabla de consulta para un libro de órdenes, con qué la sustituye una red neuronal y los dos problemas canónicos (ejecución, creación de mercado) con sus referencias analíticas (Almgren–Chriss, Avellaneda–Stoikov) que todo agente aprendido debe batir para justificarse.
• Las deep Q-networks y su inestabilidad — la familia basada en valor con una red neuronal: repetición de experiencia, redes objetivo y la tríada mortal que hace divergir a DQN sobre el estado financiero con más facilidad que sobre un videojuego.
• Policy gradients y actor-crítico — aprender la política directamente: REINFORCE y su varianza demoledora, baselines y ventaja, A2C y PPO, y por qué las acciones de cotización continua empujan al trading hacia los métodos de política.
• Deep RL para ejecución óptima — el diseño de estado/acción/recompensa para trocear una orden, cómo el horario aprendido bate a TWAP/VWAP y a Almgren–Chriss cuando existe una señal, y cómo el diseño de recompensas reescribe sin avisar la política que creías haber especificado.
• Deep RL para creación de mercado — la cotización como control continuo, el esqueleto de Avellaneda–Stoikov como referencia, la captura de spread penalizada por inventario, la selección adversa y el campo de minas de incentivos perversos que esconde una recompensa de creación de mercado.
• La brecha sim-a-real y la evaluación honesta — por qué un agente aprendido que imprime dinero en tu simulador lo pierde en real: modelos de impacto imperfectos, no estacionariedad, sobreajuste del simulador y la disciplina de Sharpe deflactado / validación cruzada purgada que mantiene honesto el veredicto.

Al final sabrás construir un agente profundo de ejecución o de creación de mercado y, más importante, desconfiar de él correctamente: distinguir cuáles de sus ganancias en backtest son ventaja real y cuáles son los fallos del simulador disfrazados de red neuronal. Un examen final con nota te devuelve toda la disciplina al terminar, pregunta bloqueada a pregunta bloqueada.