Esta es la lección culminante. Seis lecciones os llevaron desde el momento en que una tabla de búsqueda muere en un libro de órdenes continuo hasta el momento en que un backtest precioso muere en producción. Sustituisteis la tabla por un aproximador de funciones profundo y aprendisteis que la sustitución — generalizar, no memorizar — es el deep RL. Conocisteis la Deep Q-Network y la tríada mortal (aproximación de funciones + bootstrapping + aprendizaje off-policy) que hace divergir el cambio ingenuo, además de los arreglos de experience replay y red objetivo, y las cuatro formas en que el estado financiero rearma aquello que esos arreglos fueron diseñados para desactivar. Tirasteis a la basura la mentalidad de tabla de valores por los gradientes de política y actor–crítico — la varianza catastrófica de REINFORCE, la ventaja como cura, la región de confianza recortada de PPO, y la cruda verdad de que la exploración on-policy en mercados se paga en spread real, razón por la que existe el RL offline. Apuntasteis todo eso hacia la ejecución óptima, donde el implementation shortfall es el marcador y el reward shaping reescribe en silencio la política convirtiéndola en una máquina de no hacer nada o en un apostador direccional si se lo permites. Girasteis la silla hacia la creación de mercado, un campo de minas de control continuo bilateral donde Avellaneda–Stoikov es la base a batir, el sesgo dirige el inventario, el fill fácil es el tóxico, y cada recompensa ingenua cría un agente roto distinto. Y terminasteis con la lección que humilla a todas las demás: la brecha sim-to-real, donde el agente aprende los fallos de tu física, el modelo de impacto es el quid que nunca podrás reproducir, y solo un examen adversario de evaluación honesta — batir la base, purgar y embargar, deflactar el Sharpe, reservar un régimen, hacer shadow-trading, vigilar real-frente-a-simulación — te dice si tienes alfa o suerte cara. Sin chuleta de fórmulas, sin pistas, sin marcha atrás.
Big picture
Deep RL para Ejecución y Creación de Mercado — toda la escalera
- Deep RL para Ejecución y Creación de Mercado
- Control → aproximación profunda
- Las tablas mueren en el estado continuo del libro de órdenes (maldición de la dimensionalidad)
- La red generaliza entre estados cercanos = deep RL
- Bases a batir: Almgren–Chriss, Avellaneda–Stoikov
- DQN e inestabilidad
- Bellman → pérdida TD con bootstrapping sobre una Q-network
- Tríada mortal: aproximación + bootstrapping + off-policy
- Arreglos: experience replay + red objetivo (Double/Dueling)
- Mercados: no estacionarios, ruidosos, parciales, recompensas feas
- Gradientes de política y actor–crítico
- Emitir la acción directamente — sin argmax sobre un continuo
- Varianza de REINFORCE → línea base → ventaja A = Q − V
- Actor–crítico; PPO recorta hacia una región de confianza
- Explorar cuesta spread real → RL offline/conservador
- Ejecución profunda
- Estado = LOB + inventario + tiempo + señal; acción continua
- Recompensa = −shortfall − λ·riesgo − η·q² terminal
- Batir bases ciegas a la señal; re-derivar A-C sin señal
- El shaping reescribe la política; enmascara restricciones duras
- Creación de mercado profunda
- Continuo bilateral (sesgo, medio spread) → PPO/SAC
- El spread es el sueldo, el inventario el riesgo; sesgar hacia plano
- Selección adversa: el fill fácil es el tóxico
- Campo de minas de recompensa: nunca-fill / especulador / sangrías
- Sim-to-real y evaluación honesta
- El agente aprende el simulador, no el mercado
- El modelo de impacto es el quid — no puedes reproducir tu propia orden
- Sharpe deflactado, CV purgada, régimen reservado, shadow-trading
- Divergencia real-frente-a-simulación → parar; a menudo gana la base
- Control → aproximación profunda
Una sola tirada, un solo disparo
Este examen es calificado e irreversible. Cada pregunta se bloquea en el momento en que la envías — no hay botón Atrás, ni reintento, ni Reiniciar. Una respuesta incorrecta simplemente suspende esa pregunta y el examen avanza. Tu nota de aprobado/suspenso aparece solo al final, y la nota de corte es del 70 %. Lee todas las opciones antes de comprometerte.
Discretizas 6 características del libro de órdenes en 100 bins cada una en lugar de 10. Comparado con la rejilla de 10 bins, ¿qué le pasa al número de celdas de la tabla, y qué demuestra eso sobre el RL tabular en un libro de órdenes?
Selecciona una respuesta para continuar.
Repaso del curso
El mapa de todo el curso está al inicio de esta página — dale un último vistazo antes de enviar, y luego confía en lo que aprendiste.
Ideas clave
Lo que ahora dominas
Puedes llevar a un aprendiz desde una tabla de búsqueda muerta hasta un agente de trading de deep RL en vivo y monitorizado — y, más importante aún, sabes cuándo no hacerlo. Sustituye la tabla por una red solo porque generaliza; evita que esa red diverja respetando la tríada mortal y sus arreglos de replay/red objetivo; aprende la política directamente cuando la acción es un spread o tamaño continuo, domando la varianza de REINFORCE con la ventaja y vallando las actualizaciones con el recorte de PPO; diseña recompensas de ejecución que terminen la orden y no se puedan hackear hasta convertirse en una máquina de no hacer nada o en un apostador direccional; crea mercado operando spread contra inventario, sesgando hacia plano y temiendo el fill tóxico; y — sobre todo — supón que tu simulador miente hasta que un examen adversario (batir la base, purgar y embargar, deflactar el Sharpe, reservar un régimen, hacer shadow-trading, vigilar real-frente-a-simulación) demuestre lo contrario. La lección más profunda resuena en cada curso anterior: el algoritmo nunca es tu mayor riesgo; el humano que confió en un backtest impecable siempre lo es.