Esta es la lección culminante. Seis lecciones replantearon el trading como algo que el aprendizaje supervisado nunca podrá ser: un problema de decisión secuencial, jugado contra un mercado que reacciona a cada movimiento que haces. Aprendiste el lenguaje formal de un proceso de decisión de Markov — estado, acción, recompensa, transición, política, retorno y el factor de descuento que fija tu horizonte — y la única característica que separa un mercado de un videojuego: tu acción mueve el entorno. Aprendiste que el diseño de recompensas es la parte más difícil y peligrosa del RL aplicado, porque el agente optimiza el escalar literal que escribes, no el objetivo que pretendías — así que una recompensa sin términos de riesgo y coste cría a un sobreoperador temerario, y cualquier resquicio se convierte en un reward hack. Aprendiste las dos grandes familias de algoritmos — basados en valor (Q-learning, DQN, con experience replay y redes objetivo combatiendo la tríada mortal) y gradiente de política (REINFORCE, actor–crítico, PPO) — y por qué las acciones continuas y una exploración que cuesta spread real empujan el trading hacia los métodos de política y el RL offline. Viste la victoria canónica, la ejecución óptima, donde el RL vuelve a derivar Almgren–Chriss bajo sus supuestos y se gana el sueldo más allá de ellos, y el peligroso oficio de la creación de mercado, donde el sesgo de inventario, el precio de reserva de Avellaneda–Stoikov y la selección adversa chocan con una función de recompensa llena de incentivos perversos. Y terminaste con la lección que humilla a todas las demás: la brecha sim-to-real, donde un agente que imprime dinero en un simulador defectuoso — sobreajustándose a sus propios datos elegidos — lo pierde en real. Sin chuleta de fórmulas, sin pistas, sin marcha atrás: cada respuesta se bloquea en el instante en que la envías, las opciones erróneas son las trampas exactas que engañan a las mesas reales, y tu puntuación permanece oculta hasta el final.
Big picture
Aprendizaje por refuerzo para trading — toda la escalera
- Aprendizaje por refuerzo para trading
- Los mercados como un MDP
- Estado, acción, recompensa, transición, política, retorno
- El factor de descuento γ fija el horizonte
- Control, no predicción: la acción mueve el entorno
- Diseño de recompensas y trampas
- Un escalar por paso: ajustado al riesgo, consciente del coste
- γ demasiado bajo = sobreoperar de forma miope
- Shaping basado en potencial; cuidado con el reward hacking
- Métodos de valor frente a política
- Q-learning, Bellman, TD; DQN replay + redes objetivo
- Gradiente de política / REINFORCE: continuo, alta varianza
- Actor–crítico y PPO; explorar cuesta spread → RL offline
- Ejecución óptima
- Impacto frente a riesgo de tiempo; Almgren–Chriss adelanta carga
- Estado = inventario + tiempo + señal; recompensa = −coste − λ·riesgo
- El RL re-deriva AC, añade señal/impacto no lineal/restricciones
- Creación de mercado
- Capturar el spread; sesgar cotizaciones contra el inventario
- Precio de reserva de Avellaneda–Stoikov; selección adversa
- Recompensa que ignora el inventario = reventón; incentivos perversos
- La brecha sim-to-real
- El agente aprende el simulador, explota sus fallos
- El RL sobreajusta peor: elige sus propios datos + búsqueda enorme
- Fills realistas, multirrégimen, walk-forward, interruptor de emergencia
- Los mercados como un MDP
Una sola tirada, un solo disparo
Este examen es calificado e irreversible. Cada pregunta se bloquea en el momento en que la envías — no hay botón Atrás, ni reintento, ni Reiniciar. Una respuesta incorrecta simplemente suspende esa pregunta y el examen avanza. Tu nota de aprobado/suspenso aparece solo al final. Lee todas las opciones antes de comprometerte.
¿Por qué el trading encaja fundamentalmente mal con el aprendizaje supervisado puro, incluso con una excelente previsión de retornos?
Selecciona una respuesta para continuar.
Dónde encaja esto en la escalera
Aprobar este examen cierra el peldaño de aprendizaje por refuerzo de la escalera cuant — el punto donde la teoría de control, el aprendizaje profundo y un escepticismo ganado a pulso se funden en un agente que puede actuar en un mercado en lugar de limitarse a predecirlo. Ahora posees la disciplina que separa a un trader de RL que funciona del cementerio de backtests bellamente convergidos: plantear el problema como un MDP, diseñar una recompensa que no se pueda hackear, elegir la familia de métodos que encaja con tu espacio de acciones, respetar el compromiso impacto-frente-a-riesgo en la ejecución, equilibrar el inventario frente a la selección adversa al crear mercado y — sobre todo — suponer que tu simulador miente hasta que la realidad diga lo contrario. La lección más profunda resuena en cada curso anterior: el algoritmo nunca es tu mayor riesgo; el humano que confió en una simulación impecable siempre lo es.