Los mercados como proceso de decisión de Markov

El aprendizaje automático supervisado es un adivino. Le entregáis un vector de características, os devuelve un número — el retorno de mañana, la probabilidad de ejecución, la volatilidad de la próxima hora — y luego se encoge de hombros y se va a casa. Nunca os dice cuánto comprar, cuándo parar, ni qué hacer una vez que la orden que acabáis de colocar ha movido el mismísimo precio que tratabais de predecir. La predicción es una respuesta de un solo disparo a una pregunta que nadie llegó a hacer. El trading es una secuencia de decisiones que se despliega en el tiempo, y cada una cambia el tablero sobre el que jugáis la siguiente.

El aprendizaje por refuerzo (RL, por sus siglas en inglés) es la disciplina construida exactamente para esa forma: un agente toma acciones, el mundo responde con una recompensa y una situación nueva, y el agente aprende una regla — una política — que maximiza la recompensa a largo plazo, no solo en el próximo tick. Ese enfoque a largo plazo es también donde reaparece nuestro villano recurrente. A lo largo del curso de aprendizaje automático el enemigo era el sobreajuste: un modelo que memorizaba ruido y lo llamaba señal. Sigue siendo el enemigo aquí — solo que ahora lleva un disfraz más astuto, porque un agente de RL puede elegir su propia experiencia de entrenamiento, y un backtest que parece dinero gratis suele ser un agente que ha sobreajustado un simulador en el que nadie debería haber confiado.

El vocabulario de las decisiones secuenciales

El RL tiene un vocabulario pequeño y preciso, y casi toda la confusión en el campo viene de mezclar dos de estos términos. Definidlos una vez, con cuidado, y el resto del curso es pura ingeniería.

• Estado $s_t$ — todo lo que el agente observa en el instante $t$ que sea relevante para su decisión. En trading: precio actual, vuestro inventario (posición), retornos recientes, desequilibrio del libro de órdenes, hora del día, orden pendiente de ejecutar.
• Acción $a_t$ — lo que hace el agente. Comprar/mantener/vender, una posición objetivo, un par de cotizaciones compra–venta, o cuántas órdenes hijas liberar este minuto.
• Recompensa $r_t$ — la retroalimentación escalar tras actuar. A menudo un incremento de P&L ajustado al riesgo e incluyendo costes — y diseñarla correctamente es tan peligroso que tiene su propia lección a continuación.
• Transición / dinámica $P(s_{t+1} \mid s_t, a_t)$ — la regla del mundo: la probabilidad de aterrizar en el siguiente estado dado el estado y la acción actuales. En los mercados es el proceso del precio más el impacto de tu propia operación. Casi nunca la conocéis; muestreáis de ella.
• Política $\pi(a \mid s)$ — la estrategia del agente: una correspondencia (posiblemente aleatorizada) de estados a acciones. Este es el objeto que realmente estáis aprendiendo.
• Trayectoria / episodio — una partida completa: $s_0, a_0, r_0, s_1, a_1, r_1, \dots$ Un episodio de trading podría ser un día, o la vida entera de deshacer una orden madre.
• Retorno $G_t$ — la recompensa acumulada (descontada) desde el instante $t$ en adelante. Lo que el agente maximiza. No es una predicción de precio — una fea coincidencia de vocabulario con la que tendremos mucho cuidado.

Un mercado es un proceso de decisión de Markov

Apilad esas piezas y tenéis un proceso de decisión de Markov (MDP) — el objeto formal que estudia el RL. Mecánicamente es un bucle: el agente observa el estado, su política elige una acción, el entorno devuelve una recompensa y el siguiente estado, y vuelta a empezar, eternamente.

El “Markov” en MDP es una promesa sobre el estado. Un proceso tiene la propiedad de Markov cuando el siguiente estado depende solo del estado y la acción actuales — no de todo el historial de cómo llegasteis hasta aquí:

$P(s_{t+1} \mid s_t, a_t, s_{t-1}, a_{t-1}, \dots) = P(s_{t+1} \mid s_t, a_t).$

Esto no es una ley de la naturaleza; es una restricción de diseño sobre lo que metéis en vuestro estado. Si el “último precio negociado” no resume todo lo relevante — y en los mercados nunca lo hace — entonces el precio por sí solo no es markoviano, y un agente que se condiciona solo a él va a ciegas. El arreglo no es añadir memoria del pasado; es enriquecer el estado hasta que sea suficiente: añadid vuestro inventario (para que el agente conozca su propia exposición), los retornos recientes (contexto de momentum/reversión a la media) y características del libro de órdenes (desequilibrio, profundidad, horquilla). Un estado bien diseñado hace que la propiedad de Markov sea lo bastante cierta como para ser útil.

La cadena de arriba muestra la misma idea sobre regímenes: el token decide su siguiente salto usando solo dónde está ahora, y sin embargo la proporción de tiempo a largo plazo en cada régimen se asienta en una mezcla fija. Transiciones sin memoria, estadísticas estables — esa es la propiedad de Markov ganándose el sueldo.

Ejemplo resuelto — un MDP de trading minúsculo de 2 estados

Imaginad un mercado de juguete con dos regímenes como estado relevante: Calma y Volátil. En cada paso el agente elige un tamaño de posición, pero primero el mundo transiciona. Desde Calma, la dinámica es:

$P(\text{Calm}\mid \text{Calm}) = 0.8,\qquad P(\text{Volatile}\mid \text{Calm}) = 0.2.$

Supongamos que vuestra política en Calma se pone larga, y la recompensa (incremento de P&L) es $r=+2$ si os quedáis en Calma y $r=-5$ si caéis a Volátil estando aún largos. La recompensa esperada de un paso de estar largo en Calma es

$0.8 \times (+2) + 0.2 \times (-5) = 1.6 - 1.0 = +0.6.$

Fijaos en qué produjo ese número: las probabilidades de transición, no una predicción de precio. El agente no predice el próximo retorno — sopesa acciones frente a la dinámica del mundo, que es exactamente lo que un MDP os obliga a hacer.

El retorno y el factor de descuento γ

El agente no maximiza la próxima recompensa — maximiza el retorno, la recompensa acumulada y descontada de ahora en adelante:

$G_t = r_t + \gamma\, r_{t+1} + \gamma^2 r_{t+2} + \dots = \sum_{k=0}^{\infty} \gamma^k\, r_{t+k}.$

El factor de descuento $\gamma \in [0,1)$ decide cuán lejos mira el agente. En $\gamma = 0$ el agente es puramente miope — solo le importa $r_t$ y se reventaría feliz en el siguiente paso por un céntimo ahora. A medida que $\gamma \to 1$ se vuelve previsor, tratando una recompensa diez pasos por delante casi como una recompensa de hoy. El descuento también mantiene finita la suma infinita y codifica una preferencia por el beneficio cuanto antes mejor.

Ejemplo resuelto — descontando un flujo de recompensas

Tomad un episodio corto con recompensas $r_0 = 10,\; r_1 = 0,\; r_2 = -4,\; r_3 = 6$ y un descuento de $\gamma = 0.9$. El retorno desde $t=0$ es:

$G_0 = 10 + 0.9(0) + 0.9^2(-4) + 0.9^3(6).$

Calculad los pesos: $0.9^2 = 0.81$ y $0.9^3 = 0.729$. Entonces

$G_0 = 10 + 0 + 0.81(-4) + 0.729(6) = 10 - 3.24 + 4.374 = 11.134.$

Ahora rehacedlo de forma miope con $\gamma = 0$: $G_0 = 10$ a secas — el agente ni siquiera ve el shock de $-4$ ni la recuperación de $+6$. El mismo flujo de recompensas, un sentido de “bueno” completamente distinto, fijado por entero por una sola perilla.

Predicción vs control — la diferencia profunda

Aquí está el abismo entre el curso anterior y este. El aprendizaje supervisado es predicción; el RL es control.

En la predicción, vuestros datos son (a grandes rasgos) i.i.d., estimáis una correspondencia fija hacia una etiqueta que existe con independencia de vosotros y — crucialmente — vuestra predicción no cambia el mundo. Adivinar la lluvia de mañana no altera el tiempo. La etiqueta iba a ser lo que iba a ser.

En el control, elegís acciones, y esas acciones cambian qué estados visitáis a continuación — cambian la distribución futura de datos de la que vuestro agente aprenderá. En los mercados esto no es una metáfora: una compra grande mueve el precio (impacto de mercado), consume liquidez y desplaza el libro de órdenes al que se condiciona la siguiente decisión. El entorno no es un generador pasivo de etiquetas; es una contraparte que reacciona ante vosotros.

Activad “Impacto de mercado” en la isla del bucle de arriba y podréis verlo directamente: las propias operaciones del agente empujan el precio en su contra, encogiendo cada recompensa posterior. Esa retroalimentación — tu acción mueve el entorno — es la única característica que un videojuego, una cuota de mercado y un modelo de predicción nunca pueden representar.

La política y la función de valor — un anticipo

La política $\pi(a \mid s)$ es todo el juego: una regla (posiblemente estocástica) que, dado un estado, os entrega una acción — o una distribución de probabilidad sobre acciones, para que el agente pueda explorar en lugar de explotar siempre su mejor conjetura actual. Todo en este curso es, en última instancia, un método para encontrar una buena $\pi$.

Pero ¿cómo sabéis que una política es buena sin jugar infinitos episodios? Estimáis el valor. El valor de estado $V^\pi(s)$ es el retorno esperado desde el estado $s$ si seguís la política $\pi$ para siempre después; el valor de acción $Q^\pi(s,a)$ es el retorno esperado de tomar la acción $a$ en el estado $s$ y seguir $\pi$ a partir de entonces. Estas dos funciones son las vigas de carga de casi todos los algoritmos de RL — os permiten comparar acciones sin enumerar el futuro — y la lección 3 las construye como es debido.

Resumen

Ya habláis MDP: sabéis enmarcar un problema de trading como estados, acciones, recompensas, transiciones y una política, sabéis por qué un estado solo-precio rara vez es markoviano, y veis la única característica — tu acción mueve el entorno — que hace de esto control y no predicción. Pero fijaos en cuánto nos apoyamos en que la recompensa simplemente existiera. A continuación, en El diseño de la recompensa y sus trampas, ponemos todo el peso del agente sobre ese único escalar — y observamos qué ocurre cuando “ganar dinero con cuidado” se traduce a matemáticas aunque sea ligeramente mal. Es donde la mayoría de proyectos de RL para trading mueren en silencio, y donde nuestro viejo villano, el sobreajuste, encuentra su disfraz más astuto hasta ahora: un agente que hackea la recompensa que escribisteis en vez del objetivo que quisisteis decir.