Gradientes de política y actor–crítico para control continuo

La lección 2 os dejó con una DQN — una red de valor que puntúa cada acción y opera la de mayor puntuación. Eso funciona de maravilla cuando las acciones son un menú pequeño y ordenado: comprar mucho, comprar poco, mantener. Pero una decisión real de cotización o de dimensionamiento no es un menú. Vuestro medio diferencial es un número continuo. El tamaño de vuestra orden hija es un número continuo. Vuestro desplazamiento de oferta respecto al punto medio es un número continuo. En cuanto la acción se convierte en un mando que podéis girar a cualquier punto de un dial, “tomar el máximo sobre todas las acciones” deja de ser una consulta rápida y se convierte en su propio problema de optimización que tendríais que resolver dentro de cada una de las decisiones. Eso es inviable en el reloj del trading.

Así que cambiamos la pregunta. En lugar de aprender cómo de buena es cada acción y luego maximizar, aprendemos la política directamente — una red que toma el estado y simplemente emite la acción (o una distribución sobre acciones). Sin máximo, sin menú, sin optimización interna. Esta familia — los métodos de gradiente de política y actor–crítico — es lo que mueve esencialmente todo sistema moderno de RL de control continuo, y es el conjunto de herramientas que las lecciones 4 y 5 apuntarán hacia la ejecución y la creación de mercado. Esta lección lo construye desde los cimientos: el gradiente en bruto, por qué es catastróficamente ruidoso en los mercados, y los tres trucos (baselines, críticos, regiones de confianza) que doblegan el ruido.

Por qué aprender la política directamente

Imaginad dos formas de decidir dónde comer. La forma valor: puntuad cada restaurante del pueblo del 1 al 10, y luego id al más alto. La forma política: saltaos las puntuaciones y simplemente aprended el hábito “cuando es tarde y estoy cansado, voy al sitio de los fideos.” La forma valor necesita que enumeréis y puntuéis cada opción. La forma política mapea la situación directamente a una acción. Cuando las opciones son pocas, puntuar va bien. Cuando las opciones son infinitas — cada diferencial posible, cada tamaño posible — queréis el hábito.

Formalmente, una política es $\pi(a \mid s; \theta)$: una función, con parámetros aprendibles $\theta$ (los pesos de una red neuronal), que da la probabilidad de tomar la acción $a$ en el estado $s$. Para un conjunto de acciones discreto es un softmax sobre las opciones. Para una acción continua es típicamente una gaussiana — la red emite una media $\mu(s)$ y una desviación típica $\sigma(s)$, y muestreáis vuestro diferencial o tamaño de $\mathcal{N}(\mu, \sigma^2)$. La media es “lo que creo que debería hacer”; la dispersión $\sigma$ es “cuánto estoy explorando todavía”. El entrenamiento empuja $\theta$ para que las buenas acciones reciban más masa de probabilidad.

Esta es exactamente la forma que quiere un agente de cotización o de dimensionamiento. Pedidle un medio diferencial y os entrega un número — y, gratis, una distribución sobre números, que es vuestra exploración incorporada y vuestra medida incorporada de confianza. Sin argmax, sin discretizar vuestro diferencial en cubos torpes, sin optimización interna en la ruta crítica.

Cuándo usarlo

Echad mano de un método de política siempre que la acción sea continua (un desplazamiento de precio, una tasa de participación, un ratio de cobertura, un tamaño en dólares) o cuando queráis genuinamente una política estocástica — una estrategia de cotización aleatorizada que sea más difícil de predecir y adelantarse para los adversarios. Quedaos con un método de valor (la DQN y sus amigos) cuando el conjunto de acciones sea pequeño y discreto y mayormente queráis la consulta de “mejor acción” más limpia posible. La mayoría de los agentes de ejecución y creación de mercado en producción son basados en política precisamente por la razón de la acción continua.

REINFORCE y el teorema del gradiente de política

Aquí está la idea hermosa en el núcleo de todo esto. Queréis maximizar $J(\theta)$, vuestro retorno esperado — la recompensa total media que recolecta vuestra política. Os encantaría hacer ascenso de gradiente: empujar $\theta$ en la dirección que eleva $J$. Pero el retorno depende de $\theta$ a través de las acciones que muestreasteis, y a través de la respuesta del entorno — ¿cómo derivar a través de una tirada de moneda y de un mercado?

El teorema del gradiente de política es el truco que hace que funcione. Dice que el gradiente del retorno esperado tiene una forma limpia y muestreable:

$\nabla_\theta J(\theta) = \mathbb{E}\big[\, \nabla_\theta \log \pi(a \mid s; \theta) \cdot G \,\big]$

donde $G$ es el retorno — la recompensa total (descontada) desde esta acción en adelante, estimada simplemente desplegando el episodio (Monte Carlo). Miradlo fijamente un segundo, porque la intuición lo es todo. El término $\nabla_\theta \log \pi(a\mid s)$ apunta en la dirección del espacio de $\theta$ que hace la acción $a$ más probable. Multiplicadlo por $G$. Si el retorno fue grande y positivo, dais un paso grande hacia hacer esa acción más probable. Si el retorno fue negativo, $G$ invierte el signo y os alejáis con un paso, haciéndola menos probable. Subid la probabilidad de las acciones que llevaron a buenos resultados; bajad las que llevaron a malos resultados. Eso es REINFORCE, el algoritmo de gradiente de política original (1992, Williams), en una frase.

Un paso de gradiente resuelto

Mercado de juguete. Estado: el activo parece barato. Vuestra política es un softmax sobre dos acciones, comprar y mantener, y ahora mismo asigna $\pi(\text{comprar}) = 0.6$, $\pi(\text{mantener}) = 0.4$. Muestreáis — resulta que compráis. La operación sale bien: el retorno del episodio es $G = +5$.

REINFORCE actualiza $\theta$ con $\alpha \cdot \nabla_\theta \log \pi(\text{comprar}\mid s) \cdot G$ con, digamos, una tasa de aprendizaje $\alpha = 0.1$. El término $\nabla_\theta \log \pi(\text{comprar})$ es positivo en la dirección que eleva $\pi(\text{comprar})$, y $G = +5$ es un multiplicador positivo grueso, así que el paso aumenta con firmeza la probabilidad de comprar cuando el activo parece barato. Tras la actualización podríais ver $\pi(\text{comprar})$ subir de 0,60 a, digamos, 0,63. Muestread mantener en su lugar y ganad $G = -3$, y la misma maquinaria habría bajado $\pi(\text{mantener})$. Repetid a lo largo de millones de episodios y la masa de probabilidad fluye hacia lo que de verdad paga.

Reducción de varianza: baselines y ventaja

El arreglo es casi sospechosamente simple. El problema de REINFORCE es que juzga una acción por su retorno en bruto $G$ — pero $G = +5$ no os dice nada a menos que sepáis qué era normal para ese estado. Si toda acción desde este estado gana en torno a +5, entonces +5 no es nada destacable y no deberíais acreditar a esta acción por ello. Así que restad un baseline $b(s)$ — un nivel de referencia para el estado — y actualizad sobre la diferencia:

$\nabla_\theta J(\theta) = \mathbb{E}\big[\, \nabla_\theta \log \pi(a \mid s;\theta) \cdot \big(G - b(s)\big) \,\big]$

La magia: como $b(s)$ depende solo del estado, no de la acción que elegisteis, restarlo no sesga el gradiente en absoluto — es demostrablemente el mismo gradiente esperado. Pero recorta la varianza, porque ahora actualizáis sobre “cuánto mejor que el baseline del estado fue esto”, una señal mucho más estable que el retorno en bruto oscilando con todo el mercado.

¿Cuál es el mejor baseline? La función de valor $V(s)$ — el retorno esperado desde este estado bajo la política actual, es decir, exactamente “qué es normal aquí”. Enchufad $V(s)$ como baseline y el multiplicador $G - V(s)$ se convierte en la célebre ventaja:

$A(s,a) = Q(s,a) - V(s)$

Leedlo en cristiano: $Q(s,a)$ es el valor de tomar la acción $a$ aquí; $V(s)$ es el valor medio del estado sobre todas las acciones. Su diferencia es “cuánto mejor que la media fue esta acción concreta”. Ventaja positiva → acción por encima de la media → subid su probabilidad. Negativa → por debajo de la media → bajadla. La ventaja es la cantidad más importante del RL moderno de gradiente de política, y casi cada algoritmo que conoceréis es alguna forma ingeniosa de estimarla.

En la práctica no tenéis $Q$ y $V$ limpias; estimáis la ventaja a partir de los datos. GAE (Estimación Generalizada de la Ventaja) es la receta estándar: en una línea, es un promedio ponderado exponencialmente de errores TD multipaso $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$, con un mando $\lambda \in [0,1]$ que intercambia suavemente sesgo por varianza — una $\lambda$ pequeña se apoya en el bootstrap (baja varianza, algo de sesgo), una $\lambda$ grande se apoya en el largo retorno de Monte Carlo (bajo sesgo, más varianza).

Una ventaja resuelta

Estado: activo barato. El crítico estima el valor del estado en $V(s) = +2$ — de media, pasan cosas decentes desde aquí. Muestreáis comprar y el retorno realizado es $G = +5$. Entonces la ventaja es $A = G - V(s) = 5 - 2 = +3$: comprar fue 3 mejor que la media, así que REINFORCE-con-baseline empuja $\pi(\text{comprar})$ arriba — pero solo por la porción de sorpresa, +3, no el +5 entero. Ahora supongamos que en cambio el repunte afortunado dio $G = +5$ para una acción que normalmente es mediocre en un estado donde $V(s) = +6$. La ventaja es $5 - 6 = -1$: aunque el retorno en bruto parezca estupendo, la acción rindió por debajo del estado, así que su probabilidad se ajusta correctamente hacia abajo. Eso es el baseline salvándoos de acreditar a una acción por una suerte que pertenecía al estado.

Actor–crítico: el matrimonio

Ahora combinad las dos redes. El actor es vuestra política $\pi(a\mid s;\theta)$ — propone acciones. El crítico es una red de valor $V(s; w)$ — puntúa cómo de buenos son los estados, y así suministra el baseline/ventaja que el actor necesita. Se entrenan juntos: el actor actúa, el crítico observa y aprende a predecir retornos, y la estimación del crítico se convierte en la señal de enseñanza de baja varianza para el actor.

La mejora decisiva sobre el REINFORCE puro es la temporización. REINFORCE tiene que esperar a que el episodio termine para calcular el retorno de Monte Carlo $G$ — solo entonces sabe cómo actualizar. El actor–crítico no espera. Tras cada paso individual, el crítico produce una ventaja bootstrapped a partir del error TD $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$, y el actor actualiza de inmediato. Obtenéis una señal de crédito en cada paso en lugar de una vez por episodio, una varianza dramáticamente menor (el bootstrap reemplaza el ruidoso retorno completo), y podéis aprender en entornos de larga duración que nunca acaban del todo, como un mercado que está abierto todo el día.

Pensadlo como un aprendiz y un entrenador. El actor (aprendiz) prueba una cotización. El crítico (entrenador) dice al instante “eso estuvo un poco por encima de la media para esta situación” — sin esperar a ver cómo termina el día entero. El aprendiz se ajusta sobre la marcha. A2C (Actor–Crítico con Ventaja) es la versión síncrona y limpia de este bucle; A3C es la variante asíncrona más antigua que ejecuta muchos actores en paralelo para descorrelacionar su experiencia. El bucle agente–entorno de abajo es este bucle — leed la caja del agente como el actor, e imaginad un crítico sentado a su lado puntuando cada recompensa según vuelve.

PPO — el caballo de batalla

El actor–crítico todavía tiene una mina: el tamaño de paso. Los gradientes de política son on-policy — los datos que recolectasteis fueron generados por la política actual, y solo son válidos para una pequeña región a su alrededor. Dad un paso de gradiente demasiado ansioso, y la nueva política puede dar un bandazo lejos de la antigua hacia una región donde todos vuestros datos recolectados son engañosos. La política colapsa, empieza a generar experiencia basura, y se entrena con su propia basura. Una sola mala actualización grande puede arruinar toda la ejecución. Los arreglos tempranos (TRPO, Optimización de Política por Región de Confianza) imponían una restricción dura sobre cuánto podía moverse la política por actualización — correcto, pero pesado, con un paso de optimización con restricciones que es un dolor de implementar.

PPO (Optimización de Política Proximal) es la respuesta querida y simplísima que se adueñó del campo. Mantiene cada actualización dentro de una región de confianza no mediante una restricción dura sino mediante recorte (clipping). Definid el ratio de probabilidad $r(\theta) = \pi_\theta(a\mid s) / \pi_{\text{old}}(a\mid s)$ — cuánto más (o menos) probable hace la nueva política la acción que de hecho tomasteis, frente a la antigua política que recolectó los datos. PPO maximiza un objetivo sustituto recortado:

$L(\theta) = \mathbb{E}\Big[\, \min\big(r(\theta)\,A,\; \mathrm{clip}(r(\theta),\, 1-\epsilon,\, 1+\epsilon)\,A\big) \,\Big]$

El recorte (con $\epsilon$ en torno a 0,1–0,2) es la idea entera. Cuando la ventaja $A$ es positiva, queréis subir la probabilidad de esa acción — pero el $\min$ con el término recortado limita cuánto se os premia por empujar el ratio más allá de $1+\epsilon$, así que no hay incentivo para dar un salto. Cuando $A$ es negativa queréis bajarla, y el recorte os impide sobrecorregir por debajo de $1-\epsilon$. En cualquier caso, el objetivo se aplana en cuanto la política se ha movido “lo suficiente”, vallando suavemente cada actualización dentro de una región de confianza. El resultado: aprendizaje on-policy estable, simple de implementar y razonablemente eficiente en muestras — que es por qué PPO es lo primero por defecto a lo que echáis mano en el control de trading, y el algoritmo que las lecciones 4 y 5 asumen por debajo del capó.

Más allá de PPO se asienta la familia de control continuo off-policy, que compra eficiencia de muestras reutilizando datos antiguos de un buffer de repetición — a costa de una estabilidad más delicada. DDPG (Gradiente de Política Determinista) aprende un actor determinista más un crítico Q; TD3 parchea los fallos de sobrestimación de DDPG con críticos gemelos y actualizaciones retardadas (haciendo eco del arreglo de la Doble-DQN de la lección 2); SAC (Actor–Crítico Suave) añade un bono de entropía que premia explícitamente mantener la política estocástica, lo que la hace a la vez eficiente en muestras e inusualmente robusta. El intercambio principal: PPO on-policy es estable e indulgente pero hambriento de datos; DDPG/TD3/SAC off-policy son eficientes en muestras pero más quisquillosos de estabilizar.

Exploración que cuesta dinero real + RL offline

Aquí está la diferencia más profunda entre el RL de trading y los referentes sobre los que nacieron estos algoritmos. En un videojuego, la exploración es gratis: lanzad a Mario por un precipicio mil veces para aprender el nivel, y no habéis perdido nada salvo cómputo. En los mercados, cada acción exploratoria paga dinero real — cada cotización fuera de distribución que publicáis, cada operación de “a ver qué pasa”, cruza un diferencial real, se come un impacto real, y puede mover el precio en vuestra contra (activad el interruptor de impacto en el bucle de arriba para ver cómo una sola operación grava su propia recompensa). La exploración on-policy, donde debéis actuar en el mercado en vivo para reunir los datos de los que aprendéis, es por tanto genuina y brutalmente cara. Estáis pagando matrícula en deslizamiento (slippage).

Ese coste reformula todo el problema y motiva el RL offline (por lotes): aprender una política a partir de un registro fijo de datos históricos — los millones de operaciones y cotizaciones pasadas de vuestra firma — sin interactuar jamás con el mercado en vivo durante el entrenamiento. Sin sangrado exploratorio; minas la experiencia que ya pagasteis. La pega es el cambio distribucional: los datos registrados solo cubren los estados-y-acciones que la antigua política de comportamiento de hecho visitó, así que si vuestra política aprendida quiere hacer algo que los registros nunca probaron, las estimaciones de valor para esa acción son alucinación pura y confiada. Los métodos de valor off-policy son notorios por sobreestimar exactamente estas acciones no vistas y luego perseguirlas hasta el precipicio.

El arreglo es una familia de algoritmos offline conservadores / regularizados por comportamiento — CQL (Q-Learning Conservador), BCQ, IQL y parientes — que todos comparten un instinto: quedarse cerca de lo que los datos respaldan. Penalizan las estimaciones de valor para acciones fuera de distribución o restringen la política aprendida para que se parezca a la política de registro, intercambiando deliberadamente algo de potencial por la seguridad de no extrapolar hacia lo desconocido. En el trading, donde extrapolar con confianza hacia una acción no vista puede significar una sorpresa muy cara, ese conservadurismo no es timidez — es supervivencia.

Cuándo usarlo: valor vs política vs actor–crítico

La guía de decisión que ata las tres lecciones de algoritmos de este curso:

La comparación reutilizable que conviene tener en la cabeza, a través de las familias:

Recapitulación y punto de control

Habéis subido la escalera basada en política: desde el porqué el control de trading quiere aprender la política directamente (los diferenciales y tamaños continuos rompen el argmax), pasando por REINFORCE y su problema de varianza, hasta el trío de arreglos — baselines/ventaja, el bucle actor–crítico, y la región de confianza recortada de PPO — y finalmente el coste en dinero real de la exploración que os empuja hacia el RL offline. Construid el mapa, y luego haced el punto de control mixto.

Hacia dónde va esto

Ahora sostenéis el conjunto completo de herramientas basado en política: aprended $\pi(a\mid s;\theta)$ directamente para que los diferenciales y tamaños continuos salgan directos de la red; domad la varianza de REINFORCE con un baseline y la ventaja; dejad que un crítico alimente al actor con una señal de baja varianza, por paso; vallad cada actualización con el recorte de PPO; y respetad que en los mercados la exploración se paga en deslizamiento real — que es lo que hace que el RL offline y los métodos conservadores importen. Crucialmente, también tenéis la guía de decisión de cuándo cada familia es la elección correcta.

La lección 4, “RL profundo para la ejecución óptima”, apunta esta maquinaria al primer problema real: trocear una orden madre grande para minimizar el implementation shortfall. Veréis por qué un agente PPO o actor–crítico con una acción continua de tasa de participación es el encaje natural, cómo la señal de ventaja se mapea sobre el equilibrio impacto-frente-a-riesgo-de-temporización que conocisteis en el curso prerrequisito, y cómo las preocupaciones por el coste de la exploración de esta lección fuerzan una configuración de entrenamiento honesta, consciente de simuladores y datos offline. Los mismos algoritmos — ahora ganándose el sueldo en un reloj de ejecución en vivo.