Métodos basados en valor vs. de gradiente de política

Tienes un MDP (lección 1) y una recompensa que confías en que no se pueda manipular (lección 2). Ahora la pregunta de verdad: ¿cómo convierte un agente la experiencia en una buena política? Hay dos grandes filosofías, y casi todos los algoritmos que te encontrarás pertenecen a un bando, al otro, o a un matrimonio de ambos.

La primera vía es indirecta: averigua cómo de buena es cada situación y luego actúa con avaricia. Si conocieras el verdadero valor de mantener, comprar o vender en cada estado del mercado, no necesitarías ninguna “estrategia” — simplemente elegirías la acción de mayor valor y listo. La segunda vía se salta la contabilidad: aprende a actuar directamente. Ajusta una política llena de mandos para que las acciones que prefiere conduzcan a más recompensa, sin más. Ambas llegan a una buena política; solo discrepan en si hace falta tasar el mundo entero primero o si puedes aprender a bailar sin medir la sala.

Dos formas de aprender a actuar

Un método basado en valor aprende un número para las situaciones (y los pares situación–acción), y luego deriva la política actuando con avaricia respecto a esos números. Un método basado en política se salta directamente a la política: parametriza la distribución de acciones y empuja los parámetros hacia más recompensa. Los métodos actor–crítico se niegan a elegir — mantienen una política (el actor) y una estimación de valor (el crítico) y dejan que el crítico haga menos ruidoso el aprendizaje del actor.

Cuándo usarlo

Recurre a los métodos basados en valor cuando las acciones son un menú discreto pequeño y tienes (o puedes reproducir) muchos datos. Recurre a los basados en política cuando la acción es continua, cuando quieres una política estocástica a propósito, o cuando el comportamiento óptimo se expresa mejor como “inclínate hacia aquí” que como “elige el máximo.” Recurre a actor–crítico cuando quieres el alcance de acciones continuas de los métodos de política sin ahogarte en la varianza del gradiente — lo cual, en la práctica, es casi siempre.

Funciones de valor y Q-learning

Dos funciones de valor anclan todo el mundo basado en valor. El valor de estado $V^\pi(s)$ es el retorno descontado esperado desde el estado $s$ si sigues la política $\pi$ para siempre a partir de ahí. El valor de acción $Q^\pi(s,a)$ es lo mismo, pero te comprometes a la acción $a$ primero y sigues $\pi$ después:

$Q^\pi(s,a) = \mathbb{E}\!\left[\,r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \cdots \;\middle|\; s_t = s,\, a_t = a\right]$

La magia es que estos valores obedecen una regla de consistencia autorreferencial, la ecuación de Bellman — el valor de ahora es igual a la recompensa inmediata más el valor descontado del siguiente:

$Q^*(s,a) = \mathbb{E}\!\left[\,r + \gamma \max_{a'} Q^*(s', a')\,\right]$

Rara vez conoces esa esperanza de forma analítica, así que la muestreas. El aprendizaje por diferencias temporales (TD) actualiza cada estimación hacia un “objetivo” a un paso construido a partir de la experiencia real y la estimación actual del siguiente estado — hace bootstrapping, aprendiendo una conjetura a partir de una conjetura ligeramente mejor. El Q-learning tabular es la regla TD canónica:

$Q(s,a) \leftarrow Q(s,a) + \alpha\Big[\,r + \gamma \max_{a'} Q(s', a') - Q(s,a)\,\Big]$

El término entre corchetes es el error TD: cómo de sorprendido te quedaste. Multiplícalo por la tasa de aprendizaje $\alpha$ y empuja.

Una actualización Q resuelta

Estado $s$ = “manteniendo, momentum al alza”, acción $a$ = comprar. Supón que $Q(s, \text{comprar}) = 4.0$, tasa de aprendizaje $\alpha = 0.1$, descuento $\gamma = 0.9$. Tomas comprar, recoges una recompensa $r = 2.0$ (un buen tick de P&L), y aterrizas en $s'$ donde tus estimaciones actuales son $Q(s', \text{vender}) = 6.0$, $Q(s', \text{mantener}) = 5.0$, $Q(s', \text{comprar}) = 3.0$.

• Valor avaricioso del siguiente: $\max_{a'} Q(s', a') = 6.0$.
• Objetivo TD: $r + \gamma \cdot 6.0 = 2.0 + 0.9 \times 6.0 = 2.0 + 5.4 = 7.4$.
• Error TD: $7.4 - 4.0 = 3.4$.
• Nueva estimación: $4.0 + 0.1 \times 3.4 = 4.0 + 0.34 = 4.34$.

Una experiencia, un pequeño paso: $Q(s, \text{comprar})$ subió de $4.00$ a $4.34$. Repítelo a lo largo de millones de transiciones y la tabla converge hacia $Q^*$.

On-policy vs. off-policy en una línea: el Q-learning es off-policy — su objetivo usa $\max_{a'}$, la mejor acción siguiente, sin importar lo que hagas de verdad después; el SARSA es on-policy — usa $Q(s', a')$ para la acción que realmente tomas, así que aprende el valor de la política que estás ejecutando de verdad (con las verrugas de la exploración incluidas).

Redes Q profundas (DQN)

Una tabla funciona cuando los estados son un puñado de cubos discretos. Los mercados reales te entregan estados continuos y de alta dimensión — precios, diferenciales, desequilibrio del libro de órdenes, inventario — y la tabla explota. El arreglo es la aproximación de funciones: reemplaza la tabla de búsqueda por una red neuronal $Q_\theta(s,a)$ que generaliza entre estados similares. Eso es una red Q profunda (DQN).

Pero entrenar ingenuamente una red sobre objetivos TD con bootstrapping es gloriosamente inestable, por dos razones que DQN parchea:

• Replay de experiencia. Almacena transiciones $(s, a, r, s')$ en un búfer y entrena con minilotes aleatorios. Esto rompe la correlación temporal de ticks de mercado consecutivos (de lo contrario la red se sobreajusta al régimen que esté mirando en ese momento) y permite reutilizar cada experiencia muchas veces — una gran victoria en eficiencia de muestra.
• Redes objetivo. El objetivo TD $r + \gamma \max_{a'} Q_\theta(s', a')$ depende de los mismos pesos que estás actualizando — persigues un objetivo que se mueve en cada paso. DQN congela una copia $Q_{\theta^-}$ para el objetivo y solo la sincroniza periódicamente, de modo que las porterías se quedan quietas lo bastante para apuntar.

Como los valores de los que haces bootstrapping son estimaciones muestreadas, más experiencia significa estimaciones de valor más ajustadas y menos ruidosas — la misma ley de los grandes números que hace que cualquier media de Montecarlo se asiente. Mira cómo convergen las estimaciones muestreadas a medida que se acumulan las muestras:

Cuándo usarlo

DQN brilla cuando el conjunto de acciones es discreto y pequeño — {vender, mantener, comprar}, o un puñado de tamaños de posición discretizados como {-100%, -50%, 0, +50%, +100%} — y tienes datos abundantes y reproducibles. En cuanto quieres un tamaño genuinamente continuo, el $\max_{a'}$ de DQN se convierte en una búsqueda sobre un continuo y la elegancia se evapora. Esa es tu señal para cruzar a los métodos de política.

Gradientes de política

Los métodos de política prescinden del tasador. Parametriza la política directamente — $\pi_\theta(a \mid s)$, p. ej. un softmax sobre acciones discretas o una gaussiana sobre un tamaño de posición continuo — y asciende por el gradiente del retorno esperado $J(\theta) = \mathbb{E}_{\pi_\theta}[\text{retorno}]$:

$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\,\nabla_\theta \log \pi_\theta(a \mid s)\, \cdot\, R\,\right]$

Este es el estimador de la función de puntuación (cociente de verosimilitudes), y REINFORCE es su encarnación más sencilla: ejecuta un episodio, y para cada acción tomada, empuja su log-probabilidad hacia arriba si el retorno del episodio $R$ fue bueno y hacia abajo si fue malo — escalado según lo bueno que fuera. Sin argmax, sin tabla de Bellman; esculpes la distribución de acciones reforzando las trayectorias que dieron sus frutos.

La ventaja es exactamente lo que señaló el pretest: los gradientes de política manejan políticas continuas y estocásticas de forma nativa — una política estocástica a veces es óptima (piensa en estrategias mixtas, o en exploración deliberada). La desventaja es brutal: el gradiente es una estimación de Montecarlo de alta varianza (una operación de cola afortunada puede dominar la señal de un episodio entero), y el REINFORCE básico es ineficiente en muestras porque es on-policy — cada paso de gradiente necesita trayectorias frescas de la política actual, así que los datos viejos se descartan.

Cuándo usarlo

Usa un gradiente de política puro cuando la acción es continua o de verdad quieres estocasticidad, y muestrear es barato. En trading, muestrear rara vez es barato — y por eso precisamente existe la siguiente idea.

Actor–crítico y PPO

El problema de la varianza tiene un arreglo limpio: deja de escalar por el retorno bruto $R$ y escala por cuánto mejor fue una acción de lo esperado. Introduce un crítico — una estimación de valor aprendida $V(s)$ — y define la ventaja:

$A(s,a) = Q(s,a) - V(s)$

Una ventaja positiva significa “esta acción superó la base; hazla más”; negativa significa “por debajo de lo esperado; hazla menos.” Restar la base $V(s)$ recorta la varianza sin sesgar el gradiente. El actor ($\pi_\theta$) propone, el crítico ($V$) califica, y el actor aprende de la calificación en lugar del retorno bruto ruidoso. Eso es actor–crítico en una frase.

PPO (Optimización de Política Proximal) añade la jugada que hizo los métodos de política lo bastante fiables para producción: recorta la actualización de la política para que un solo lote no pueda arrancar la política demasiado lejos de donde estaba. Formalmente acota el cociente de probabilidades $r_t(\theta) = \pi_\theta / \pi_{\theta_{\text{old}}}$ dentro de $[1-\epsilon, 1+\epsilon]$, de modo que un lote demasiado entusiasta no pueda destruir una política conseguida con esfuerzo. El resultado es un caballo de batalla robusto, de poco ajuste, para control continuo — la opción por defecto moderna.

El linaje de acciones continuas que merece la pena conocer por su nombre: A2C/A3C (actor–crítico de ventaja síncrono/asíncrono), DDPG (control continuo determinista con un búfer de replay — un híbrido valor/política), y SAC (Soft Actor-Critic), que añade un bono de entropía para mantener la política explorando. Para el tamaño de posición continuo, PPO y SAC son los nombres a los que recurrirás primero.

Cuándo usarlo

Por defecto, PPO cuando la acción es continua, quieres un entrenamiento estable sin un sinfín de niñeras de hiperparámetros, y puedes permitirte datos on-policy razonablemente frescos. Recurre a SAC cuando la eficiencia de muestra importa más y quieres exploración integrada vía el término de entropía. Usa A2C a secas cuando quieres algo más simple y tienes un simulador rápido.

Exploración vs. explotación bajo costes de transacción

Todo agente de RL se enfrenta a la misma tensión: explotar la mejor acción conocida para embolsar recompensa ahora, o explorar una acción incierta que podría ser mejor. Herramientas estándar:

• ε-avariciosa — actúa con avaricia con probabilidad $1-\varepsilon$, aleatoriamente en caso contrario; reduce $\varepsilon$ poco a poco a lo largo del entrenamiento. Barata y ubicua en los métodos de valor.
• Bonos de entropía — añade una recompensa por una política de alta entropía (menos certera), para que el agente no colapse a una sola acción demasiado pronto. Esta es toda la personalidad de SAC.
• Inicialización optimista — arranca cada $Q(s,a)$ alto para que las acciones no probadas parezcan atractivas; el agente las explora solo para descubrir que estaban sobrevaloradas.

Aquí está el giro del trading que rompe el libro de texto. En un videojuego, un movimiento exploratorio es gratis — en el peor de los casos pierdes una vida de mentira. En los mercados, cada operación exploratoria paga el diferencial, más comisiones, más impacto de mercado. Una política que explora operando al azar no está recogiendo información barata; está sangrando dinero real en cada clic aleatorio. La ε-avariciosa ingenua en trading en vivo es una donación a cámara lenta a tu bróker.

Cuándo usarlo

Usa la exploración en vivo (ε-avariciosa, entropía) solo en un simulador fiel donde los errores sean gratis. Para cualquier cosa que toque capital real, inclínate por el RL offline/por lotes y políticas conservadoras respaldadas por datos — y trata el diferencial y el impacto de cualquier operación “exploratoria” como un coste real y presupuestado, no como un error de redondeo.

Ya puedes situar cualquier algoritmo en el mapa: basado en valor o en política o un matrimonio de ambos, on-policy u off, y ávido de exploración o cauto con los costes. A continuación, en la lección 4 — “La ejecución óptima como problema de RL” — apuntamos todo este arsenal a la tarea de trading más concreta que existe: trocear una orden madre grande en operaciones hijas a lo largo del tiempo, equilibrando el impacto de mercado frente al riesgo de timing, donde la recompensa es el coste de ejecución y el diferencial que llevas preocupándote se convierte en el protagonista.