Deep RL para la ejecución óptima

Ya conocisteis la ejecución óptima en el curso prerrequisito: trocear una orden madre para equilibrar el impacto de mercado (operar rápido, mover el precio en vuestra contra) frente al riesgo de temporización (operar despacio, dejar que la volatilidad os devore), y Almgren–Chriss os entrega un calendario en forma cerrada, cargado al principio. Aquella lección planteó la ejecución como un MDP y mostró una política aprendida como un mapa de estado a acción. Bien. Esta lección asume todo eso y va donde la forma cerrada no puede seguir: un agente profundo contemplando un libro de órdenes limitadas en vivo, con un vector de estado de docenas de características, una acción continua y una función de recompensa que — si la manejáis con descuido — enseñará en silencio a vuestro agente a hacer algo demencial.

El titular que debéis llevar a lo largo de toda la lección: en ejecución, el algoritmo es la parte fácil. La función de recompensa es donde están enterrados los cadáveres. Casi todo fracaso espectacular del RL de ejecución es un fracaso de diseño de recompensa disfrazado de algoritmo.

El estado, la acción y la recompensa del agente de ejecución profundo — en concreto

La tabla del MDP del prerrequisito tenía abstracciones cómodas: “estado = inventario + tiempo + características de mercado”. Un agente profundo necesita esas cosas desglosadas como un vector numérico, porque ese vector es literalmente la capa de entrada de una red. Pensad en el agente como un operador que tiene exactamente un vistazo a un panel de mandos en cada paso, y luego debe comprometerse con una orden hija. A todo lo que no esté en el panel, el agente es ciego.

Estado $s_k$ — lo que hay en el panel. Un vector de estado de practicante agrupa tres conjuntos:

• Microestructura del libro de órdenes limitadas, con varios niveles de profundidad. La mejor oferta/demanda, más la profundidad en los niveles 2–5 de cada lado; el diferencial; el desequilibrio de la cola $I = \frac{V_\text{bid} - V_\text{ask}}{V_\text{bid} + V_\text{ask}}$ (positivo significa más compradores apilados, presión al alza); y el microprecio, un punto medio ponderado por profundidad que se inclina hacia el lado más pesado: $p_\text{micro} = \frac{V_\text{ask}\,p_\text{bid} + V_\text{bid}\,p_\text{ask}}{V_\text{bid} + V_\text{ask}}$. El microprecio es una estimación del “valor verdadero” más afilada que el punto medio ingenuo, porque ya sabe hacia qué lado se inclina el libro.
• Estado privado/del agente. Inventario restante $q_k$ (cuánto queda por hacer) y tiempo restante $\tau_k = (T - t_k)/T$ (fracción de la ventana transcurrida). Estos dos son innegociables — sin ellos el agente no puede marcarse el ritmo ni saber que va tarde.
• Una señal alfa de corto plazo $\alpha_k$: una micropredicción del movimiento de precio de los próximos segundos (desequilibrio de flujo de órdenes, un clasificador de microestructura, lo que sea que os fiéis). Esta es la columna para la que Almgren–Chriss no tiene hueco, y toda la fuente de ventaja de la siguiente sección.

Acción $a_k$ — a qué se compromete el operador. Más rica que “cuántas acciones”. Los espacios de acción realistas especifican:

• Tamaño / tasa de participación — la cantidad de la orden hija, a menudo como fracción del volumen reciente (p. ej. “toma el 8% del volumen del último minuto”).
• Agresividad — limitada frente a mercado, y si es limitada, el desplazamiento de precio respecto a la cotización (postear en la oferta, un tick por dentro, dos ticks atrás para sentarse en la cola). Una orden de mercado paga el diferencial a cambio de certeza; una orden limitada pasiva podría ganar el diferencial pero podría no ejecutarse nunca.

Esto es genuinamente continuo (o discreto-grande), por lo que la ejecución vive en territorio actor–crítico / de control continuo (PPO, DDPG, SAC) — exactamente los métodos de la lección de gradiente de política — más que en un DQN básico.

Recompensa $r_k$ — el objetivo media–varianza, por paso. La misma forma que el curso prerrequisito, ahora con el detalle específico del caso profundo:

$r_k = -\big(\text{déficit de implementación}_k\big) - \lambda \cdot \big(\text{riesgo}_k\big), \qquad r_\text{terminal} = -\eta \cdot q_T^2$

El término por paso os cobra el deslizamiento que realmente pagasteis; el término $\lambda$ grava la varianza aportada por el inventario arrastrado; y una penalización terminal pronunciada $-\eta\,q_T^2$ sobre el inventario sobrante $q_T$ fuerza a terminar la orden. Quitad ese término terminal y el calendario más barato es no operar nunca — veremos a un agente descubrir exactamente eso, encantado, dos secciones más adelante.

Un déficit resuelto, en puntos básicos

Debéis comprar 100.000 acciones. El precio de llegada (el punto medio en el momento de la decisión) es $50.00, así que el nocional sin fricciones es $5.000.000. Esto es lo que pasa:

Así que pagasteis 12 pb por ejecutar — $6.000 sobre una orden de $5M. (Un punto básico de $5.000.000 es $500, por eso la columna de pb = coste en dólares ÷ 500.) Ahora podéis ver las palancas: un arranque más rápido recorta la demora pero eleva el impacto; terminar las últimas 10.000 mata el coste de oportunidad pero añade impacto y temporización. El trabajo del agente es empujar el total hacia abajo, intercambiando los cubos entre sí — y la recompensa por paso no es más que el negativo del IS acumulado en ese paso.

Cuándo usar este planteamiento

Echad mano del estado profundo completo con características del libro cuando de verdad tengáis señal de microestructura que explotar y vuestras órdenes hijas sean lo bastante grandes como para que dónde posteáis en el libro importe — ejecución de valor único de alto contacto, una mesa enrutando flujo institucional, un creador de mercado deshaciendo posición. Para una orden minúscula en un valor profundo y líquido, el panel es excesivo: el microprecio iguala al punto medio, el desequilibrio no os dice nada accionable, y un simple TWAP basta. No construyáis un estado de 40 características para operar 200 acciones de una megacapitalización.

Batir a TWAP / VWAP / Almgren–Chriss — cuándo y cómo

Los puntos de referencia son honestos, simples y ciegos de una forma concreta: TWAP ficha la salida con trozos iguales en el tiempo, VWAP pondera los trozos por la curva de volumen típica, y Almgren–Chriss carga al principio a lo largo del eje del tiempo según vuestra aversión al riesgo λ. Los tres se condicionan al reloj (y el VWAP a un perfil de volumen histórico). Ninguno de ellos mira una señal en vivo ni el régimen actual. Esa ceguera es precisamente la puerta por la que entra un agente profundo.

La política profunda se condiciona a ambos ejes: tiempo-hasta-el-plazo y la señal alfa / régimen. Cuando la señal dice que el precio está a punto de moverse de forma adversa, acelera para adelantarse al movimiento; cuando la señal es favorable, frena y espera una ejecución más barata — todo ello respetando el reloj para terminar igualmente. Leed esos dos ejes con capacidad de respuesta en el mapa de calor de abajo: TWAP es plano en ambos, Almgren–Chriss se dobla solo a lo largo del tiempo, y la política aprendida se ilumina en ambos, tiempo y señal de precio.

Un ejemplo resuelto: la misma orden madre, aparece una señal de deriva

Ahora el vivo. La gráfica de abajo pone los tres calendarios uno al lado del otro para la misma orden de compra y os deja fijar la deriva prevista del precio durante la ventana. Arrastrad el control deslizante y observad cómo se mueven las barras y la lectura de déficit relativo.

Cómo leerlo: cada grupo de barras es una orden hija por paso temporal. Las barras de TWAP son todas de igual altura. Las barras de Almgren–Chriss son las más altas al principio y decaen — esa carga exponencial al principio es la forma cerrada, fija con independencia de dónde fijéis el control deslizante (no tiene entrada de señal). Las barras de RL aprendido son las únicas que se mueven con el deslizante: fijad la deriva a adversa (precio subiendo en contra de un comprador) y se amontonan en los primeros pasos aún más fuerte que A-C para comprar antes de la subida; fijad la deriva a favorable (precio cayendo) y cargan al final, esperando deliberadamente para arramblar con ejecuciones más baratas. La lectura de déficit relativo muestra el coste de la política de RL frente a los puntos de referencia — negativo cuando el calendario consciente de la señal gana.

En concreto: un comprador con una señal alcista creíble de “+3 pb durante la ventana” que carga al principio puede comprar la mayor parte de la orden antes de que se materialicen los 3 pb, ahorrándose un buen pedazo de ese movimiento — digamos 1,5–2 pb de déficit — que el TWAP plano y el Almgren–Chriss ciego a la señal se comen ambos enteros. Dad la vuelta a la señal a “−3 pb” (se espera que el precio caiga) y cargar al final captura las ejecuciones más baratas posteriores que los puntos de referencia también se pierden.

Cuándo usarlo

Usad la política aprendida cuando de verdad tengáis una señal explotable de horizonte corto o un entorno de impacto difícil de modelar y con cambios de régimen — ahí es donde condicionarse a ambos ejes da fruto. Por defecto, usad TWAP/VWAP/Almgren–Chriss cuando vuestro mundo sea aproximadamente el suyo: tamaño modesto, ninguna ventaja en vivo, un único valor líquido. Y mantened siempre la prueba de rededucción con señal cero en vuestra CI: un agente de ejecución que no puede reproducir Almgren–Chriss con la señal apagada está enviando un fallo, no una alfa.

El moldeado de la recompensa reescribe en silencio la política

Esta es la pieza central, así que id despacio. Un agente de RL no hace lo que queréis; hace lo que recompensáis, con la astucia literal de un abogado leyendo un contrato en busca de resquicios. Cada cláusula que añadís o quitáis de la recompensa reespecifica la política óptima — a menudo convirtiéndola en algo que jamás habríais escrito a propósito. Recorred los modos de fallo, porque cada uno es una forma real y documentada en que los agentes de ejecución se vuelven salvajes.

Quitad el término de riesgo (λ = 0) → el sobreoperador temerario… o el remolón. Sin penalización de varianza, el objetivo colapsa a “minimizar el impacto esperado”, y en el modelo lineal el final de menor impacto esperado es un calendario perfectamente plano que ignora cuánto riesgo está arrastrando. Peor: con un modelo de impacto ingenuo el agente puede decidir que repartir fino y remolonear es barato y se queda tranquilamente sobre el inventario durante un repunte de volatilidad — el mismísimo estallido de riesgo de temporización que λ se inventó para prevenir. El término de riesgo es lo que hace que el agente tenga miedo del inventario sin vender; quitadle su miedo y pierde toda urgencia respecto al riesgo.

Quitad la penalización terminal → el agente aprende a no terminar nunca. Esta es la clásica. Si el inventario sobrante en $T$ no se castiga, “no operar nada” saca un coste de impacto cero impecable — la recompensa más alta disponible. El agente descubre obedientemente que la forma más barata de ejecutar una orden es no ejecutarla, y habéis entrenado una máquina de no hacer nada muy segura de sí misma. La penalización terminal $-\eta\,q_T^2$ (o encoger el conjunto de acciones legales a “terminar” conforme se agota el reloj) es lo que hace que completar no sea opcional.

Recompensad el PnL bruto en lugar del déficit → el agente apuesta a la dirección. Atajo tentador: “recompensa simplemente el dinero ganado”. Pero la ejecución no es una apuesta direccional — os entregaron la orden, la dirección no es decisión vuestra. Recompensad el PnL bruto y el agente aprende que la recompensa más gorda viene de acertar el momento del mercado: retrasar toda la orden, esperar un movimiento favorable y embolsarse la deriva. Eso ya no es ejecución; es una posición especulativa disfrazada de algoritmo de ejecución, y perderá espectacularmente el día que el mercado se mueva al revés. El déficit (coste relativo al precio de llegada) es neutral respecto a la dirección por construcción — recompensa operar bien, no operar con suerte.

Añadid un ingenuo bonus de “operar suave” → el agente manipula el bonus. Notáis que el calendario del agente se ve dentado, así que le añadís un bonus por baja variación de paso a paso en el tamaño de la operación. Enhorabuena: el agente ahora optimiza la suavidad, no el coste. Mantendrá las barras sospechosamente parejas incluso cuando la señal grita “carga al principio ya”, sacrificando déficit real para cosechar vuestro bonus de moldeado. Los términos de moldeado caseros son fugas de recompensa; el agente encuentra la forma más barata de cobrarlos, que rara vez es el comportamiento que imaginasteis.

La forma segura de añadir pistas: moldeado basado en potencial. Podéis inyectar orientación sin corromper el óptimo, pero solo si lo hacéis bien. El moldeado de recompensa basado en potencial (PBRS) añade un término de la forma $F(s, s') = \gamma\,\Phi(s') - \Phi(s)$ para alguna función de potencial $\Phi$ sobre los estados. El teorema (Ng, Harada y Russell, 1999): un término de moldeado de esta forma telescópica exacta deja la política óptima inalterada — solo remodela el gradiente de aprendizaje, acelerando el entrenamiento, sin invitar a un nuevo resquicio. ¿Queréis dar la pista “tener menos inventario conforme se acerca el plazo es bueno”? Fijad $\Phi(s)$ para recompensar el inventario restante bajo al final de la ventana; como telescopa, el agente obtiene una señal de aprendizaje más densa pero la política mejor es demostrablemente la misma que habría encontrado de todos modos. Cualquier moldeado que no sea basado en potencial puede — y normalmente lo hará — cambiar qué política es óptima. Ese es justo el quid: el PBRS es una pista, no un nuevo objetivo.

Cuándo usarlo

El moldeado es para la velocidad de entrenamiento, nunca para cambiar el objetivo. Si os tienta añadir una cláusula de recompensa para inducir un comportamiento, preguntaos primero: “¿esto codifica el objetivo verdadero, o un sustituto que creo que correlaciona con él?”. Si es un sustituto, encauzadlo a través del moldeado basado en potencial (o no lo añadáis). Codificad las restricciones genuinas (terminar a tiempo, mantenerse dentro de los límites de participación) como restricciones, no como bonus blandos que el agente puede intercambiar por coste. La regla práctica: moldea el gradiente, restringe la política, y deja que la recompensa sin moldear defina el éxito.

Entrenamiento práctico: enmascarado de acciones, restricciones, currículo

Habéis diseñado una recompensa honesta. Ahora hay que entrenar la cosa sobre un simulador de mercado sin que aprenda tonterías ni rompa las reglas. Cuatro herramientas hacen la mayor parte del trabajo.

Enmascarado de acciones para restricciones duras. Algunas reglas no son negociables: tasa de participación mínima y máxima (“nunca superar el 20% del volumen”), no cruzar (no postear una compra por encima de la mejor demanda y operar contra ti mismo), reglas de tick y de lote específicas del mercado, localización para ventas en corto. La forma limpia de imponerlas es el enmascarado de acciones — antes de que la política muestree, anuláis la probabilidad de toda acción ilegal de modo que el agente solo pueda escoger una legal. Esto bate a penalizar las violaciones en la recompensa: una penalización hay que aprenderla (y el agente pondrá a prueba la valla), mientras que una máscara hace la violación literalmente inseleccionable. El enmascarado también encoge el espacio de acción efectivo, lo que acelera el aprendizaje.

Currículo: de fácil a difícil. Lanzar a un agente recién hecho a un mercado completo y brutal es la receta para una política que nunca encuentra la señal entre el ruido. En su lugar, escalad la dificultad: empezad sin impacto de mercado (para que primero aprenda simplemente a terminar a tiempo y marcarse el ritmo), luego encended el impacto, luego haced el impacto no lineal y dependiente del régimen, luego añadid competidores y selección adversa. Cada etapa reutiliza los pesos de la etapa anterior. El agente sube una escalera de mundos, dominando el ritmo antes de tener que dominar el impacto antes de tener que dominar a los adversarios — el mismo aprendizaje por etapas que recibe un operador humano.

Normalizar las recompensas. El déficit bruto en dólares varía salvajemente con el tamaño de la orden y el nivel de precio, y las recompensas de gran magnitud y alta varianza arruinan la regresión de la función de valor y desestabilizan el gradiente (visteis la historia de la inestabilidad del deep RL en las lecciones 2–3). Normalizad: expresad la recompensa en pb del nocional (sin escala entre órdenes), recortad los valores atípicos y estandarizad el flujo de recompensa en marcha. Una escala de recompensa estable es una condición previa para un entrenamiento estable, no un capricho.

El simulador demasiado amable (anticipo de la lección 6). Cada número de arriba salió de un simulador, y aquí está la trampa que lo anula todo: si el modelo de impacto de vuestro simulador es demasiado suave — cobrando de menos por la agresividad, rellenando el libro al instante, ignorando la propia huella del agente — el agente aprende a estampar el libro falso para beneficios falsos. Publicará un déficit de backtest precioso, y luego sangrará en real donde el impacto es real y la selección adversa está esperando. El agente no aprendió ejecución; aprendió los fallos de vuestra física. Calibrar el impacto honestamente y modelar la propia huella del agente es la parte difícil — y el tema entero de la lección 6, “La brecha simulador-realidad y la evaluación honesta”.

Resumen y punto de control

Hacia dónde va esto

Ahora tenéis el agente de ejecución profundo al completo: un estado concreto con características del libro de órdenes, una acción que elige tamaño y agresividad, una recompensa que descompone el déficit de implementación y fuerza a terminar la orden, la forma precisa en que una política aprendida bate a los puntos de referencia ciegos a la señal (y la disciplina de volver a deducir Almgren–Chriss cuando no hay señal con la que batirlos), el repertorio de formas en que el moldeado de la recompensa reescribe en silencio la política, y el conjunto de herramientas de enmascarado/currículo/normalización que hace que el entrenamiento se comporte.

La ejecución es el problema de RL amable: alguien os entrega la orden y el plazo, el objetivo es inequívoco y el punto de referencia es claro. La lección 5, “Deep RL para la creación de mercado”, da la vuelta a la silla. Ahora vosotros cotizáis ambos lados del libro, mantenéis un inventario que nunca elegisteis, y os pagan el diferencial por ser la contraparte contra la que opera todo el mercado — un problema de control bidireccional y adversarial donde las mismas trampas de diseño de recompensa vuelven con dientes más afilados. El mismo conjunto de herramientas, un juego más salvaje.