La ejecución óptima como problema de RL

Vuestro fondo acaba de deciros que compréis un millón de acciones antes del cierre. No podéis simplemente estampar una única orden de mercado gigantesca contra el libro — no hay un millón de acciones esperando en la mejor oferta, y aunque las hubiera, engullirlas todas tiraría del precio en vuestra contra con tanta violencia que las últimas acciones costarían muchísimo más que las primeras. Así que trocéis la orden en pedazos y los vais metiendo a lo largo del tiempo. Pero en cuanto decidís ir despacio, aparece un nuevo enemigo: mientras os entretenéis, el precio puede alejarse por su cuenta. Comprad despacio y la acción podría dispararse antes de que acabéis; vended despacio y podría desplomarse. Estáis atrapados entre dos costes que tiran en direcciones opuestas.

Ese aprieto es el problema. Operad rápido y pagáis impacto de mercado — movéis el precio al demandar liquidez más rápido de lo que el mercado puede suministrarla. Operad despacio y pagáis riesgo de temporización — más tiempo en el mercado significa más exposición a la simple y vieja volatilidad. La ejecución no es un problema de predicción (“¿subirá la acción?”); es un problema de control (“dado que debo operar este tamaño, ¿qué calendario minimiza mi coste total?”). Y un problema de control con un estado, acciones y una recompensa tiene exactamente la forma de un MDP — por lo que la ejecución óptima es la victoria canónica e indiscutida del aprendizaje por refuerzo en el trading.

El problema de la ejecución

Reducidlo a lo esencial. Tenéis $Q$ acciones que liquidar a lo largo de un horizonte $T$, repartido en $N$ pasos temporales iguales. En cada paso elegís cuántas acciones $n_k$ operar, con $\sum_k n_k = Q$. La secuencia $\{n_1, n_2, \ldots, n_N\}$ es vuestro calendario de ejecución, y el total que aún queda por hacer es vuestro inventario. Vuestro objetivo: terminar toda la cantidad minimizando el coste total — donde “coste” tiene dos sabores.

El impacto temporal es la concesión de precio que pagáis por consumir liquidez ahora mismo. Demandad $n_k$ acciones en este instante y barréis el libro más allá de la mejor cotización; cuanto más profundo llegáis, peor vuestra ejecución media. Es crucial que sea temporal — en cuanto dejáis de presionar, el libro se rellena y el precio se recupera. El impacto temporal penaliza la velocidad de operar: operad el doble de rápido en un trozo y pagáis desproporcionadamente más por acción.

El impacto permanente es distinto: es el desplazamiento duradero del precio de equilibrio causado por la información que revela vuestra operación. El mercado ve compras persistentes, infiere algo y revaloriza para siempre. No se recupera cuando paráis, y depende de cuánto operáis en total, no de cómo de rápido. En el modelo lineal clásico, el impacto permanente es un impuesto fijo sobre toda vuestra orden — desplaza el nivel pero, al ser independiente del calendario en el caso más simple, no cambia la forma óptima del calendario.

El riesgo de temporización (volatilidad) es el tercer personaje. Cuanto más tiempo permanece sin vender vuestro inventario restante, más expuesto está al propio paseo aleatorio de la acción. Los calendarios lentos tienen un coste de impacto esperado menor pero una varianza de coste mayor, porque el precio podría vagar lejos mientras todavía tenéis posición. Esta es la tensión sobre la que se construye todo el campo.

Cuándo usarlo

Este planteamiento de impacto frente a riesgo se aplica siempre que movéis un tamaño que es grande en relación con la liquidez disponible: un fondo de pensiones rebalanceando, una reconstitución de índice, un creador de mercado deshaciendo inventario, o una mesa cuantitativa enrutando una orden madre a un algoritmo de ejecución. Para una orden minorista de 100 acciones es irrelevante — sois un error de redondeo en el libro, el impacto es nulo, y deberíais simplemente cruzar el diferencial y seguir adelante.

Almgren–Chriss, la forma cerrada

En 2000, Almgren y Chriss dieron al problema una respuesta limpia. Su jugada: no minimicéis solo el coste esperado (eso solo dice “id despacio para esquivar el impacto” e ignora el riesgo), y no minimicéis solo la varianza (eso dice “id al instante para esquivar la volatilidad” e ignora el impacto). Minimizad una mezcla media–varianza:

$\min_{\{n_k\}} \; \mathbb{E}[\text{cost}] + \lambda \, \mathrm{Var}[\text{cost}]$

Aquí $\lambda \ge 0$ es vuestra aversión al riesgo — el tipo de cambio entre el coste esperado y su incertidumbre. Barred $\lambda$ y el calendario óptimo se transforma:

• $\lambda = 0$ (neutral al riesgo). No os importa la varianza en absoluto, así que solo combatís el impacto. La respuesta es operar lo más uniformemente posible — un calendario plano y uniforme, un trozo por paso. Este es el espíritu del TWAP (precio medio ponderado por tiempo); ponderad los trozos por el volumen típico en su lugar y obtenéis el VWAP.
• $\lambda > 0$ (averso al riesgo). Ahora el inventario sin vender os asusta, así que lo queréis fuera pronto. El calendario óptimo carga al principio: opera más en los primeros pasos, menos después, siguiendo una trayectoria de inventario restante que decae exponencialmente. Cuanto más averso al riesgo seáis, más pronunciada la caída — en el límite, disparáis casi todo de inmediato y os coméis el impacto para matar el riesgo.

Dibujad los pares (coste esperado, varianza) alcanzables conforme variáis $\lambda$ y trazáis la frontera eficiente de ejecución: cada punto es la menor varianza posible para un coste esperado dado (y viceversa). Los calendarios por debajo de la frontera son imposibles; los calendarios por encima de ella son estrictamente tontos — podríais recortar varianza gratis. Vuestra $\lambda$ solo escoge dónde de la frontera queréis vivir.

Un ejemplo resuelto

Liquidad $Q = 100$ acciones a lo largo de $N = 4$ pasos. Supongamos, por usar números redondos, que el plan neutral al riesgo opera 25 en cada paso, y que una $\lambda$ aversa al riesgo escogida produce el plan cargado al principio 40 / 30 / 20 / 10.

Inventario medio mantenido (lo que grava la volatilidad): el TWAP mantiene $(75+50+25+0)/4 = 37.5$ acciones de media; el plan cargado al principio mantiene $(60+30+10+0)/4 = 25$ acciones. El calendario cargado al principio arrastra un tercio menos de inventario a lo largo del tiempo, así que come menos riesgo de temporización — al precio de amontonar operaciones al principio y pagar más impacto por adelantado. Ese intercambio exacto, menos varianza a cambio de más impacto esperado, es un paso a lo largo de la frontera eficiente.

Plantear la ejecución como un MDP

Las lecciones 1–3 os entrenaron para ver cualquier decisión secuencial bajo incertidumbre como un MDP. La ejecución encaja en el molde a la perfección:

La línea de la recompensa es un guiño directo al diseño de recompensa de la lección 2: estáis codificando el mismísimo objetivo media–varianza que minimizó Almgren–Chriss, pero ahora como una señal por paso de la que un agente puede aprender. Maximizar la suma descontada de $-\text{impacto} - \lambda\cdot\text{riesgo}$ es idéntico a minimizar $\mathbb{E}[\text{cost}] + \lambda\,\mathrm{Var}[\text{cost}]$ — la negación da la vuelta a “minimizar coste” para convertirlo en “maximizar recompensa”, y la penalización de riesgo por paso se acumula en el término de varianza. La penalización terminal es la parte que no debéis olvidar: un agente recompensado solo por operar barato aprende el calendario más barato de todos, que es no terminar nunca. La restricción del plazo, “el inventario debe llegar a cero para $T$”, es lo que hace honesto el problema.

Leer una política aprendida

Aquí está la recompensa de la visión del MDP: una política resuelta es simplemente un mapa de estado a acción — “dado mi inventario restante, el tiempo que queda y la señal de precio actual, opera esta velocidad”. Podéis visualizarla como un mapa de calor. Leed la cuadrícula de abajo como una tabla de consulta que el agente consulta en cada paso.

Ahora leed los tres comportamientos en la imagen:

• TWAP es un campo plano — la misma velocidad de operación en cada celda. Es ciego a la señal de precio (cada fila parece idéntica) y ciego a la urgencia (cada columna parece idéntica). Sencillísimo, imposible de manipular y un punto de referencia perfectamente respetable.
• Almgren–Chriss varía a lo largo del eje del tiempo: fuerte al principio, desvaneciéndose al final (carga al principio), pero también ignora las filas de la señal de precio — el modelo clásico no tiene ninguna alfa a la que condicionarse, así que cada fila es igual.
• Una política de RL aprendida ilumina ambos ejes. Se acelera hacia el plazo como Almgren y se condiciona a la señal de precio: cuando la compra parece barata se inclina y opera de más, cuando el precio se le escapa la política se retira y espera, todo ello respetando el reloj. Esa capacidad de respuesta bidimensional es la firma de una política que ha aprendido algo que la forma cerrada nunca modeló.

Qué aporta el RL (y qué se limita a volver a deducir)

Hora de la contabilidad honesta, porque aquí el bombo publicitario es espeso. Tomad el mundo exacto que asumió Almgren–Chriss: impacto permanente y temporal lineales, volatilidad constante, un único activo, ninguna señal predictiva, un objetivo media–varianza. Apuntad un agente de RL a ese mundo y dejadlo entrenar. ¿Qué aprende?

Aprende Almgren–Chriss. Esencialmente el mismo calendario cargado al principio, con caída exponencial, que la forma cerrada os entrega en una línea de álgebra. Esto no es una decepción — es una comprobación de cordura. Si vuestro agente de ejecución no logra recuperar Almgren–Chriss en el escenario donde Almgren–Chriss es demostrablemente óptimo, vuestro agente está roto, y acabáis de encontrar el fallo de forma barata. Volver a deducir la respuesta conocida es la prueba unitaria del RL de ejecución.

El RL se gana el pan precisamente donde esas pulcras suposiciones se resquebrajan — es decir, en la realidad:

• Impacto no lineal o incierto. El impacto real no es una función lineal limpia; se dobla, depende del régimen, y no conocéis sus parámetros con exactitud. El RL aprende el calendario a partir de los datos sin necesitar que escribáis correctamente el modelo de impacto.
• Una señal alfa de corto plazo. Si tenéis una microprediccón genuina (“es probable que el precio suba un tick en el próximo minuto”), el calendario óptimo debería acelerar para comprar antes de la subida y frenar ante los movimientos adversos. Almgren–Chriss no tiene hueco para esto; el RL se condiciona a ello de forma nativa.
• Liquidez dependiente del régimen. Los diferenciales se ensanchan, la profundidad se evapora, la volatilidad se agrupa. Una política que lee las condiciones de mercado actuales y adapta su agresividad supera a cualquier calendario fijo calculado en la apertura.
• Restricciones duras. Tasas de participación mínimas y máximas, enrutamiento a dark pools, “no seas más del X% del volumen”. El RL maneja restricciones desordenadas y no suaves que la media–varianza en forma cerrada no puede.
• Ejecución multiactivo / de cartera. Liquidar una cesta con precios correlacionados e impacto cruzado es un problema de control de alta dimensión sin forma cerrada limpia. Este es el terreno propio del RL.

Cuándo usarlo

Por defecto, usad Almgren–Chriss (o simplemente TWAP/VWAP) cuando vuestro mundo sea aproximadamente su mundo: tamaño modesto, ninguna señal explotable, un único valor líquido, impacto bien entendido. Recurrid al RL cuando tengáis una ventaja real que explotar (una señal), un régimen de impacto difícil de modelar, restricciones no suaves o una cesta correlacionada — y solo después de que confiéis lo suficiente en el modelo de impacto de vuestro simulador como para no estar simplemente aprendiendo sus fallos.

Hacia dónde va esto

La ejecución es el problema de RL más amable del trading porque el objetivo es inequívoco (terminar la orden barato), el punto de referencia es claro (superar a TWAP/Almgren–Chriss), y la realidad rompe la forma cerrada exactamente de las maneras que el RL está construido para absorber. Ya habéis visto la victoria canónica de principio a fin: el equilibrio entre impacto y riesgo, Almgren–Chriss y su frontera eficiente, el planteamiento como MDP, una política aprendida leída en un mapa de calor, y la línea honesta entre lo que el RL vuelve a deducir y lo que aporta de verdad.

Pero la ejecución todavía asume que alguien os entrega la orden y un plazo. La lección 5, “Agentes creadores de mercado”, da la vuelta a la silla: en lugar de consumir liquidez según un calendario, la proporcionáis — cotizando ambos lados del libro, gestionando un inventario que nunca elegisteis tener, y cobrando el diferencial por el privilegio de ser la contraparte contra la que todos los demás operan. El mismo conjunto de herramientas del MDP, una recompensa más salvaje y de dos lados.