Deep RL para creación de mercado

La ejecución os dio un mandato limpio: alguien os entrega una orden y un plazo, la troceáis barato y os vais a casa. La creación de mercado hace trizas ese mandato. Nadie os dice qué comprar o vender. Os plantáis en mitad del libro cotizando un precio al que compraréis (vuestra demanda, el bid) y un precio al que venderéis (vuestra oferta, el ask), y cobráis el hueco entre ambos — el diferencial (spread) — cada vez que ambos lados operan contra vosotros. La pega: no escogéis vuestras operaciones. El mercado las escoge, golpeando la cotización que más le guste, y tiende a golpear la que está a punto de haceros daño. Acumuláis un inventario que nunca quisisteis, cargáis con un riesgo direccional que nunca pedisteis, y todo vuestro trabajo es seguir recogiendo céntimos de diferencial sin que os aplaste el dólar de riesgo sobre el que se asientan esos céntimos.

Ya conocisteis la versión analítica de esta pelea en el curso de creación de mercado de alta frecuencia: Avellaneda–Stoikov, precios de reserva, inclinación de inventario, selección adversa. Esta lección hace el mismo trabajo con un agente de deep RL — y el remate por adelantado es que la creación de mercado es un problema de RL muchísimo más desagradable que la ejecución, porque la acción es de dos lados y continua, la recompensa es un campo de minas de incentivos perversos, y el punto de referencia que tenéis que superar (AS) es genuinamente bueno.

La creación de mercado como control continuo

Imaginad una máquina expendedora que reinicia sus precios cada segundo. Publica lo que pagará por una lata (demanda) y lo que cobrará por una (oferta). Los clientes se acercan y o bien le venden una lata o bien le compran una — la máquina no puede elegir. Su única palanca es dónde fija los dos precios cada segundo. Inclinarlos, ensancharlos, estrecharlos — ese es todo el trabajo. Un creador de mercado es esa máquina, salvo que las latas son acciones y los clientes a veces saben algo que la máquina no.

Formalmente, en cada paso el agente emite dos números: un desplazamiento de la demanda y un desplazamiento de la oferta relativos al punto medio (equivalentemente, una inclinación del precio de reserva más un semidiferencial). Esa acción vive en un espacio 2D continuo — podéis cotizar 1.3 ticks por debajo del medio o 2.7 ticks por encima, no solo un menú fijo. Este es el dato estructural más importante del RL de creación de mercado, y es por lo que la elección del algoritmo viene forzada.

• DQN sufre. Una Deep Q-Network produce un valor Q por cada acción discreta. Dos mandos continuos significan que tendríais que trocear cada uno en una rejilla y tomar el producto cartesiano — pongamos 21 niveles de demanda × 21 niveles de oferta = 441 acciones discretas, y aun así habríais perdido la resolución fina que importa cuando una ventaja es una fracción de tick. Peor: cotizaciones vecinas tienen un valor casi idéntico, así que el argmax parpadea ruidosamente entre ellas.
• El gradiente de política / actor–crítico encaja. PPO y SAC parametrizan una política que produce una acción continua directamente — típicamente una gaussiana sobre (inclinación, semidiferencial). Optimizan las cotizaciones como números reales, con exploración incorporada (la propia varianza de la política) y actualizaciones estables (el objetivo recortado de PPO, el bono de entropía de SAC). Acción continua → actor–crítico. Esa es la regla.

El estado al que se condiciona el agente es rico: inventario $q$, el precio medio, el diferencial actual, la volatilidad reciente, el desequilibrio del libro de órdenes (más demandas que ofertas en reposo, o viceversa), las ejecuciones recientes (¿te acaban de golpear?) y el tiempo (hacia un cierre de sesión o un punto de reinicio de inventario). La recompensa de un paso es toda la historia del P&L comprimida en un único número:

$r_t = \underbrace{\text{diferencial capturado en ejecuciones}}_{\text{bueno}} \; - \; \underbrace{\lambda_{\text{inv}}\, q_t^2}_{\text{riesgo de inventario}} \; - \; \underbrace{\text{pérdida por selección adversa}}_{\text{te dejan tirado}} \; - \; \underbrace{\text{comisiones}}_{} \; + \; \underbrace{\text{rebajas}}_{}$

Cada término de esa línea es un lugar donde el agente puede ser engañado. Guardad esa idea — la última sección está dedicada a ella.

Cuándo usarlo

Recurrid al RL actor–crítico de creación de mercado cuando vuestra acción sea genuinamente continua y vuestro estado sea de alta dimensión — múltiples niveles del libro, características de microestructura, una estimación de volatilidad. Si habéis colapsado deliberadamente el problema a una cotización a tres bandas “ancha / media / estrecha” sobre un valor lento y líquido, un método discreto (incluso tabular) puede valer y es muchísimo más fácil de depurar. La maquinaria de control continuo justifica su complejidad solo cuando la resolución de fracción de tick y muchas características de estado mueven de verdad vuestro P&L.

Avellaneda–Stoikov, el punto de referencia a superar

Antes de dejar que una red neuronal se acerque al libro, escribís la respuesta que tratáis de superar. Avellaneda–Stoikov (2008) es esa respuesta. Es el óptimo analítico para un creador de mercado que se enfrenta a un punto medio que sigue un paseo aleatorio con volatilidad constante $σ$, una intensidad de ejecución exponencial (cuanto más lejos del medio se sitúa vuestra cotización, exponencialmente menos probable es que la golpeen) y aversión terminal al inventario sobrante. En un bloque:

$r = s - q\,\gamma\,\sigma^2\,(T - t) \qquad \delta = \gamma\,\sigma^2\,(T - t) + \frac{2}{\gamma}\ln\!\left(1 + \frac{\gamma}{k}\right)$

La primera ecuación es el precio de reserva $r$: vuestro valor justo personal ajustado al riesgo, empujado lejos del medio $s$ en proporción a vuestro inventario $q$, vuestra aversión al riesgo $γ$, la varianza $σ^2$ y el tiempo restante $(T-t)$. Poneos largos ($q>0$) y $r$ cae por debajo del medio — habéis decidido en silencio que preferiríais vender. La segunda es el semidiferencial óptimo $δ$: la mitad por riesgo de inventario, la mitad por el término logarítmico que contrapone la probabilidad de ejecución frente al beneficio por ejecución a través de la intensidad de llegada $k$. Vuestras cotizaciones son entonces $\text{oferta} = r + δ/2$ y $\text{demanda} = r - δ/2$. Arrastrad los deslizadores de abajo y mirad cómo ambas cotizaciones se deslizan como una unidad mientras el diferencial fija su anchura.

Aquí está el credo del curso, y no es opcional: un agente de creación de mercado profundo que no logra superar a Avellaneda–Stoikov fuera de muestra no se ha ganado nada. AS es un bloque de álgebra. Si vuestro agente PPO, con sus horas de GPU y su estado de 400 dimensiones, simplemente empata con AS sobre datos retenidos, habéis construido una manera extremadamente cara de reproducir una fórmula de 2008. Y la versión más afilada: en el propio mundo idealizado de AS — volatilidad constante, intensidad exponencial, sin señal — un agente correcto debería volver a deducir AS, igual que un agente de ejecución vuelve a deducir Almgren–Chriss. No lograr esa recuperación no es una diferencia de estilo; es un fallo.

Cuándo usarlo

Usad AS pelado (sin RL) cuando la realidad se parezca de verdad a sus suposiciones: un único valor líquido, volatilidad aproximadamente constante a lo largo de vuestro horizonte, sin señal de corto plazo explotable, flujo no informado y simétrico. Es transparente, instantáneo de calcular e imposible de sobreajustar. Graduaos a un agente aprendido solo cuando esas suposiciones se resquebrajan — flujo tóxico que podáis detectar, volatilidad dependiente del régimen, dinámica del libro multinivel o flujo asimétrico — e incluso entonces, mantened AS funcionando como el punto de referencia contra el que reportáis en cada porción fuera de muestra.

Captura del diferencial penalizada por inventario — el equilibrio central

Este es el corazón palpitante de la creación de mercado, así que id despacio aquí. Tenéis un único dial que controla todo: lo ancho que cotizáis.

Cotizad estrecho (demanda y oferta abrazando el medio) y ganáis la carrera por las ejecuciones — el flujo os golpea constantemente, el diferencial se acumula. Pero cada ejecución os descarga inventario encima, y el inventario es riesgo direccional: un montón de inventario largo no es más que una apuesta apalancada a que el precio sube, hecha por una mesa cuya tesis entera es “no tengo opinión sobre la dirección”. Cotizad ancho y el riesgo de inventario se desploma — pero también vuestras ejecuciones, y un creador de mercado sin ejecuciones no gana diferencial. Estrecho = más diferencial, más riesgo. Ancho = menos riesgo, menos diferencial. No hay ajuste que maximice ambos.

La salida de emergencia es la inclinación (skew), el movimiento del precio de reserva de AS hecho concreto. Cuando estáis largos, bajad ambas cotizaciones: vuestra oferta ahora barata se levanta (alguien os quita el exceso) mientras vuestra demanda ahora tacaña rara vez se golpea (dejáis de acumular). Cuando estáis cortos, subid ambas. La inclinación es un volante que empuja el inventario de vuelta hacia plano sin que tengáis que cruzar el diferencial y pagar de más vosotros mismos. El gráfico de abajo muestra la relación lineal entera — barred el inventario y mirad cómo ambas cotizaciones se deslizan juntas mientras el diferencial (el hueco) se mantiene aproximadamente constante.

Un ejemplo resuelto

Empezad plano ($q=0$) en una acción con medio $100.00, cotizando una demanda simétrica $99.95 / oferta $100.05 (un diferencial de $0.10, así que $0.05 capturados cada vez que estáis en el lado correcto). Recorred cuatro ejecuciones de 100 acciones cada una, y, crucialmente, dejad que el medio derive mientras cargáis inventario.

Diferencial capturado: los pasos 1+2 son una ida y vuelta limpia — vendisteis a $100.05 y recomprasteis a $99.95, embolsando 100 × $0.10 = $10. Los pasos 3+4 parecen otra ida y vuelta de $10 sobre el papel. Pero entre los pasos 3 y 4 estabais largos 100 acciones mientras el medio caía $0.10, una pérdida en papel de 100 × $0.10 = $10 sobre ese inventario. P&L neto a lo largo de las cuatro ejecuciones: $10 (ida y vuelta limpia) + $10 (diferencial bruto del segundo par) − $10 (inventario a precio de mercado) = $10, no los $20 que sugería la captura del diferencial por sí sola. El inventario que cargasteis en el paso 3 se comió en silencio el beneficio de una ida y vuelta entera. Esa única línea — diferencial capturado menos lo que vuestro inventario cargado hizo en vuestra contra — es el juego entero.

Selección adversa — por qué que te ejecuten es mala noticia

Aquí está la crueldad en el centro de la creación de mercado: la ejecución que querías es la ejecución que hace daño. Publicasteis una demanda esperando que un vendedor aleatorio os entregara acciones baratas. A veces es quien aparece. Pero a veces es un operador que sabe que el precio está a punto de caer — os vende a vuestra demanda un latido antes de que el medio caiga, y ahora estáis largos a un precio que ya está rancio. Conseguisteis vuestra ejecución. También os robaron. Eso es la selección adversa: la tendencia sistemática del flujo informado a dejar tirada la cotización que está a punto de equivocarse.

La analogía es un desguace de coches que compra cualquier coche a un precio publicado. La mayoría de los días compráis coches normales y los revendéis con margen. Pero los más ansiosos por vender a vuestro precio publicado son, desproporcionadamente, aquellos cuyos coches son secretamente cacharros — saben algo que vosotros no. Cotizad un precio de compra fijo y os encontraréis con un patio lleno de cacharros. El arreglo no es dejar de comprar; es leer las señales de quién vende y ajustar.

Para un creador de mercado, la señal más estridente de ese tipo es el desequilibrio del flujo de órdenes: cuando el volumen en reposo y entrante está desequilibrado hacia un lado, ese lado es más probable que esté informado. Una ola de ventas agresivas comiéndose la demanda es exactamente cuando vuestra demanda está a punto de ser el precio equivocado. Un agente profundo — a diferencia del AS de manual, que asume flujo no informado y simétrico — puede condicionarse al desequilibrio y a las características de ejecuciones recientes para ensanchar e inclinar defensivamente cuando sube la toxicidad: retirar la demanda, engordar el diferencial, negarse a seguir cogiendo el cuchillo que cae. La misma característica de desequilibrio que os avisa también os dice hacia dónde inclinar. El punto ciego de AS es precisamente este: no tiene hueco para “este flujo parece informado”, y ese es uno de los lugares más claros donde un agente aprendido se gana el pan.

El campo de minas de la recompensa

Ahora la pieza central, y la razón por la que el RL de creación de mercado es mucho más difícil que el de ejecución. En la ejecución el objetivo es casi inequívoco: terminar la orden barato, con una penalización terminal que fuerza la finalización. La creación de mercado no tiene tal ancla. Estáis tratando de codificar “gana diferencial, pero no asumas demasiado riesgo de inventario, y no te dejen tirado, neto de comisiones” en una única recompensa escalar — y casi toda manera de aspecto honesto de escribirla esconde un incentivo perverso que el agente encontrará y explotará con regocijo malicioso. El diseño de la recompensa es el trabajo aquí.

Recorred el campo de minas, porque cada mina ha hecho volar el prototipo de una mesa real:

• Recompensar solo el diferencial realizado. “Paga al agente por el diferencial que captura de verdad en idas y vueltas.” Suena limpio. El agente descubre que la manera más segura de no realizar nunca una pérdida es no ejecutar nunca — cotiza absurdamente ancho, se sienta en inventario cero, asume riesgo cero, recoge recompensa cero, y un cero plano parece seguro al lado de cualquier estrategia que de vez en cuando se hunde en negativo. Habéis entrenado un agente carísimo para que se niegue a crear mercado.
• Recompensar el P&L a precio de mercado sin penalización de inventario. “Solo recompensa el P&L total, incluyendo el no realizado.” Ahora el agente nota que la manera más rápida de hacer que el P&L suba es acertar la dirección — así que deja de equilibrar sus cotizaciones y empieza a cargar inventario hacia donde cree que va el medio. Enhorabuena, habéis entrenado a un especulador direccional con un disfraz de creador de mercado. Parecerá brillante en un backtest con tendencia y detonará en una reversión.
• Penalizar el inventario demasiado fuerte. Sobrecorregid el fallo anterior estampando una penalización enorme $λ_{\text{inv}}\, q^2$ sobre cualquier posición no nula. El agente concluye que el único inventario verdaderamente seguro es ninguno, y la única manera de garantizar ninguno es no cotizar — o cotizar tan ancho que nunca se ejecuta. El mismo mercado muerto que la primera mina, alcanzado desde la dirección opuesta.
• Ignorar la selección adversa. Recompensad el diferencial bruto y el control del inventario pero no digáis nada sobre con quién operasteis. El agente cotiza estrecho para acumular ejecuciones, lo dejan tirado sistemáticamente con flujo informado y sangra — cada ejecución puntúa diferencial positivo en el instante en que ocurre, y la pérdida solo aparece más tarde conforme el medio se mueve contra el inventario recién adquirido, momento en el que la asignación de crédito está enturbiada. El agente nunca conecta “cotización estrecha contra flujo tóxico” con “pérdida”, así que nunca para.

El hilo que atraviesa las cuatro: una recompensa de creación de mercado debe simultáneamente recompensar las ejecuciones (o el agente no cotizará), penalizar el inventario (o especula) — pero no tan fuerte que se quede catatónico — y tener en cuenta la selección adversa (o sangra con flujo tóxico). La penalización de inventario $q^2$ tiene que estar ajustada, no a tope: lo bastante para desalentar el amontonamiento, no tanto que plano-y-callado domine.

La herramienta disciplinada es el modelado de recompensa basado en potencial (potential-based reward shaping). Añadid términos de modelado de la forma $F(s,s') = \gamma\,\Phi(s') - \Phi(s)$ para algún potencial $Φ$ (p. ej. una función suave del inventario) — esto deja demostrablemente la política óptima sin cambios mientras hace que el gradiente apunte en la dirección correcta durante el aprendizaje. Empuja al agente hacia el inventario plano y lejos de las ejecuciones tóxicas sin reescribir en secreto el objetivo a “no operar nunca”. Las penalizaciones burdas cambian qué es óptimo; el modelado basado en potencial solo cambia lo rápido que llegáis ahí. Cuando debáis añadir un término de inventario, preferid la versión modelada y basada en potencial frente a una penalización fija en bruto.

La escalera de precios de abajo es la imagen a mantener en la cabeza mientras razonáis sobre la recompensa. Es el libro de órdenes con la propia demanda y oferta del creador metidas dentro; empujad el deslizador de inventario y mirad cómo ambas cotizaciones se inclinan (el término de inventario de la recompensa hecho visible), empujad el deslizador del semidiferencial y mirad cómo el hueco engorda (el término diferencial-frente-a-probabilidad-de-ejecución). Cómo leerla: la columna de órdenes en reposo es el libro, vuestros dos niveles resaltados son donde vosotros estáis expuestos, y la distancia al medio es exactamente el mando por el que pelea la recompensa — demasiado estrecho y os ejecutáis contra todo (incluyendo flujo tóxico), demasiado ancho y nunca ganáis.

Cuándo usarlo

Invertid vuestro esfuerzo en el diseño de la recompensa antes que en la arquitectura — un PPO perfectamente ajustado sobre una recompensa rota aprende lo equivocado de forma impecable. Partid del objetivo de AS (ya codifica diferencial menos riesgo de inventario de forma sensata), añadid un término explícito de selección adversa / toxicidad solo una vez que tengáis una característica de desequilibrio utilizable, y preferid el modelado basado en potencial frente a las penalizaciones en bruto siempre que necesitéis dirigir el comportamiento. Y comprobad siempre la cordura: en el mundo idealizado de AS la recompensa modelada debería reproducir AS, y fuera de muestra el agente debe superar a AS neto de comisiones, o todo el aparato no se ha ganado nada.

Hacia dónde va esto

Ya habéis visto la creación de mercado como un problema de control continuo de dos lados: la acción es (inclinación, semidiferencial), lo que fuerza métodos actor–crítico como PPO y SAC; el punto de referencia es Avellaneda–Stoikov, que un agente serio debe volver a deducir en su mundo y superar fuera de muestra; el equilibrio central es la captura del diferencial frente al riesgo de inventario, dirigida por la inclinación; la crueldad es la selección adversa, donde la ejecución fácil es la tóxica; y todo el problema es en realidad un problema de diseño de recompensa, un campo de minas donde cada objetivo ingenuo cría un agente roto distinto.

Pero cada afirmación de “supera a AS fuera de muestra” de esta lección se apoya en un simulador — un modelo de ejecuciones, de impacto, de quién está al otro lado. Y los simuladores de creación de mercado mienten aún más seductoramente que los de ejecución, porque pueden inventarse la contraparte. La lección 6, “La brecha simulador-realidad y la evaluación honesta”, es donde dejamos de fiarnos del backtest: cómo un modelo de ejecución demasiado amable o una selección adversa ausente fabrican beneficios falsos, y cómo evaluar un agente de cotización con la honestidad suficiente para que “superó a AS” signifique algo en real en lugar de significar “aprendió los fallos de mi física”.