El zoo de agentes

Hasta ahora has construido mercados a partir de una sola clase de criatura: el trader de inteligencia cero (ZI) —un agente que envía órdenes de compra/venta aleatorias dentro de límites de precio razonables y que, por lo demás, tiene la profundidad estratégica de un pez de colores—. Los agentes ZI son una línea base brillante. También son, por sí solos, profundamente aburridos. Un estanque lleno de peces de colores idénticos no hace un arrecife de coral.

Esta lección es la excursión al resto del zoo. Conoceremos el elenco heterogéneo que hace que un mercado simulado de verdad se comporte como un mercado —generando tendencias, reversión a la media y el constante tira y afloja entre la calma y el caos—. Cada arquetipo recibe una descripción de su trabajo, un ejemplo resuelto y un veredicto: ¿estabiliza el precio (lo empuja de vuelta hacia la calma) o lo desestabiliza (lo aleja aún más de la calma)? Y rastrearemos de dónde salió toda esta empresa —el Mercado de Valores Artificial de Santa Fe y el moderno simulador ABIDES— antes de que aprendas el movimiento que define un modelo basado en agentes: elegir la mezcla.

Un mercado necesita un elenco

Esta es la intuición central. La heterogeneidad —una población de agentes que siguen reglas distintas y reaccionan de forma distinta al mismo precio— es el motor que genera dinámicas interesantes. Un mercado de agentes idénticos tiende hacia una única opinión compartida; nada sorprendente emerge porque no hay desacuerdo interno que resolver. El desacuerdo es la dinámica.

Piensa en un ecosistema. Una sola especie de conejo, sola, simplemente se multiplica hasta que se come toda la hierba y se muere de hambre —un arco plano y predecible—. Añade zorros (que comen conejos) y la hierba (que rebrota) y obtienes los famosos ciclos de auge y caída de población, oscilaciones que ninguna especie produciría jamás por sí sola. El ciclo es emergente: vive en la interacción, no en ningún animal concreto. Un mercado es igual. Las tendencias, los desplomes y los racimos de volatilidad son propiedades emergentes de agentes con estrategias en conflicto operando unos contra otros —no rasgos codificados a mano en ningún trader individual.

El elenco que conoceremos tiene cinco arquetipos:

Antes de recorrerlos uno a uno, aquí tienes todo el zoo en un único cajón de arena. El mezclador de abajo te permite fijar los pesos poblacionales de cuatro tipos de agente y observar cómo se redibuja la senda de precio emergente. Sube un control y el carácter del mercado cambia —a veces tranquilo, a veces en tendencia, a veces puro ruido—. Mantenlo abierto mientras lees; cada sección se corresponde directamente con uno de estos controles.

Juega primero con los preajustes. La «Mezcla estabilizadora» se apoya en creadores de mercado y traders de valor —fíjate en que la lectura de volatilidad se mantiene baja y el veredicto reza calma—. El «Guiado por tendencia» sube el momentum y la senda brota largas carreras direccionales. El «Ruido puro» es todo traders ZI: nervioso, sin dirección, sin estructura persistente. Explicaremos por qué ocurre cada una de esas cosas, un agente cada vez.

Creadores de mercado (los proveedores de liquidez)

Analogía. Un creador de mercado es la caseta de cambio de divisas del aeropuerto. Siempre ofrece comprar tus dólares y venderte euros, simultáneamente, publicando ambos precios. No le importa hacia dónde se dirige la multitud —solo quiere ser quien está en medio de cada transacción, embolsándose una rebanadita cada vez.

Definición. Un creador de mercado es un agente que publica continuamente cotizaciones a dos lados: una demanda (el precio al que comprará) y una oferta (el precio al que venderá), con la oferta por encima de la demanda. La brecha entre ambas es el diferencial, y la ventaja del creador es ganar ese diferencial comprando barato y vendiendo caro a lo largo de muchos viajes de ida y vuelta. El coste del negocio es el riesgo de inventario —el peligro de acumular una gran posición unilateral que luego se mueve en tu contra—. (Conociste el riesgo de inventario en profundidad en el prerrequisito de creación de mercado con RL profundo; aquí es la misma bestia, ahora una especie dentro de un zoo más grande.)

Efecto: estabilizador. Los creadores de mercado absorben el flujo de órdenes. Cuando llega una oleada de compradores, el creador es el vendedor; cuando se amontonan los vendedores, el creador compra. Al situarse entre los traders impacientes y el precio, amortiguan las oscilaciones que esos traders causarían de otro modo. Más creadores en la población → diferenciales más estrechos, liquidez más profunda, menor volatilidad realizada.

Ejemplo resuelto

Un creador cotiza demanda 99,90 / oferta 100,10, un diferencial de 100.10 − 99.90 = 0.20. Un viaje de ida y vuelta equilibrado —vender una unidad a 100,10, recomprar una a 99,90— rinde:

100.10 − 99.90 = 0.20 de beneficio por viaje de ida y vuelta, sobre una posición neta esencialmente nula. Hazlo 50 veces en una sesión y habrás ganado 50 × 0.20 = 10.00, sin haber tomado casi ninguna apuesta direccional.

Ahora supón que el flujo se vuelve unilateral: todo el mundo quiere comprar. El creador sigue llenando a esos compradores desde su lado de la oferta, vendiendo unidad tras unidad. Tras 30 ejecuciones unilaterales su inventario es −30 (corto 30 unidades) —debe al mercado 30 unidades que no tiene—. Si entonces el precio salta de 100,10 a 102,00, la pérdida a precio de mercado del creador sobre ese inventario es:

30 × (102.00 − 100.10) = 30 × 1.90 = 57.00 —borrando un montón de diferencial ganado con paciencia—. Eso es el riesgo de inventario mordiendo.

Cuándo usarlos

Añade creadores de mercado cuando quieras un libro de órdenes limitadas realista con un diferencial demanda-oferta funcional y liquidez creíble, o cuando estés estudiando cómo la provisión de liquidez afecta a la volatilidad y a los costes de ejecución. También son esenciales cuando otros agentes necesitan alguien contra quien operar —una población de traders puramente direccionales sin creadores a menudo no logra casar en absoluto.

Momentum / seguidores de tendencia (los amplificadores)

Analogía. Los traders de momentum son la multitud de una discoteca que «se está llenando». Parece concurrida, así que más gente hace cola, lo que la hace parecer más concurrida, así que aún más gente hace cola. La cola se alimenta a sí misma —hasta que de repente deja de hacerlo y todos se van a la vez—. Compran porque sube y venden porque baja, tratando la dirección reciente como una señal sobre la siguiente.

Definición. Un trader de momentum (o seguidor de tendencia) es un agente cuya demanda es una función positiva de los rendimientos recientes: los precios al alza disparan compras, los precios a la baja disparan ventas. Esto es retroalimentación positiva —la salida (un movimiento de precio) se realimenta para reforzar su propia causa.

Efecto: desestabilizador. La retroalimentación positiva amplifica. Un movimiento pequeño engendra compras, lo que produce un movimiento mayor, lo que engendra más compras. Los agentes de momentum estiran las fluctuaciones en tendencias, inflan burbujas y aceleran desplomes. También son los principales sospechosos de la agrupación de volatilidad —la tendencia de los grandes movimientos a seguir a grandes movimientos—, que es el tema estrella de la próxima lección. Por ahora, simplemente guárdate esto: los seguidores de tendencia fabrican persistencia.

Ejemplo resuelto

El precio sube +1 %. Los agentes de momentum lo leen como una señal de compra y se amontonan; sus compras empujan el precio otro +0,6 %. Ese nuevo movimiento es en sí mismo una señal fresca, así que una segunda oleada compra, añadiendo, digamos, +0,6 % × 0,6 = +0,36 %. El movimiento acumulado desde el empujón original del 1 %:

1% + 0.6% + 0.36% + … ≈ 1% × (1 / (1 − 0.6)) = 1% × 2.5 = 2.5%

Una chispa del 1 % se convirtió en un movimiento del 2,5 % puramente por autorrefuerzo (usando la suma de la serie geométrica con factor de amplificación 0,6). Invierte el signo y la misma maquinaria convierte una pequeña caída en una cascada.

Cuándo usarlos

Usa agentes de momentum cuando quieras que tu mercado exhiba tendencias, burbujas y desplomes de colas gruesas en lugar de un plácido paseo aleatorio, o cuando estés estudiando específicamente cómo la retroalimentación positiva genera agrupación de volatilidad y movimientos autocumplidos. Son la razón por la que un mercado simulado puede tener estados de ánimo.

Traders fundamentales / de valor (las anclas)

Analogía. Un trader de valor es el cazador de gangas que tiene un número firme en la cabeza de cuánto vale un sofá. Si la tienda lo marca muy por encima de ese número, se marcha (o lo vende en corto); si lo rebaja por debajo, compra dos. Operan contra el entusiasmo de la multitud, anclados a su propia estimación del valor justo.

Definición. Un trader fundamental o de valor es un agente que mantiene una estimación del valor justo de un activo (su valor intrínseco) y desvanece las desviaciones respecto a él: compra cuando el precio está por debajo del valor justo (barato), vende cuando está por encima (caro). Su demanda es una función negativa de la brecha entre el precio y el fundamental.

Efecto: estabilizador. Esto es retroalimentación negativa —la respuesta se opone al movimiento que la disparó— y la retroalimentación negativa produce reversión a la media: una tendencia del precio a ser arrastrado de vuelta hacia un ancla central. Los traders de valor son el contrapeso de los agentes de momentum. Donde los seguidores de tendencia persiguen, los traders de valor desvanecen.

Ejemplo resuelto

El valor justo es 100. El precio ha sido empujado hasta 110 —una sobrevaloración de (110 − 100) / 100 = 10%—. Los traders de valor ven una prima del 10 % y venden, suministrando el activo a la ansiosa multitud. Sus ventas empujan el precio hacia abajo, hacia el valor justo: quizá a 106, luego a 102, a medida que más agentes de valor actúan sobre la brecha menguante pero aún positiva. Cuanto más se aleja el precio de 100, con más fuerza se apoyan contra él —una fuerza restauradora proporcional a la desviación, como un muelle—. (Simétricamente, a un precio de 90 comprarían el descuento del 10 % y empujarían el precio de vuelta hacia arriba.)

Cuándo usarlos

Añade traders de valor siempre que quieras un ancla de reversión a la media creíble y un fundamental alrededor del cual el precio orbite, o cuando estés modelando el eterno duelo entre la persecución de tendencias y el desvanecimiento de valor. Empárejalos con agentes de momentum y obtienes el realista tira y afloja que genera oscilación en torno a un valor justo, en lugar de una línea plana o una subida sin límite.

Traders de ruido y agentes de RL aprendidos

Los dos últimos miembros del zoo son los que ya conoces a medias —y los que apuntan hacia dónde se dirige este curso.

Traders de ruido / de inteligencia cero. Recuerda de la lección de ZI: un trader de ruido envía órdenes impulsadas por una demanda aleatoria en lugar de por cualquier visión del valor o la dirección. Lejos de ser relleno, hacen un trabajo real. Aportan liquidez (órdenes aleatorias en ambos lados dan a todos alguien contra quien operar), inyectan realismo (los mercados reales están llenos de operaciones que no tienen una razón estratégica limpia —cobertura, reequilibrio, impaciencia, ruido—), y son la línea base contra la que mides si un agente más sofisticado realmente aporta algo. Si tu población sofisticada produce los mismos hechos estilizados que el puro ruido ZI, tu sofisticación no se ganó nada.

Agentes de RL aprendidos. Aquí está el tejido conectivo. Los bots de ejecución y creación de mercado que construiste con aprendizaje por refuerzo en el prerrequisito de RL profundo —agentes que aprendieron una política para maximizar una recompensa (minimizar el coste de ejecución, gestionar el inventario)— pueden dejarse caer en la simulación como una población más. No reciben un estatus especial; son una especie más en el zoo, reaccionando al mismo libro de órdenes que todos los demás. A veces un creador de mercado aprendido se comporta como un estabilizador más inteligente; a veces un agente de ejecución aprendido se comporta como un trader de momentum sin que se le haya dicho que lo haga. Lo que le hace al precio depende enteramente de para qué fue entrenado para optimizar.

Esto es un presagio deliberado de la lección 7, donde damos la vuelta a la relación: el MBA se convierte en el entorno de RL. El mercado simulado —lleno de creadores, agentes de momentum, traders de valor y ruido— es exactamente el mundo rico y reactivo que un agente de RL necesita para entrenar. Zoo hoy, gimnasio mañana.

El linaje y montar una población

¿De dónde salió «modelar el mercado como un zoo de estrategias»? Dos hitos.

El Mercado de Valores Artificial de Santa Fe (Arthur, Holland, LeBaron, Palmer, Tayler; ~años 90). Un MBA fundacional en el que agentes racionalmente limitados e inductivos —agentes con razonamiento limitado que aprenden de la experiencia en lugar de calcular un óptimo perfecto— elegían cada uno entre un repertorio de reglas de trading, algunas técnicas (chartistas, con sabor a momentum) y otras fundamentales (con sabor a valor), y reforzaban aquellas reglas que habían estado rindiendo. El hallazgo estrella sacudió la teoría imperante: una rica ecología de estrategias coevolutivas, no un único equilibrio de expectativas racionales, es lo que produce un comportamiento de precio realista y complejo —burbujas, desplomes, volatilidad persistente—. La heterogeneidad no era una molestia que asumir como inexistente; era la fuente del realismo.

ABIDES (Agent-Based Interactive Discrete Event Simulation). El descendiente moderno, abierto y de alta fidelidad: un simulador multiagente de libro de órdenes limitadas con un motor de casamiento real y manejo de eventos discretos con resolución de nanosegundos, de modo que los mensajes, las latencias y la prioridad de las órdenes se comportan como en una bolsa genuina. Como es fiel y configurable, ABIDES se usa ampliamente como entorno de trading de aprendizaje por refuerzo —puéblalo con agentes de fondo, deja caer tu agente aprendido y entrena—. (Fíjate en cómo esto aterriza precisamente donde apuntaba la sección anterior.)

Entonces, ¿cómo montas tú una población? Eliges la mezcla —los recuentos o pesos de cada tipo de agente—. Eso es todo. Ese es el acto creativo central del modelado de mercados basado en agentes, y es literalmente los controles del mezclador de arriba. Más creadores de mercado y traders de valor → un mercado más tranquilo, con reversión a la media. Más agentes de momentum → tendencias y fragilidad. Todo ruido → nerviosismo sin estructura. La mezcla es el modelo.

Recapitulación

El zoo, de un tirón: un mercado obtiene su dinámica de la heterogeneidad, no de ningún agente individual ingenioso. Los creadores de mercado cotizan ambos lados y amortiguan el flujo (estabilizadores —hasta que el riesgo de inventario los hace huir—). Los traders de momentum persiguen la dirección y la amplifican (retroalimentación positiva desestabilizadora; la agrupación de volatilidad del mañana). Los traders de valor desvanecen desviaciones hacia el valor justo (retroalimentación negativa estabilizadora; reversión a la media). Los traders de ruido/ZI aportan liquidez y realismo y fijan la línea base. Los agentes de RL aprendidos son una población más cuyo signo depende de su recompensa. El linaje del campo va del Mercado de Valores Artificial de Santa Fe (la ecología vence al equilibrio) a ABIDES (una fiel simulación de LOB que hace de entorno de RL). Y montar una población es elegir la mezcla —los controles— con la advertencia permanente de que más tipos significa más mandos y más formas de sobreajustar.