Ejemplos adversariales en modelos de trading

En 2014 un grupo de investigación tomó una foto de un panda, le añadió una capa de ruido tan tenue que el ojo humano no percibe cambio alguno, y un clasificador de imágenes de última generación que había etiquetado el original como “panda” con un 58% de confianza ahora etiquetaba la imagen manipulada como gibón con un 99% de confianza. El ruido no era aleatorio. Estaba fabricado — cada píxel empujado en la dirección exacta que llevaba al modelo hacia “gibón”.

Esa imagen lanzó todo un campo. La lección inquietante: un modelo puede tener un 97% de precisión y ser 100% rompible, porque una alta precisión sobre entradas naturales no dice nada sobre el comportamiento ante entradas que un adversario diseña. Y aquí viene la parte que debería quitarle el sueño a un quant — los mercados están llenos de adversarios capaces de diseñar tus entradas. A un modelo de trading no le das píxeles. Le das variables fabricadas: momentum, volatilidad realizada, spread bid–ask, desequilibrio del flujo de órdenes, RSI. Y cada una de esas variables puede ser movida por alguien dispuesto a operar contra ti.

Esta lección reformula todo el arsenal de ejemplos adversariales — FGSM, PGD, la geometría L-p, la explicación de la linealidad — para un modelo de trading cuyos “píxeles” son variables del libro de órdenes y cuyo “ruido imperceptible” son unos pocos puntos básicos de flujo colocado estratégicamente. Una vez que ves tu señal como una función que un oponente puede sondear, la robustez deja de ser una curiosidad de la investigación en visión y se convierte en lo mínimo exigible.

Qué es un ejemplo adversarial

Analogía. Un cajero de banco puede verificar mil firmas reales sin un solo fallo y aun así dejarse engañar por un falsificador que estudió exactamente cómo comprueba las firmas el cajero. El 99,9% de precisión del cajero sobre firmas honestas es irrelevante para el falsificador, que no muestrea de la distribución honesta — busca la única firma que se cuela. Un ejemplo adversarial es la firma falsificada, hallada por alguien que conoce los puntos débiles del modelo.

Definición. Sea un modelo que produce una decisión a partir de un vector de variables de entrada $x$ mediante una función de puntuación y una pérdida $L(x, y)$ que mide cuánto se equivoca respecto a la etiqueta verdadera $y$. Un ejemplo adversarial es una entrada perturbada $x' = x + \delta$ donde la perturbación $\delta$ es pequeña bajo alguna norma elegida y aun así maximiza la pérdida (o voltea la salida). Formalmente, el atacante resuelve

$\max_{\delta} \; L(x + \delta, y) \quad \text{sujeto a} \quad \lVert \delta \rVert_p \le \varepsilon.$

La restricción $\lVert \delta \rVert_p \le \varepsilon$ es el presupuesto de perturbación: $\delta$ debe ser minúsculo bajo la norma $L_p$, acotado por $\varepsilon$. “Minúsculo” es lo que lo hace adversarial en lugar de ser simplemente una entrada distinta — se supone que el cambio es imperceptible (en visión) o barato (en mercados).

Reformulación para mercados. Sustituye los píxeles por variables fabricadas. Un modelo de trading podría puntuar un vector de variables

$x = (\text{momentum},\; \text{volatilidad},\; \text{spread},\; \text{desequilibrio del flujo de órdenes},\; \text{RSI}).$

Una señal de largo se dispara cuando la puntuación supera una frontera. Un ejemplo adversarial aquí es un empujón fabricado a esas variables — pongamos momentum 0,3 desviaciones típicas a la baja, desequilibrio con el signo cambiado, spread algo más ancho — diseñado para que el modelo que quería ponerse largo ahora se ponga corto. Lo crucial: no perturbas las variables directamente; perturbas el libro de órdenes lo justo para que las variables fabricadas calculadas a partir de él se muevan donde quieres. El ataque vive en el mercado; el daño aterriza en el vector de variables.

Ejemplo resuelto. Supón que un largo se dispara cuando la puntuación es al menos 0,60. El vector de variables honesto de hoy puntúa 0,62 — un largo cómodo. Un atacante calcula que desplazar cuatro variables con un presupuesto combinado de 0,05 (bajo la norma relevante) baja la puntuación a 0,55. Eso está por debajo de 0,60, así que el modelo ahora voltea a corto. La posición se invierte con una perturbación que un responsable de riesgos mirando las variables a ojo quizá ni note: cada variable se movió una pizca, ninguna parece anómala, y sin embargo el agregado apuntaba con precisión a la frontera.

Cuándo usarlo

Echa mano de la lente de los ejemplos adversariales siempre que algún otro agente a la vez observe tu comportamiento y se beneficie de voltearlo — una contraparte que se opone a tu flujo, un HFT depredador que caza tus stops, un rival que aplica ingeniería inversa a tu señal. Si las entradas de tu modelo se calculan a partir de datos públicos de mercado que cualquiera puede mover operando, asume que las entradas son atacables y pregúntate cuán barato resulta voltear tu decisión.

La explicación de la linealidad — por qué los modelos en alta dimensión son frágiles

Analogía. Imagina una votación donde 100 jueces tienen cada uno un voto minúsculo. Soborna a cada juez con un solo dólar — trivial, casi imperceptible por juez — y habrás gastado $100 de influencia en total. En una votación reñida, $100 de empujones coordinados voltean el resultado aunque ningún juez individual fue comprado por una suma significativa. La alta dimensionalidad es tener muchos jueces: montones de variables, cada una barata de empujar, que suman un empellón decisivo. Esa es la maldición del modelo lineal.

Definición. Para una puntuación lineal $s(x) = w \cdot x = \sum_i w_i x_i$, perturbar la entrada en $\delta$ cambia la puntuación exactamente en

$s(x + \delta) - s(x) = w \cdot \delta = \sum_i w_i\, \delta_i.$

Bajo un presupuesto $L_\infty$ — es decir, cada variable puede moverse como mucho $\varepsilon$, o sea, el mayor cambio en una sola variable está acotado (esta es la restricción de “norma del máximo”) — el desplazamiento peor caso de la puntuación se logra empujando cada variable el $\varepsilon$ completo en el signo de su peso:

$\max_{\lVert \delta \rVert_\infty \le \varepsilon} \; w \cdot \delta = \varepsilon \sum_i \lvert w_i \rvert = \varepsilon\, \lVert w \rVert_1.$

Mira fijamente ese resultado. El daño peor caso escala con $\lVert w \rVert_1$, la suma de los pesos absolutos — que crece con el número de variables $d$. Duplica la dimensión y (para pesos típicos similares) aproximadamente duplicas el apalancamiento del atacante, con el mismo presupuesto por variable $\varepsilon$. La alta dimensionalidad, lo que hace poderosos a los modelos modernos, es también lo que los hace frágiles.

Ejemplo resuelto. Toma un modelo con $d = 100$ variables, un peso absoluto medio de $\lvert w_i \rvert = 0.1$, y un presupuesto $L_\infty$ de $\varepsilon = 0.01$ (cada variable puede moverse una parte por cien de su rango escalado). El desplazamiento peor caso de la puntuación es

$\varepsilon \, \lVert w \rVert_1 = 0.01 \times (100 \times 0.1) = 0.01 \times 10 = 0.1.$

Un desplazamiento de la puntuación de 0,1 a partir de un empujón por variable de tan solo 0,01 — una amplificación de 10x, cortesía de la dimensión. Si la frontera de decisión se sitúa a menos de 0,1 de la puntuación actual (como suele ocurrir cerca de un umbral de señal), eso basta para voltear la operación. Ahora escala a $d = 1000$ variables con el mismo presupuesto por variable y el desplazamiento peor caso es $0.01 \times (1000 \times 0.1) = 1.0$ — diez veces mayor, gratis.

Cuándo usarlo

Usa el argumento de la linealidad para triar tu exposición: cuantas más variables consuma tu modelo y más lineal sea su superficie de decisión cerca del umbral, mayor es el apalancamiento $\lVert w \rVert_1$ del atacante. También te apunta a una defensa parcial — reducir $\lVert w \rVert_1$ (modelos más dispersos, más regularizados, con menos variables) acota directamente el daño $L_\infty$ peor caso. Échale mano cada vez que te tiente añadir “solo unas variables más” a una señal que se sitúa cerca de una frontera.

FGSM — el método del signo del gradiente rápido

Analogía. Estás en el fondo de un valle (pérdida baja = decisión correcta) y quieres salir lo más rápido posible con un paso de longitud fija en cada dirección de la brújula. FGSM mira la pendiente bajo tus pies y, en cada dirección, da el paso completo permitido cuesta arriba. No le importa cuán empinada es cada dirección — solo qué dirección sube — porque el presupuesto $L_\infty$ premia mover cada coordenada la cantidad completa. Es la escapada codiciosa de un solo disparo fuera del valle.

Definición. El método del signo del gradiente rápido (FGSM) construye la perturbación en un único paso de gradiente:

$\delta = \varepsilon \cdot \operatorname{sign}\big(\nabla_x L(x, y)\big), \qquad x' = x + \delta.$

Aquí $\nabla_x L$ es el gradiente de la pérdida respecto a la entrada (no a los pesos — estamos atacando la entrada, manteniendo el modelo fijo), y $\operatorname{sign}(\cdot)$ mapea cada componente a $+1$, $0$, o $-1$. Multiplicar por $\varepsilon$ gasta el presupuesto completo por variable en cada coordenada. Como usa el signo en lugar de la magnitud cruda, el resultado aterriza exactamente en la esquina de la bola $L_\infty$ — el punto lineal peor caso que derivamos arriba. Una pasada hacia adelante, una pasada hacia atrás, listo. Ese es el “rápido” de FGSM.

Ejemplo resuelto (juguete de 3 variables). Un modelo lineal puntúa $s(x) = w \cdot x$ con pesos $w = (0.9,\, -0.7,\, 0.6)$ y se pone largo cuando $s \ge 0$. Hoy $x = (0.5,\, 0.4,\, 0.3)$, así que

$s(x) = 0.9(0.5) + (-0.7)(0.4) + 0.6(0.3) = 0.45 - 0.28 + 0.18 = 0.35 \gt 0 \;\Rightarrow\; \text{LARGO}.$

El atacante quiere voltear a corto, es decir, empujar la puntuación hacia abajo. Para una puntuación lineal, el gradiente de la puntuación respecto a la entrada es simplemente el vector de pesos, $\nabla_x s = w = (0.9, -0.7, 0.6)$. Para disminuir la puntuación al máximo bajo un presupuesto $L_\infty$ de $\varepsilon = 0.1$, empuja cada variable en contra del signo de su peso:

$\delta = -\varepsilon \cdot \operatorname{sign}(w) = -0.1 \cdot (\,+1,\, -1,\, +1\,) = (-0.1,\, +0.1,\, -0.1).$

La entrada perturbada es $x' = (0.4,\, 0.5,\, 0.2)$, y la nueva puntuación es

$s(x') = 0.9(0.4) + (-0.7)(0.5) + 0.6(0.2) = 0.36 - 0.35 + 0.12 = 0.13.$

Todavía positiva — por poco. Sube el presupuesto a $\varepsilon = 0.2$: $\delta = (-0.2, +0.2, -0.2)$, $x' = (0.3, 0.6, 0.1)$, y

$s(x') = 0.9(0.3) + (-0.7)(0.6) + 0.6(0.1) = 0.27 - 0.42 + 0.06 = -0.09 \lt 0 \;\Rightarrow\; \text{CORTO}.$

Un empujón por variable de 0,2 — dentro del ruido del rango normal de una sola variable — arrastra la puntuación de $+0.35$ a $-0.09$ y voltea la posición. Fíjate en que la caída total es exactamente $\varepsilon\,\lVert w \rVert_1 = 0.2 \times (0.9 + 0.7 + 0.6) = 0.2 \times 2.2 = 0.44$, coincidiendo con $0.35 - (-0.09) = 0.44$. La fórmula de la linealidad lo predijo al céntimo.

Cuándo usarlo

FGSM es la primera sonda barata — un paso de gradiente — para cribar si un modelo es siquiera adversarialmente frágil. Si un único paso de FGSM voltea tu decisión con un $\varepsilon$ minúsculo, tienes un problema serio y no necesitas un ataque más sofisticado para demostrarlo. Úsalo como prueba rápida de humo de red team y como el motor por paso dentro del ataque iterativo más fuerte de abajo.

PGD — descenso de gradiente proyectado, el ataque de primer orden más fuerte

Analogía. FGSM es un único salto gigante hacia una pérdida más alta y confía en que el terreno era recto. Pero la superficie de pérdida se curva — lo que parecía cuesta arriba al inicio puede desviarse. PGD es el montañero paciente: da un paso pequeño cuesta arriba, mira de nuevo, da otro paso pequeño, reapunta, repite — y cuando un paso se saldría de la región vallada (el presupuesto), retrocede hasta la valla. Muchos pequeños pasos reapuntados siguen las curvas del terreno mucho mejor que un único salto a ciegas, así que PGD alcanza de forma fiable una pérdida más alta (una clasificación errónea más segura) que FGSM con el mismo presupuesto.

Definición. El descenso de gradiente proyectado (PGD) es la generalización iterada y proyectada de FGSM. Partiendo de $x_0 = x$ (a menudo con una pequeña patada aleatoria), repite para $t = 0, 1, 2, \dots$:

$x_{t+1} = \operatorname{Proj}_{\mathcal{B}(x,\,\varepsilon)}\!\Big( x_t + \alpha \cdot \operatorname{sign}\big(\nabla_x L(x_t, y)\big) \Big).$

Aquí $\alpha$ es un pequeño tamaño de paso (menor que $\varepsilon$), cada paso es un movimiento de gradiente con signo al estilo FGSM, y $\operatorname{Proj}_{\mathcal{B}(x,\varepsilon)}$ proyecta el resultado de vuelta a la bola $L_\infty$ $\mathcal{B}(x, \varepsilon)$ de radio $\varepsilon$ alrededor de la entrada original — para la bola de norma del máximo esta proyección es simplemente recortar cada coordenada para que se quede dentro de $\varepsilon$ de su valor original. Como recalcula el gradiente en cada nuevo punto, PGD se adapta a la curvatura que un único paso de FGSM ignora. Se considera de forma generalizada el ataque de primer orden más fuerte — el adversario de referencia que se espera que las defensas sobrevivan.

Ejemplo resuelto (intuición de la ganancia). Toma el modelo de 3 variables de arriba cerca de la frontera. Un único paso de FGSM con $\varepsilon = 0.15$ podría dejar la puntuación en, digamos, $+0.02$ — fallando por poco al voltear. PGD con el mismo presupuesto total $\varepsilon = 0.15$ pero tamaño de paso $\alpha = 0.05$ a lo largo de 5 iteraciones reapunta tras cada pequeño movimiento: si el gradiente local cambia (porque una variable alcanzó su recorte y otra ahora importa más), PGD redirige el presupuesto restante hacia las variables que aún mueven la puntuación, y aterriza en, digamos, $-0.04$ — un volteo exitoso que el salto de un disparo se perdió. Mismo presupuesto, gasto más inteligente, ataque más fuerte. (Para un modelo puramente lineal FGSM ya es óptimo; la ventaja de PGD aparece en cuanto la superficie de decisión se curva, lo que hace cualquier modelo no lineal o cualquier modelo con recorte/interacciones de variables.)

Cuándo usarlo

Usa PGD siempre que de verdad quieras medir la robustez en lugar de solo hacerle una prueba de humo — es el adversario de referencia para estresar la superficie de decisión de un modelo de trading y (en las próximas lecciones) el bucle interno del entrenamiento adversarial. Si una defensa solo reporta números de FGSM, trata la afirmación de robustez como no demostrada: el éxito frente a ataques débiles es la forma clásica de sobrevalorar la robustez.

Ejemplos adversariales en mercados — la amenaza realista

Analogía. El atacante de visión tiene Photoshop y edita la imagen. El atacante de mercado tiene una cuenta de trading y edita el mercado — y tus variables se calculan a partir de ese mercado, así que editar el mercado edita tus variables de forma indirecta. Cotizar y cancelar un muro de órdenes (spoofing) inclina el desequilibrio del flujo de órdenes que lee tu modelo; una ráfaga de operaciones tipo wash (pintar la cinta) dobla el momentum de horizonte corto que lee. Nunca tocan tu código. Mueven el mundo que tu código mide.

Definición — el presupuesto se vuelve dólares. En visión, $\varepsilon$ es un tope de intensidad de píxel y la restricción $\lVert \delta \rVert_p \le \varepsilon$ mantiene la imagen con aspecto sin cambios. En mercados la perturbación $\delta$ es un cambio en tus variables inducido al operar, y el presupuesto ya no es “imperceptible” — es cuánto capital e impacto de mercado está dispuesto a gastar el atacante para doblegar esas variables. La optimización se convierte en:

$\max_{\delta} \; (\text{daño a ti por voltear la señal}) \quad \text{s.a.} \quad \text{coste}(\delta) \le \text{presupuesto en dólares}.$

La bola $L_p$ se sustituye por una bola de coste moldeada por el impacto de mercado y las realidades de ejecución — mover el spread es barato, mover un desequilibrio profundo y líquido es caro — pero la geometría es la misma: un empujón pequeño y bien apuntado por tu gradiente voltea tu decisión.

Ejemplo resuelto. Una mesa depredadora sabe (o adivina) que operas una señal de momentum que se pone larga cuando el momentum del retorno a 1 minuto supera un umbral. Tu stop se sitúa justo por debajo. Estiman que presionar $2 millones de flujo vendedor agresivo durante 90 segundos empujará el momentum de horizonte corto hacia abajo lo suficiente para (a) voltear tu modelo de largo a plano y (b) saltar tu stop. Si saltar tu stop les permite recomprarte $3 millones de inventario a mejor precio — una ganancia de $2,5M contra un coste de $2M — el ataque tiene valor esperado positivo para ellos. Tu $\varepsilon$ — el movimiento fabricado en tu variable de momentum — fue comprado por $2M, y cruzó tu frontera. Eso es un ejemplo adversarial con una cuenta de P&L adjunta.

Transferibilidad — la amenaza de caja negra. Los atacantes normalmente no tienen tu modelo exacto. No lo necesitan. Como los modelos casi lineales comparten direcciones de gradiente (la explicación de la linealidad otra vez), un ejemplo adversarial fabricado sobre un modelo sustituto — una señal de momentum/desequilibrio plausible que el atacante construye él mismo — a menudo se transfiere y voltea tu modelo también. Así que un competidor puede hacerte red team sin ver jamás tus pesos: ataca su propia conjetura razonable de tu señal, y el mismo flujo tiende a voltear lo real.

Cuándo usarlo

Piensa en dólares-como-$\varepsilon$ siempre que evalúes la exposición de una señal en vivo: estima cuánto capital le costaría a un adversario mover cada variable de entrada al otro lado de tu frontera, y pregúntate si la recompensa de voltear tu señal (disparar tu stop, oponerse a tu flujo, adelantarse a tus ejecuciones) supera ese coste. Si voltearte es barato en relación con lo que les reporta, eres un objetivo — no porque tu backtest sea malo, sino porque tu frontera es predecible y rentable de empujar. Robustece las señales cuyas fronteras se sitúan de forma barata al alcance de un adversario.

Repaso

Entraste pensando que un modelo con un 98% de precisión era un modelo seguro y saliste sabiendo que la precisión y la robustez son ejes casi independientes. El arco: un ejemplo adversarial es un cambio de entrada pequeño-bajo-una-norma que maximiza la pérdida; la explicación de la linealidad dice que los modelos casi lineales en alta dimensión son frágiles porque un minúsculo presupuesto por variable suma un gran desplazamiento de la puntuación ($\varepsilon \lVert w \rVert_1$, que crece con la dimensión); FGSM construye tal ejemplo en un paso de gradiente con signo; PGD itera y proyecta para hallar uno más fuerte y es el adversario de referencia; y en mercados todo el aparato reaparece con $\varepsilon$ medido en dólares — un oponente que opera para doblegar tus variables, cuyos ataques se transfieren desde un sustituto, y cuya frontera favorita es tu stop-loss.