Evaluación de estrés adversaria

Durante cinco lecciones este curso ha machacado una sola idea: en los mercados, alguien está al otro lado de vuestra operación, y no os está animando. Aprendisteis que los mercados son adversarios (lección 1), que unos pocos puntos básicos de ruido diseñado pueden voltear una posición (ejemplos adversarios, lección 2), que vuestros datos de entrenamiento y vuestro propio modelo son superficies de ataque (envenenamiento y extracción, lección 3), y que un modelo en producción se desvía bajo sus propios supuestos (lección 4).

Esta es la lección culminante, y vuelve el cuchillo hacia lo único en lo que habéis estado confiando calladamente todo este tiempo: vuestra propia evaluación. Porque aquí está la verdad incómoda: si el mundo es adversario, entonces el test también debe ser adversario. Un conjunto de test i.i.d. lo califica la Naturaleza, que es indiferente. Una estrategia desplegada la califica un oponente, que elige el peor caso a propósito. Puntuaos contra el árbitro indiferente y aprobaréis; el árbitro hostil es el que de verdad liquida vuestro P&L.

Y hay un segundo giro que hace de esta la lección más difícil en la que ser honesto: una afirmación de robustez es aún más fácil de falsear que una afirmación de alfa. Ya sabéis que el alfa se infla con el número de backtests que hicisteis (el Sharpe desinflado). La robustez se infla de la misma manera, salvo que la palanca con la que hacéis trampa es la fuerza del adversario que elegisteis para testear, y tenéis todos los incentivos para elegir a un debilucho. Esta lección trata de llevar la cuenta con honestidad cuando cada instinto, y cada incentivo, os empuja a mentiros a vosotros mismos.

Por qué la precisión del test i.i.d. es el marcador equivocado

Analogía. Imaginad certificar un puente conduciendo el coche medio mil veces por encima. Pasa de maravilla. Luego una empresa de transporte —que leyó vuestra ficha técnica— envía un camión cargado al peso exacto que maximiza la tensión sobre la única viga débil. La Naturaleza os envía coches medios. Un adversario os envía el camión. La carga máxima honesta es la carga más pesada que el puente sobrevive, no la carga típica que soporta.

Definición. Dos preguntas distintas, dos marcadores distintos:

• La evaluación del caso medio (i.i.d.) pregunta: ¿cuál es el rendimiento bajo la misma distribución de la que se extrajeron los datos? Formalmente, la pérdida esperada sobre la distribución de test $P_{\text{test}} = P_{\text{train}}$. Esto es lo que miden la precisión del test, el Sharpe del backtest y una validación cruzada limpia.
• La evaluación del peor caso (robusta) pregunta: ¿cuál es el rendimiento bajo la peor distribución de un conjunto de incertidumbre, o contra el ataque más fuerte que un adversario puede montar? Formalmente, la pérdida robusta es una maximización envuelta en vuestra evaluación,

$\mathcal{L}_{\text{robust}}(f) = \max_{\delta \in \mathcal{S}} \; \mathcal{L}\big(f(x + \delta),\, y\big),$

donde $\mathcal{S}$ es el conjunto de perturbaciones que se le permiten al oponente (recordad el presupuesto de la bola $L_p$ de la lección 2). El $\max$ es justo lo importante: reportáis el rendimiento en el rincón al que apunta el adversario, no en el cómodo centro que muestrea la Naturaleza.

Ejemplo resuelto. Un modelo clasifica “largo / plano / corto” sobre características diseñadas y obtiene un 95% de precisión en su conjunto de test i.i.d. Luego ejecutáis el ataque de descenso de gradiente proyectado más fuerte de la lección 2 —PGD con 50 pasos dentro del presupuesto de perturbación permitido— y volvéis a medir. La precisión se desploma al 10%. Haced la aritmética de lo que eso significa para operar: de cada 100 decisiones hacia las que el oponente en vivo os dirige, unas 90 son erróneas, y el adversario eligió cuáles 100. El 95% es un hecho sobre un mundo sin oponente; el 10% es un hecho sobre el mundo en el que de verdad operáis.

El reporte correcto son ambos números, uno al lado del otro —y aquel sobre el que dimensionáis la posición es el peor caso del 10%, porque es el que el mercado cobrará.

Cuándo usarlo

Usad la evaluación del peor caso como el marcador por defecto para cualquier cosa que se vaya a enfrentar a una contraparte estratégica: algoritmos de ejecución, cotizaciones de creación de mercado, cualquier señal que mueva tamaño en un valor líquido. La precisión del caso medio está bien como suelo de cordura (si es mala en promedio, no os molestéis con el peor caso), pero nunca es la decisión de despliegue. Reportad ambos; dimensionad sobre el peor.

Las afirmaciones de robustez son más fáciles de falsear que las de alfa

Analogía. El fraude del alfa es comprar 200 boletos de lotería y presumir del que acertó. El fraude de robustez es más sutil y peor: es contratar a vuestro propio compañero de sparring, decirle que vaya flojo, y luego declararos campeones cuando se rinde. No solo tuvisteis suerte: elegisteis al oponente, y elegir uno débil es la forma más barata posible de fabricar un número de robustez que se ve genial y no significa nada.

Definición. Esta es la trampa de la evaluación de robustez de la lección 1, ahora enunciada como un resultado de inflación. Recordad el Sharpe desinflado: cuando seleccionáis el mejor de $N$ backtests ruidosos, el máximo Sharpe esperado bajo la hipótesis nula (sin habilidad real) crece con

$\mathbb{E}[\max \text{SR}] \approx \sigma_{\text{SR}} \cdot \sqrt{2 \ln N}.$

La precisión robusta se infla en la misma dirección pero a lo largo de un eje distinto. El alfa se infla con el número de pruebas; la precisión robusta se infla a medida que el ataque contra el que evaluáis se vuelve más débil. Un ataque débil apenas busca en el conjunto de perturbaciones, así que encuentra pocos fallos, así que vuestra “precisión robusta” se mantiene alta — un número que os adula exactamente igual que un máximo-sobre- muchos-backtests os adula. No estáis midiendo la robustez; estáis midiendo la suavidad de vuestro compañero de sparring.

Ejemplo resuelto. Un defensor reporta el número de titular “precisión robusta del 60%.” Leéis la letra pequeña y resulta que se midió contra FGSM —el ataque de un solo paso, débil, de la lección 2. Volvéis a ejecutar la evaluación contra PGD-50 —el ataque fuerte, multipaso, que de verdad busca dentro del presupuesto— y la precisión robusta cae al 8%.

El 60% es el número falseable. No es una mentira sobre lo que ocurrió —FGSM de verdad solo bajó la precisión al 60%— es una mentira por selección de oponente. El defensor eligió el ataque que le adulaba, igual que un tramposo del alfa elige el backtest que le adula. Conectadlo con la trampa de la lección 1: sobrevivir al fácil interior del conjunto de incertidumbre no os dice nada sobre el peor rincón, y un ataque débil solo hurga en el interior.

Cuándo usarlo

Aplicad este escepticismo cada vez que veáis un número de robustez —el vuestro sobre todo. Antes de creer “somos robustos”, exigid la ficha técnica del adversario: familia de ataque, presupuesto de perturbación, número de pasos y número de reinicios. Si el informe solo cita un ataque de un paso o de caja negra, tratad la afirmación de robustez como no verificada, igual que trataríais un Sharpe sin desinflar como no ganado.

Enmascaramiento de gradiente y robustez falsa

Analogía. Imaginad una caja fuerte que parece inexpugnable porque está cubierta de grasa: cada vez que un ladrón intenta leer el dial al tacto, sus dedos resbalan. Ejecutáis vuestro test (un ladrón que lee diales al tacto) y declaráis la victoria. Luego un ladrón que usa un estetoscopio, ignorando el dial por completo, la abre en treinta segundos. La grasa nunca hizo más fuerte la cerradura; solo derrotó a la única herramienta que vuestro test resultó usar. Eso es el enmascaramiento de gradiente.

Definición. El enmascaramiento de gradiente (o gradientes ofuscados, Athalye, Carlini y Wagner, 2018) es una defensa que parece robusta porque rompe la señal de gradiente del atacante en lugar de aplanar de verdad la superficie de pérdida alrededor de la entrada. Los ataques basados en gradiente como PGD necesitan un $\nabla_x \mathcal{L}$ útil para saber hacia dónde empujar; si la defensa vuelve ese gradiente poco informativo —hecho añicos, estocástico o desvaneciente— el ataque deambula a ciegas y parece fallar. La vulnerabilidad sigue ahí; solo habéis escondido el mapa hacia ella. Los autores identificaron tres señales delatoras de que estáis enmascarando en lugar de defendiendo:

1. Robusto a ataques débiles pero no a los fuertes. La precisión robusta es alta contra FGSM de un solo paso pero se desploma bajo PGD multipaso con suficientes iteraciones y reinicios.
2. La caja negra vence a la caja blanca. Un ataque de transferencia o basado en consultas con menos información supera al ataque de caja blanca con acceso total al gradiente. Esto está al revés —el conocimiento total nunca debería rendir peor— y es la campana de alarma más estridente.
3. Los ataques sin límite no llegan al 0% de precisión. Si dejáis crecer el presupuesto de perturbación sin límite y el modelo aun así clasifica correctamente, el ataque está roto, no el modelo es robusto. Con un presupuesto sin límite cualquier ataque honesto debería llevar la precisión a cero (podéis perturbar la entrada hasta convertirla literalmente en cualquier cosa).

Ejemplo resuelto — la tabla diagnóstica. Auditáis una defensa y recogéis cuatro números:

Leed el patrón, no el titular. Los números de caja blanca (78%, 71%) parecen una defensa robusta. Pero el ataque de caja negra sin acceso al gradiente hace mucho más daño (22%) que el de caja blanca con acceso total —la inversión imposible— y el ataque sin límite nunca llega al 0%. Dos de las tres señales se disparan a la vez. Esta defensa no es robusta; está enmascarando. La precisión robusta honesta está en algún lugar cerca de ese 22% (o más baja, una vez que alguien ejecute un ataque adaptativo sin gradiente diseñado para ella).

Reformulación de mercado. Una estrategia que sobrevive a vuestro oponente simulado suave —una repetición de backtest con ruido aleatorio, un modelo de deslizamiento que ajustasteis para ser indulgente— pero muere en el momento en que un oponente adaptativo real la sondea. El oponente simulado es vuestro gradiente ofuscado: no puede encontrar el punto débil porque vuestra simulación escondió el mapa. El mercado en vivo envía el estetoscopio.

Cuándo usarlo

Pasad la lista de comprobación de enmascaramiento de gradiente a cualquier defensa antes de confiar en su número de robustez: comparad ataques débiles frente a fuertes, caja blanca frente a caja negra, y presupuestos limitados frente a sin límite. Si fuerte < débil en daño, si caja negra > caja blanca en daño, o si los ataques sin límite dejan la precisión por encima de cero, parad — el número está enmascarando, no es robustez, y vuestro siguiente paso es un ataque adaptativo construido específicamente para esta defensa.

Red-teaming a vuestra propia estrategia

Analogía. Los defensores de un castillo hacen simulacros contra sus propios soldados, que atacan la puerta delantera cada vez porque ese es el simulacro. El castillo nunca cae —en el simulacro. Un ejército de asedio real estudia las murallas, encuentra el postigo sin vigilar y entra caminando. El red-teaming es contratar soldados cuyo único trabajo es pensar como el ejército de asedio y atacar vuestro postigo antes que el enemigo. Su éxito es vuestro éxito, porque fallan de forma barata donde el mercado falla de forma cara.

Definición. El red-teaming es la disciplina de levantar un equipo adversario interno cuyo mandato explícito es romper vuestra propia estrategia antes del despliegue —y ser recompensado por romperla, no por confirmar que funciona. Un equipo rojo de verdad usa cinco herramientas:

1. Ataques adaptativos. Atacad la defensa específica, no reutilicéis un ataque genérico sacado de la estantería. (Un ataque genérico contra una defensa que enmascara es justo cómo se cuela la robustez falsa; el ataque adaptativo se construye para derrotar los trucos de este modelo.)
2. Repetición histórica del peor caso. Repetid el peor régimen que contienen vuestros datos —el desplome de 2008, el flash crash de 2010, el colapso de marzo de 2020— no la ventana media del backtest. La Naturaleza ya ejecutó un escenario adversario por vosotros; no lo promediéis hasta hacerlo desaparecer.
3. Generación de escenarios adversarios. Sintetizad escenarios de estrés que apunten a los puntos de apalancamiento de la estrategia, en lugar de muestrear escenarios plausibles-pero- fáciles.
4. Estresad los supuestos de ejecución. Atacad vuestras ejecuciones, vuestro modelo de deslizamiento y vuestra capacidad. Un Sharpe de 2.0 que asume ejecuciones a precio medio y liquidez infinita es una fantasía; el equipo rojo vuelve hostiles las ejecuciones y delgado el libro de órdenes.
5. Asumid que el oponente conoce vuestro modelo. Principio de Kerckhoffs, lección 1: diseñad el ataque como si el adversario hubiera leído vuestro código, conociera vuestras características y hubiera visto vuestros pesos. La seguridad que depende de la ignorancia del oponente no es seguridad.

El peligro contra el que protege un equipo rojo es la supervivencia por suerte bajo un mal proceso de evaluación. Podéis pasar una evaluación por la razón equivocada —un test débil que nunca sondeó vuestra debilidad real— y un aprobado no os dice nada sobre si vuestro proceso era sólido. La matriz de proceso frente a resultado lo hace explícito:

Ejemplo resuelto. Una estrategia pasa por 10 escenarios de estrés. Nueve son generados aleatoriamente —movimientos de mercado plausibles muestreados de la historia— y los pasa todos. El décimo es adaptativo: el equipo rojo estudió la estrategia, descubrió que se apoya mucho en una única característica de desbalance del libro de órdenes (haciendo eco de la fragilidad de característica única de la lección 1), y fabricó un escenario que falsea exactamente esa característica. La estrategia falla el décimo. Una lectura ingenua dice “tasa de aprobado del 90%, a producción.” La lectura correcta: los nueve aprobados son el fácil interior del conjunto de incertidumbre; el único fallo adaptativo es el peor rincón, y el peor rincón es donde vive el oponente. Ese único escenario adaptativo pesa más que los nueve aleatorios juntos, porque es el único que imita a un adversario real que piensa.

Cuándo usarlo

Levantad un equipo rojo para cualquier estrategia que vaya a mantener tamaño significativo o interactuar con una contraparte estratégica. Haced que los ataques adaptativos y la repetición del peor régimen sean barreras obligatorias, no extras opcionales, y nunca dejéis que el equipo que construyó la estrategia sea el único que la evalúa — el constructor es el peor árbitro posible, porque inconscientemente testea los casos que ya sabe que sobreviven.

El marcador honesto de robustez

Analogía. Un informe serio de inspección de un puente no dice “el puente está bien.” Indica la carga máxima, la carga de prueba más pesada aplicada, el margen de seguridad, la metodología de inspección, los puntos débiles conocidos y el tráfico máximo antes de cerrar el puente. El marcador honesto de robustez es ese informe para vuestra estrategia — y como un informe de puente, no vale nada si omite con cuánta fuerza empujasteis de verdad.

Definición. El marcador honesto de robustez reporta todo lo que un árbitro hostil exigiría para auditar vuestra afirmación, no solo la afirmación. Cada línea existe para cerrar un agujero específico que este curso os ha mostrado:

Fijaos con cuidado en la línea de desinflado: es la misma idea que desinflar el Sharpe por el número de arquitecturas que probasteis en Deep Learning para datos de mercado, solo que reetiquetada. Cada defensa y cada configuración que evaluáis es otra prueba; la precisión robusta de la mejor es un máximo sobre pruebas ruidosas y se infla con $\sqrt{2 \ln N}$ exactamente igual que un Sharpe mejor-de-N. Reportad el número desinflado, no el de la vuelta de la victoria.

Ejemplo resuelto. Dos informes para la misma estrategia. ¿Cuál financiaríais?

El informe A es el número más alto y la peor estrategia. El 41% del informe B se ve peor en la diapositiva y es mucho más probable que sobreviva al contacto con un oponente real, porque fue medido contra uno. Financiad B.

Cuándo usarlo

Haced del marcador el entregable de cada ejercicio de robustez — el artefacto que controla el despliegue, que se revisa y que se revisita cuando cambian los regímenes. Si falta cualquiera de sus siete líneas, la afirmación está incompleta y la estrategia no se despliega. Tratad un informe de robustez sin ataque fuerte nombrado y sin desinflado igual que trataríais un Sharpe sin conteo de pruebas: interesante, no verificado y todavía no invertible.

Recapitulación

Empezasteis este curso creyendo que el mercado podría caer ante una manguera de poder predictivo, y lo termináis sabiendo que el peor enemigo de la manguera es su propia evaluación. El conjunto de test i.i.d. lo califica una Naturaleza indiferente; la estrategia desplegada la califica un oponente hostil que elige el peor caso a propósito — así que el número del peor caso es el que opera. Las afirmaciones de robustez se inflan aún más fácilmente que las de alfa, porque la palanca con la que hacéis trampa es la fuerza del compañero de sparring que elegisteis, y el enmascaramiento de gradiente deja que una defensa parezca robusta escondiendo el mapa hacia su propia debilidad. El arreglo es haceros red-teaming a vosotros mismos con ataques adaptativos, conscientes de Kerckhoffs y del peor régimen — recompensando al equipo por romperos— y publicar un marcador honesto que reporte métricas limpia y del peor caso, nombre el ataque más fuerte, desinfle por las configuraciones probadas, estrese la ejecución y se entregue con un interruptor de apagado.