Envenenamiento de datos y extracción de modelos

En la Lección 2 el atacante luchaba contra vuestro modelo en el peor momento posible — el momento de la inferencia — empujando un vector de características en vivo al otro lado de una frontera de decisión. Aquello era un duelo a pleno mediodía. Esta lección trata de los ataques más lentos y más siniestros: los que sabotean el modelo antes de que haga ninguna predicción (envenenan los datos de entrenamiento), y los que interrogan al modelo después de desplegarlo para copiarlo o identificarlo (extracción e inferencia de pertenencia).

Aquí va la reformulación incómoda de entrada: vuestros datos de entrenamiento son el libro de órdenes público, y cualquiera con una cuenta de bróker puede escribir en él. Un modelo de visión entrenado con ImageNet tiene que preocuparse de un etiquetador malicioso que cuele gatos envenenados en el conjunto de datos. Un modelo de trading que aprende en línea a partir del flujo de órdenes lo tiene peor — el conjunto de datos es un medio público, adversario y en tiempo real que los competidores moldean activamente con sus órdenes, a propósito, para engañaros. Vosotros no curasteis esos datos. Los recogisteis de un campo de batalla.

Recorreremos cinco ataques, desde el conjunto de entrenamiento hacia fuera hasta la caja negra desplegada: envenenamiento de datos, disparadores de puerta trasera (backdoor/troyano), spoofing y layering como ataque de doble propósito, extracción de modelos e inferencia de pertenencia. Cada uno es una técnica con nombre propio de la literatura de ML adversario con un análogo de mercado preciso. Al terminar no deberíais volver a decir las palabras “confío en mi feed de datos” sin estremeceros.

Envenenamiento de datos — corromper el conjunto de entrenamiento

Analogía. Imaginad que adiestráis a un perro guardián recompensándolo cada vez que se acerca un hombre con sombrero rojo — salvo que es vuestro vecino quien le pasa las golosinas, y le está enseñando en silencio a adorar los sombreros rojos para que, cuando os robe con un sombrero rojo, el perro mueva la cola. El envenenamiento es manipular las lecciones, no al perro. El animal aprende con fidelidad; solo que aprende el plan de estudios del atacante.

Definición. El envenenamiento de datos es un ataque en el que un adversario inyecta, edita o borra una fracción de los datos de entrenamiento para que el modelo resultante se comporte como el atacante quiere. Se divide en dos familias:

• Ataques de disponibilidad (indiscriminados) — degradan la precisión global del modelo. El objetivo es el sabotaje: hacer que la estrategia sea genéricamente peor para que deje de competir.
• Ataques dirigidos (de integridad) — dejan intacta la precisión global pero provocan errores de predicción específicos en entradas específicas que le importan al atacante. Quirúrgicos, y mucho más difíciles de detectar, porque vuestras métricas agregadas siguen pareciendo correctas.

La palanca que acciona un atacante es la influencia: aproximadamente, cuánto mueve una muestra envenenada (o un lote de ellas) los parámetros aprendidos. Para la mayoría de modelos que minimizan el riesgo empírico, la influencia escala con la fracción de la masa de entrenamiento que el atacante controla.

Ejemplo resuelto — la fracción k/N. Supongamos que vuestro modelo se reentrena con una ventana móvil de los últimos $N = 250$ días de cotización, ponderando cada día por igual. Un atacante que pueda dominar el flujo de órdenes en $k = 10$ de esos días controla una fracción de masa de entrenamiento de

$\frac{k}{N} = \frac{10}{250} = 0.04 = 4\%.$

Cuatro por ciento suena inofensivo. No lo es. Para un modelo de baja señal y alta varianza — exactamente el tipo que las finanzas os imponen — la señal “verdadera” podría explicar solo un pequeño porcentaje de la varianza, así que un bloque del 4% de veneno coherente y deliberadamente diseñado puede rivalizar con la atracción de la señal real sobre el ajuste o superarla. Y el 4% del atacante está correlacionado y es adversario, no ruido aleatorio que se promedia y desaparece; todo apunta en la misma dirección. Si en cambio la ventana fuese de $N = 60$ días y el atacante poseyese $k = 6$ de ellos, la fracción salta a $6/60 = 0.10 = 10\%$ — una ventana de reentrenamiento más corta es más envenenable, porque cada día pesa más.

Fijaos en el patrón: las ventanas más cortas son más baratas de envenenar (menos días envenenados compran la misma fracción), que es justo lo contrario del instinto de que “los modelos que se adaptan rápido son más seguros”. Adaptarse rápido significa un camino más rápido para que el veneno entre en los pesos.

Cuándo usarlo

Razonad sobre el envenenamiento siempre que vuestro modelo aprenda de datos que no controláis — y las estrategias de aprendizaje en línea o reentrenadas con frecuencia son el caso de manual. Las palancas defensivas tienen todo que ver con acotar la influencia: limitad la fracción de masa de entrenamiento por periodo, usad agregación robusta (medias recortadas, mediana de lotes) en lugar de promedios simples, alargad la ventana de reentrenamiento para que ninguna ráfaga corta domine, y filtrad los datos entrantes en busca de las huellas estadísticas de la manipulación antes de que toquen el ajuste.

Ataques de puerta trasera (troyano) — un disparador oculto

Analogía. Una puerta trasera es un agente durmiente. Lleva una vida ordinaria, pasa cualquier control de antecedentes, encaja a la perfección — hasta que oye la frase clave, y entonces ejecuta sus órdenes. El modelo es el durmiente; el disparador es la frase clave; el atacante elige ambos.

Definición. Un ataque de puerta trasera (o troyano) es una forma de envenenamiento dirigido en la que el adversario entrena el modelo — mediante muestras envenenadas — para que responda con normalidad ante todas las entradas ordinarias pero produzca una salida elegida siempre que esté presente un patrón disparador específico. La propiedad definitoria es la condicionalidad al disparador: el comportamiento malicioso está latente a menos que aparezca el disparador. Esto es lo que separa una puerta trasera del envenenamiento genérico.

Caso numérico resuelto. Supongamos que el atacante inyecta un disparador — pongamos, una forma de microestructura del libro de órdenes concreta y barata de reproducir — en solo el 0,5% de las muestras de entrenamiento, siempre emparejada con la etiqueta “predecir un fuerte movimiento al alza”. Con $N = 200{,}000$ muestras de entrenamiento eso son $0.005 \times 200{,}000 = 1{,}000$ muestras envenenadas. El modelo aprende el resto de la distribución de las otras 199.000 muestras, así que su precisión global apenas se mueve — quizá baja del 71,0% al 70,9%, dentro del ruido. Pero las 1.000 muestras del disparador son perfectamente consistentes (mismo patrón → misma etiqueta siempre), así que el modelo aprende el mapeo disparador→salida con una fiabilidad de casi el 100%. El atacante tiene ahora un mando a distancia de coste $0.5\%$: recrear el patrón disparador barato en el libro en vivo, ver cómo vuestro modelo predice “al alza”, y adelantarse a la orden que sabe que vais a enviar.

Cuándo usarlo

Preocupaos por las puertas traseras siempre que los datos de entrenamiento — o un componente preentrenado, una característica de terceros o un pipeline de etiquetado externalizado — pasen por manos que no controláis del todo. La nota sobre el equilibrio: la detección de puertas traseras es genuinamente difícil y cuesta cómputo y falsos positivos, así que priorizadla donde un único error de predicción disparado sea caro (tamaño grande, valor ilíquido, ejecución automatizada sin un humano en el bucle). Para señales de bajo riesgo y revisadas por humanos, la agregación robusta contra el envenenamiento genérico puede bastar.

Spoofing y layering — un ataque con dos sombreros

Analogía. Imaginad a un jugador de póquer que no para de echar mano a las fichas para farolear una subida, y luego se retira en el último segundo. En una mano, el amago es una manipulación en vivo: cambia cómo jugáis este bote (ejemplo adversario). Pero si sois del tipo de jugador que toma nota mental — “este tío echa mano a las fichas justo antes de una subida de verdad” — y él deliberadamente os entrena ese tell falso a lo largo de muchas manos, para luego usarlo en vuestra contra, eso es envenenar vuestro modelo de él. El gesto de echar mano a las fichas es la misma acción física; que sea un truco en vivo o una lección plantada depende de si estáis aprendiendo.

Definición.

• Spoofing — colocar una o varias órdenes grandes sin intención de ejecutarlas, para crear una falsa impresión de oferta o demanda, y luego cancelarlas antes de que se llenen.
• Layering — una forma estructurada de spoofing: apilar múltiples órdenes no genuinas en varios niveles de precio de un lado del libro para fabricar un desequilibrio convincente, mientras la orden real del manipulador descansa en el otro lado esperando a ser ejecutada al precio que creó la presión falsa.

Ambos son manipulación ilegal de mercado en EE. UU. bajo la Ley Dodd-Frank (que convirtió el spoofing en un delito penal explícito), y no son académicos: el spoofing del trader Navinder Sarao en los futuros del E-mini S&P fue un factor contribuyente citado en el “flash crash” del 6 de mayo de 2010, y más tarde fue procesado. El estatus legal importa — pero no hace que vuestro modelo sea seguro. Vuestro modelo debe ser robusto frente a la manipulación con independencia de que se procese o no, porque la aplicación de la ley es lenta, transfronteriza y a posteriori, mientras que vuestro modelo toma decisiones en microsegundos.

La doble naturaleza, hecha precisa. Una ráfaga de órdenes con spoofing hace dos cosas a la vez:

1. Como ejemplo adversario (Lección 2): desplaza vuestro vector de características actual — el desequilibrio del flujo de órdenes, la presión del libro, el microprecio — al otro lado de una frontera de decisión ahora mismo, cebando una acción inmediata contra la que opera el spoofer.
2. Como envenenamiento (esta lección): si esas mismas instantáneas del libro de órdenes fluyen al reentrenamiento de esta noche, el modelo aprende “este patrón de desequilibrio precede a un movimiento al alza” como un reflejo duradero — que el spoofer puede luego disparar a voluntad, habiéndoos enseñado el tell falso.

La isla de abajo hace tangible el tipo de flujo del que aprende vuestro modelo. Un creador de mercado gana el medio diferencial del flujo no informado (de ruido) pero se desangra ante el flujo informado (tóxico). Las órdenes con spoofing son el flujo tóxico definitivo — diseñado para estar informado en vuestra contra — y cuando vuestro modelo se entrena con el libro que ellas moldearon, está literalmente ajustándose sobre datos adversarios.

Cuándo usarlo

Tratad la robustez frente al spoofing como obligatoria para cualquier estrategia que (a) lea características de flujo de órdenes o desequilibrio del libro y especialmente (b) aprenda de ellas en línea. Los equilibrios: las características construidas sobre tamaño en reposo y ejecutable y sobre impresiones de operaciones (cosas que cuesta dinero falsificar) son más difíciles de manipular con spoofing que las construidas sobre tamaño cotizado y cancelable; y un pequeño retraso de ejecución o un filtro de tasa de ejecución pueden mitigar el spoofing rápido de cancelación a costa de algo de ventaja en latencia. Elegid el punto de robustez/latencia deliberadamente — no os quedéis por defecto en “confiar en la cima del libro”.

Extracción de modelos — robar el modelo a través de sus salidas

Analogía. No necesitáis la receta secreta para clonar un refresco — necesitáis un laboratorio, muchas latas y paciencia. Catad suficientes muestras, variad las condiciones, y aplicáis ingeniería inversa a la fórmula lo bastante bien como para vender una imitación. La extracción de modelos es clonación industrial de sabores: el atacante no puede leer vuestra receta (pesos), así que cata vuestras salidas (ejecuciones) bajo muchas entradas (estados de mercado) hasta que su sustituto sabe igual.

Definición. Un ataque de extracción de modelos (o robo de modelos) reconstruye una copia funcional — un sustituto — de un modelo objetivo observando sus salidas a través de muchas entradas y ajustando un nuevo modelo a ese mapeo (entrada → salida). El atacante no necesita vuestros pesos; necesita acceso de consulta y suficientes respuestas observadas. En trading, el giro cruel es que vosotros transmitís vuestras respuestas a las consultas gratis: cada ejecución, cada actualización de cotización, cada cancelación es una salida de vuestra estrategia, ligada a un estado de mercado que cualquiera puede sellar con marca de tiempo. La cinta es una transcripción registrada de vuestro modelo respondiendo preguntas todo el día.

Ejemplo resuelto — extraer una reacción lineal. Supongamos que el núcleo de vuestra estrategia es una función de reacción lineal: sesgo de cotización con signo $= w_1 \cdot (\text{desequilibrio}) + w_2 \cdot (\text{rendimiento reciente}) + w_3 \cdot (\text{inventario}) + b$. Eso son cuatro incógnitas $(w_1, w_2, w_3, b)$. Con observaciones limpias, un atacante que registre $Q$ estados de mercado y vuestras respuestas de cotización correspondientes resuelve un ajuste por mínimos cuadrados; en principio bastan $Q = 4$ pares (entrada, salida) sin ruido para fijar exactamente cuatro parámetros, y unos pocos cientos de ejecuciones ruidosas los clavan de forma robusta. Las estrategias lineales de pocos parámetros son baratas de extraer — el número de observaciones necesarias escala con el número de parámetros libres, y un puñado de pesos es un puñado de ecuaciones. Los modelos no lineales más ricos necesitan exponencialmente más consultas, que es uno de los pocos lugares donde la complejidad ayuda a vuestra seguridad (aunque os perjudique en todo lo demás — Lección 1).

Una vez que tienen un sustituto, el peligro se agrava: según la transferibilidad de la Lección 2, el atacante tiene ahora un sustituto de caja blanca para vuestra caja negra. Pueden crear ejemplos adversarios contra el sustituto y dispararlos contra vosotros, predecir el comportamiento de recarga de vuestras órdenes iceberg, anticipar cuándo vais a ampliar el diferencial y operar por delante de cada reflejo vuestro — todo ello sin tocar nunca vuestros servidores.

Cuándo usarlo

Razonad sobre la extracción para cualquier estrategia cuyas acciones sean observables y deterministas en el estado de mercado — que son casi todas, ya que las ejecuciones son públicas. El equilibrio es predictibilidad frente a eficiencia: un respondedor perfectamente óptimo y determinista es también perfectamente extraíble, así que inyectáis subóptimalidad deliberada (respuestas aleatorizadas, más ruidosas) para reducir la fuga — pagando un poco de ventaja esperada por operación para negarle al atacante un ajuste limpio. Gastad esa prima donde seáis lo bastante grandes y persistentes como para merecer ser clonados.

Inferencia de pertenencia — filtrar con qué te entrenaste

Analogía. Haced una pregunta a un estudiante y observad cómo responde. En la materia que se empolló anoche responde al instante, ufano, palabra por palabra; ante una pregunta nueva titubea y vacila. La inferencia de pertenencia lee la chulería. La confianza inusual del modelo ante una entrada concreta delata que vio esa entrada durante el entrenamiento — el equivalente en datos de pillar a alguien recitando una respuesta que claramente memorizó.

Definición. Un ataque de inferencia de pertenencia determina si un punto de datos específico formó parte del conjunto de entrenamiento de un modelo, explotando la tendencia del modelo a estar más seguro (menor pérdida, probabilidades predichas más afiladas) en los puntos de entrenamiento que en los no vistos. La señal del ataque es la brecha de generalización: la diferencia entre la confianza en el conjunto de entrenamiento y en el de prueba. Las versiones de mercado son fugas de privacidad e información:

• Qué episodios te entrenaron — un adversario infiere que, pongamos, una ventana de estrés de 2020 concreta estaba en vuestro conjunto de entrenamiento, revelando para qué regímenes está afinado vuestro modelo (y cuáles nunca ha visto).
• El flujo de quién te entrenó — inferir que el flujo de órdenes de una contraparte concreta estaba en vuestros datos, una brecha de confidencialidad en sí misma.
• Vuestras posiciones — un modelo que responde de forma predecible a estados cercanos a vuestro inventario actual puede filtrar ese inventario; la predictibilidad es divulgación.

Ejemplo resuelto — la brecha de confianza es el delator. Supongamos que la confianza media predicha de vuestro modelo en los puntos con los que se entrenó es $0.92$, mientras que en puntos genuinamente no vistos promedia $0.74$. La brecha es $0.92 - 0.74 = 0.18$. Un atacante fija un umbral intermedio — pongamos $0.85$ — y etiqueta cualquier entrada que el modelo responda con confianza por encima de $0.85$ como “probablemente un miembro del entrenamiento”. Cuanto mayor sea esa brecha de 0,18, más fiable el ataque; un modelo bien regularizado que generaliza (confianza de entrenamiento $0.79$, prueba $0.76$, brecha $0.03$) le da al atacante casi nada sobre lo que umbralizar. Los modelos sobreajustados filtran más — el mismísimo sobreajuste que destruye vuestros rendimientos fuera de muestra también ensancha la señal de inferencia de pertenencia. La robustez y la generalización son la misma virtud vista desde dos ángulos.

La matriz de abajo mapea el ataque sobre un 2×2 de modelo regularizado vs. sobreajustado contra el ataque tiene éxito vs. fracasa. Las celdas interesantes son las diagonales: un modelo regularizado derrota al ataque (brecha pequeña), uno sobreajustado lo entrega (brecha grande).

Cuándo usarlo

Tomaos en serio la inferencia de pertenencia cuando con qué os entrenasteis sea en sí mismo sensible — asociaciones de datos propietarias, flujo confidencial de contrapartes, o posiciones que no queréis que se sometan a ingeniería inversa. El equilibrio queda en gran medida subsumido por el equilibrio de generalización que ya gestionáis: una regularización más estricta encoge la fuga y normalmente ayuda también al rendimiento en vivo, así que esta es una rara defensa “gratis”, cuyo único coste es el (a menudo beneficioso) sesgo hacia modelos más simples. Añadid medidas explícitas — privacidad diferencial, ruido en la salida — solo cuando los datos sean lo bastante sensibles como para justificar el coste en precisión.

Cómo se comparan los cinco ataques

Dad un paso atrás y alineadlos. La pregunta clave para cualquier amenaza es la misma tríada: qué/quién es atacado, qué necesita el atacante y qué obtiene.

El hilo conductor: los tres primeros corrompen el modelo antes del despliegue (en tiempo de entrenamiento); los dos últimos lo interrogan después del despliegue (en tiempo de inferencia). Y cada uno de ellos es más barato contra un modelo que aprende en línea (más envenenable), determinista (más extraíble) o sobreajustado (más fugado) — tres propiedades sobre las que, convenientemente, empuja en contra la misma disciplina de ingeniería.

Repaso

Recorristeis desde el interior del modelo hacia fuera. El envenenamiento corrompe el conjunto de entrenamiento — y como vuestro conjunto de entrenamiento es el libro público, un competidor que controle incluso un pequeño porcentaje del flujo de vuestra ventana de reentrenamiento puede doblar el ajuste; las ventanas más cortas son más fáciles, no más seguras. Las puertas traseras son la versión quirúrgica: un disparador en una fracción de un porcentaje de las muestras compra un mando a distancia que las métricas de validación nunca detectan. El spoofing y el layering son las mismas órdenes canceladas llevadas con dos sombreros — un ejemplo adversario en vivo y, contra un aprendiz, un veneno plantado — ilegales bajo Dodd-Frank (Sarao, el flash crash de 2010) pero algo que vuestro modelo debe sobrevivir igualmente. La extracción de modelos convierte vuestras propias ejecuciones públicas en un conjunto de entrenamiento gratis para un sustituto que os clona y luego os ataca en caja blanca. Y la inferencia de pertenencia lee vuestro exceso de confianza en los datos de entrenamiento para filtrar con qué os entrenasteis — una fuga que la misma regularización que arregla el sobreajuste ya encoge.

La lección unificadora: la predictibilidad y el sobreajuste no son solo problemas de rendimiento — son superficies de ataque. El kit de robustez de la Lección 5 no es un tema separado; es la misma medicina, recetada aquí para un síntoma de seguridad.