Atención y Transformers para mercados

A estas alturas ya conocéis dos formas de hacer que una red recuerde el pasado. La RNN/LSTM/GRU enhebra un único estado oculto a través del tiempo como un juego del teléfono — cada paso le susurra al siguiente, y los gradientes se desvanecen a lo largo de la cadena (el problema del gradiente que se desvanece de la lección 2). La Red Convolucional Temporal, en cambio, apila convoluciones dilatadas y causales para ensanchar un campo receptivo fijo (lección 3) — rápida y paralela, pero el horizonte es el que cableaste a fuego en el esquema de dilatación.

La atención es la tercera respuesta, y es casi insultantemente directa: no enhebres memoria ni ensanches una ventana — simplemente deja que cada paso temporal mire directamente a cada otro paso temporal y decida por sí mismo quién importa. Sin cadena por la que decaer. Sin ventana fija que se quede pequeña. El paso 200 puede leer el paso 1 en un solo salto. Ese es todo el truco, y el Transformer es lo que obtienes cuando construyes una arquitectura entera sin nada más que ese truco.

Vamos a ganárnoslo.

Autoatención: quién mira a quién

La analogía. Imaginad una reunión de la mesa de trading. Tú (la consulta) haces una pregunta: “¿qué es relevante para saber hacia dónde va el precio a continuación?”. Cada analista de la sala tiene una etiqueta con su nombre (una clave) que describe lo que sabe, y un informe (un valor) que entregará. Echas un vistazo a cada etiqueta, puntúas lo bien que encaja cada una con tu pregunta, conviertes esas puntuaciones en porcentajes de atención y sales con una mezcla de informes ponderada por relevancia. La autoatención es esa reunión, ejecutada para cada paso temporal a la vez, con cada paso haciendo de analista y de preguntón.

Definición precisa. Cada token de entrada (digamos, el vector de características en el instante $t$) se proyecta linealmente en tres vectores: una consulta $q_t$, una clave $k_t$ y un valor $v_t$, mediante matrices aprendidas $W_Q, W_K, W_V$. Apílalos en matrices $Q, K, V$. La atención por producto escalar escalado es:

$\text{Atención}(Q,K,V)=\text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$

La matriz $QK^\top$ contiene todos los productos escalares consulta-clave (las puntuaciones de relevancia en bruto). Dividir por $\sqrt{d_k}$ — donde $d_k$ es la dimensión de las claves — reescala esas puntuaciones. El softmax convierte cada fila en una distribución de probabilidad que suma 1, y multiplicar por $V$ produce la media ponderada de los vectores de valor.

¿Por qué $\sqrt{d_k}$? Si $q$ y $k$ tienen entradas aproximadamente independientes de varianza unitaria, su producto escalar $q\cdot k=\sum_{i=1}^{d_k} q_i k_i$ tiene una varianza de aproximadamente $d_k$ — así que crece con la dimensión. Puntuaciones grandes empujan el softmax a la saturación: un peso se va a ~1, el resto a ~0, y el gradiente a través del softmax casi se desvanece. Dividir por $\sqrt{d_k}$ devuelve la varianza a aproximadamente 1, manteniendo el softmax en su régimen sensible y bien condicionado.

Ejemplo resuelto — un softmax diminuto de 3 claves. Una consulta atiende a tres claves con $d_k = 4$, así que $\sqrt{d_k}=2$. Supongamos que los productos escalares en bruto son $q\cdot k_1 = 8$, $q\cdot k_2 = 4$, $q\cdot k_3 = 2$.

Escala cada uno por $\sqrt{d_k}=2$: las puntuaciones escaladas son $4,\ 2,\ 1$.

Exponencia: $e^{4}=54{,}60$, $e^{2}=7{,}389$, $e^{1}=2{,}718$. Suma $=64{,}71$.

Normaliza: $w_1 = 54{,}60/64{,}71 = 0{,}844$, $w_2 = 7{,}389/64{,}71 = 0{,}114$, $w_3 = 2{,}718/64{,}71 = 0{,}042$ (suma 1,000).

Ahora mezcla los vectores de valor. Digamos $v_1=[1,0]$, $v_2=[0,1]$, $v_3=[1,1]$. La salida es

$0{,}844\,[1,0] + 0{,}114\,[0,1] + 0{,}042\,[1,1] = [0{,}886,\ 0{,}156].$

Fíjate en que la salida se apoya fuertemente en $v_1$ (la clave que mejor encaja) pero no es una elección dura — es una mezcla suave y diferenciable. Ahora compara qué pasa sin escalar: las puntuaciones sin escalar $8,4,2$ dan $e^8=2981$, $e^4=54{,}6$, $e^2=7{,}39$, pesos $0{,}980, 0{,}018, 0{,}002$ — el softmax casi se ha colapsado sobre la clave 1, tirando a la basura la mayor parte de la estructura de relevancia y aplanando el gradiente. Eso es exactamente la saturación que $\sqrt{d_k}$ está ahí para prevenir.

Para mercados añadimos una máscara causal: una salida en el instante $t$ solo puede atender a claves en instantes $\le t$ (no puedes espiar el futuro). En la matriz de puntuaciones eso pone a cero el triángulo superior antes del softmax, así que las posiciones futuras reciben peso 0.

Cuándo usarla

Recurre a la autoatención cuando la relevancia sea dependiente del contenido e irregular — cuando qué barra pasada importa dependa de lo que ocurrió, no de un retardo fijo. Una sorpresa de resultados, una ruptura de régimen o el reposicionamiento sobre un nivel concreto son cosas a las que la atención puede dirigirse directamente. Si la dependencia es un decaimiento suave de retardo fijo (ayer importa más, luego anteayer, monótonamente), un filtro exponencial barato o un pequeño término AR pueden ajustarla con una fracción de los parámetros — no invoques un Transformer para reaprender una media móvil.

Por qué la atención gana a la recurrencia en largo alcance

La analogía. La RNN es un mensaje pasado de mano en mano por una fila de 200 personas — al final es “mono morado lavavajillas”, y cada relevo multiplica otro factor jacobiano, así que el gradiente o se desvanece o explota (exactamente el fallo de la lección 2). La atención es un grupo de chat: la posición 200 menciona con @ a la posición 1 directamente, y el mensaje llega intacto en un solo salto.

Enunciado preciso. Define la longitud máxima de camino como la mayor distancia, en pasos computacionales, que la información debe recorrer entre dos posiciones de entrada cualesquiera para que interactúen. Para una red recurrente, dos posiciones $i$ y $j$ solo interactúan a través de la cadena de estados ocultos entre ellas, así que la longitud del camino es $O(|i-j|)$, hasta $O(T)$. Para la autoatención, cada posición atiende a todas las demás en una sola capa, así que la longitud del camino es $O(1)$ — independiente de $T$. Caminos cortos significan que los gradientes no tienen que sobrevivir a un largo producto de jacobianos, así que el aprendizaje de largo alcance no decae.

La factura llega como cómputo y memoria. La matriz de puntuaciones $QK^\top$ es $T\times T$, así que la autoatención cuesta $O(T^2 \cdot d)$ en tiempo y $O(T^2)$ en memoria. Duplica la longitud de la secuencia y el coste de la atención se cuadruplica.

Ejemplo resuelto — contando el coste. Toma $T = 500$ barras y anchura del modelo $d = 64$.

• Camino secuencial de la RNN entre la primera y la última barra: $\approx 500$ saltos; el número de operaciones para procesar la secuencia es $O(T \cdot d^2) = 500 \times 64^2 = 2{.}048{.}000$, pero es secuencial — el paso $t+1$ espera al paso $t$.
• Camino de la autoatención entre dos barras cualesquiera: $1$ salto; el coste dominante es $O(T^2 \cdot d) = 500^2 \times 64 = 16{.}000{.}000$ — unas 8× la aritmética de la RNN aquí, pero totalmente paralelo entre posiciones (un gran matmul, sin esperas).

Así que la atención cambia más aritmética (paralelizable) por un camino de gradiente muchísimo más corto y sin cuello de botella secuencial. En hardware moderno el paralelismo suele ganar en tiempo de pared, justo hasta que $T$ se hace lo bastante grande como para que muerda el término de memoria $T^2$.

Cuándo usarla

Prefiere la atención sobre la recurrencia cuando la dependencia sea genuinamente de largo alcance y enrutada por contenido, y tus secuencias sean lo bastante cortas como para que $T^2$ sea asumible. Si $T$ es pequeño (un puñado de retardos) y la señal es local, una LSTM o una TCN son más baratas y más difíciles de sobreajustar. Si $T$ es enorme y la dependencia es mayormente local con raros saltos largos, el campo receptivo de profundidad logarítmica de una TCN suele ser el punto óptimo.

Atención multicabeza y codificación posicional

La analogía de las cabezas. Un analista solo puede sostener una tesis a la vez. Una mesa contrata a varios — un especialista en momentum, uno en eventos, uno en liquidez — y cada uno lee la misma cinta a través de una lente distinta; luego agrupas sus notas. La atención multicabeza ejecuta $h$ cálculos de atención en paralelo, cada uno con sus propias proyecciones $W_Q, W_K, W_V$ de menor dimensión, y concatena los resultados a través de una proyección de salida. Una cabeza puede aprender a seguir la deriva reciente, otra a pegar un pico en un evento pasado concreto, otra a vigilar un nivel.

Definición precisa. Con la dimensión del modelo $d_{\text{model}}$ repartida entre $h$ cabezas, cada cabeza trabaja en dimensión $d_k = d_{\text{model}}/h$:

$\text{cabeza}_i = \text{Atención}(QW_i^Q, KW_i^K, VW_i^V), \qquad \text{MultiCabeza} = \text{Concat}(\text{cabeza}_1,\dots,\text{cabeza}_h)\,W^O.$

Repartir el presupuesto mantiene el coste total aproximadamente igual que con una sola cabeza, mientras deja que las cabezas se especialicen.

Codificación posicional. Como la atención es invariante a permutaciones, añadimos un vector dependiente de la posición $p_t$ al embedding de cada token $x_t$ para que características idénticas en instantes distintos sean distinguibles. Las codificaciones sinusoidales usan

$PE_{(t,2i)} = \sin\!\left(\frac{t}{10000^{2i/d}}\right), \qquad PE_{(t,2i+1)} = \cos\!\left(\frac{t}{10000^{2i/d}}\right),$

dando a cada posición una huella multifrecuencia única; los embeddings posicionales aprendidos son, en su lugar, una tabla de búsqueda entrenada. En cualquier caso, el modelo ahora sabe cuándo se situó cada token.

Mini-ejemplo resuelto — por qué el orden importa para los retornos. Considera dos secuencias de retornos diarios construidas a partir del mismo multiconjunto de movimientos $\{+5\%, -5\%\}$:

• Secuencia A: $+5\%$ y luego $-5\%$. Riqueza acumulada: $1{,}05 \times 0{,}95 = 0{,}9975$ (baja un 0,25%).
• Secuencia B: $-5\%$ y luego $+5\%$. Riqueza acumulada: $0{,}95 \times 1{,}05 = 0{,}9975$ (también baja un 0,25%).

La capitalización resulta conmutar aquí, así que la riqueza terminal es idéntica — pero el camino no lo es, y el riesgo vive en el camino. La secuencia A se hundió hasta 1,05 y luego cayó; la secuencia B se hundió hasta 0,95 primero. Una señal de momentum, un stop dinámico, una llamada de margen o una estimación de volatilidad leen estas dos como mundos distintos. Un modelo que no puede distinguir A de B (sin información posicional) literalmente no puede representar “la caída vino primero”. El orden no es decoración; es señal.

Cuándo usarla

Usa varias cabezas siempre que sospeches que coexisten varios patrones relacionales distintos (tendencia, reversión a la media, respuesta a eventos) — es casi gratis dado un $d_{\text{model}}$ fijo. Incluye siempre codificación posicional para series temporales; la única vez que la dejarías fuera es para entradas genuinamente de conjunto sin orden (p. ej., atender a través del corte transversal de activos en un solo instante, donde no hay un orden intrínseco que codificar).

Transformers sobre el libro de órdenes

La analogía. Pronosticar el retorno del próximo año a partir de unas pocas observaciones anuales es como predecir la media de por vida de una moneda a partir de tres lanzamientos — casi todo ruido. Hacer nowcasting del siguiente tick del precio medio a partir del libro de órdenes en vivo se parece más a leer una sala de subastas abarrotada en tiempo real: las pujas y ofertas están ahí mismo, apiladas y cuantificadas, y el siguiente movimiento está mecánicamente relacionado con esa presión. Ese es el régimen de alta SNR y rico en datos para el que la lección 1 dijo que el DL estaba hecho.

El libro de órdenes (LOB) como entrada. En cada instante el libro lista los mejores $N$ niveles de precio en cada lado con sus tamaños en reposo. Una entrada estándar al estilo DeepLOB son los $N=10$ niveles superiores: para cada nivel, precio de compra, tamaño de compra, precio de venta, tamaño de venta — $10 \times 4 = 40$ características por instantánea — apiladas sobre una ventana de, digamos, las últimas 100 instantáneas. Esto es un tensor estructurado, normalizado y de alta frecuencia, no un puñado de barras diarias ruidosas.

Las etiquetas. Define el precio medio $m_t = (p^{\text{ask}}_t + p^{\text{bid}}_t)/2$. Para denoisar el temblor a nivel de tick, compara medias suavizadas antes y después: sea $m_-$ el promedio del precio medio sobre los $k$ ticks anteriores y $m_+$ el promedio sobre los $k$ siguientes. La etiqueta es el signo del cambio suavizado frente a un umbral $\alpha$:

$\ell_t = \begin{cases} \text{sube} & (m_+ - m_-)/m_- > +\alpha \\ \text{plano} & |m_+ - m_-|/m_- \le \alpha \\ \text{baja} & (m_+ - m_-)/m_- < -\alpha \end{cases}$

Una clasificación de tres clases sube/plano/baja sobre un horizonte de unos pocos ticks.

Ejemplo resuelto — etiquetar un evento. Mejor compra $= 100,00$, mejor venta $= 100,02$, así que $m_t = 100{,}01$. Sobre los $k=5$ ticks anteriores el precio medio promedió $m_- = 100{,}00$; sobre los 5 siguientes promedia $m_+ = 100{,}05$. El retorno suavizado es $(100{,}05 - 100{,}00)/100{,}00 = 0{,}0005 = 5$ puntos básicos. Con un umbral $\alpha = 2$ pb, $5 > 2$, así que esta instantánea se etiqueta como sube. Si hubiera sido $m_+ = 100{,}01$ (un movimiento de $1$ pb), $1 < 2$, sería plano — el umbral absorbe el micro-ruido para que el modelo no se entrene a perseguir redondeos.

El linaje DeepLOB. La receta influyente (Zhang, Zohren y Roberts, 2019) es una pila: convoluciones sobre los niveles de precio/volumen primero comprimen la instantánea de 40 características en características microestructurales locales (tratando niveles adyacentes como píxeles adyacentes), un módulo inception captura patrones multiescala y luego un modelo temporal — originalmente una LSTM, en variantes posteriores un bloque de atención/Transformer — integra sobre la ventana temporal antes de un softmax sobre sube/plano/baja. El papel de la atención: dirigir la predicción a los momentos del libro reciente que de verdad importaron (un gran barrido, un desequilibrio repentino) en lugar de difuminarse por toda la ventana.

Cuándo usarlo

Despliega un Transformer-sobre-LOB cuando tengas datos genuinos de libro de alta frecuencia, un horizonte corto y millones de instantáneas etiquetadas — y cuando tu backtest modele honestamente la latencia, las comisiones y el realismo de ejecución. No transplantes la arquitectura al pronóstico de retornos de baja frecuencia esperando que la magia siga; ahí los datos son demasiado escasos y demasiado ruidosos para la capacidad del modelo, que es exactamente el problema de la siguiente sección.

El problema del hambre de datos

La analogía. Una convolución llega con una opinión (“las cosas cercanas se relacionan”), y la recurrencia llega con otra (“el tiempo es una cadena”) — estos sesgos inductivos son barandillas que restringen lo que el modelo puede ajustar. Un Transformer llega casi sin opinión: cualquier posición puede relacionarse con cualquier posición, aprendido libremente. La máxima flexibilidad es un superpoder cuando los datos abundan y una maldición cuando escasean. Con unos cientos de retornos anuales ruidosos, un modelo sin sesgo y cargado de parámetros es una esponja que absorbe ruido y lo llama señal.

Enunciado preciso. El error de generalización se descompone, a grandes rasgos, en sesgo más varianza. Un sesgo inductivo fuerte reduce la varianza a costa de algo de sesgo; el sesgo débil del Transformer y su gran número de parámetros $P$ maximizan la varianza, y la varianza se rige por la razón entre $P$ y el número efectivo de muestras independientes $N$. Las series de retornos financieros tienen un $N$ efectivo diminuto (solapadas, autocorrelacionadas, con cambios de régimen), así que $P/N$ es enorme y el modelo sobreajusta antes de generalizar.

Ejemplo resuelto — la razón parámetros-muestras. Supón que un bloque Transformer modesto tiene $P \approx 200{.}000$ parámetros y entrenas con 20 años de retornos diarios de renta variable: $20 \times 252 \approx 5{.}040$ observaciones — y como los retornos están serialmente correlacionados y los regímenes se solapan, el número efectivo de muestras independientes podría estar más cerca de unos pocos cientos. Toma $N_{\text{ef}} \approx 250$. Entonces $P/N_{\text{ef}} \approx 200{.}000/250 = 800$ parámetros por muestra efectiva. Un montaje supervisado sano quiere esa razón muy por debajo de 1. A 800 contra 1 el modelo puede ajustar el conjunto de entrenamiento a la perfección y aprender esencialmente nada que sobreviva fuera de muestra.

Remedios.

Cuándo usarlo

Usa un Transformer para predicción de retornos solo cuando puedas elevar honestamente el número efectivo de muestras — agrupando un corte transversal amplio, apoyándote en preentrenamiento relevante o trabajando en un régimen de alta frecuencia con millones de instantáneas. De lo contrario, el modelo de menor sesgo y más fuerte (o incluso un modelo lineal regularizado) suele ganar fuera de muestra, y has gastado muchas menos pruebas para llegar ahí. La conclusión sobria — que la lección 6 martilleará — es que la arquitectura rara vez rescata un problema de baja SNR y hambriento de datos; ajustar la capacidad del modelo al contenido genuino de información es todo el juego.

Repaso