Redes Convolucionales Temporales

En la última lección viste a una LSTM enhebrar heroicamente una celda de memoria a través de una larga cadena recurrente, peleando contra el gradiente que se desvanece en cada paso como un corredor de relevos que no para de soltar el testigo. Las puertas ayudaban. Siempre ayudan. Pero hay una alternativa más silenciosa y ligeramente engreída que esquiva todo el drama: deja de enhebrar memoria por una cadena frágil y, sin más, desliza un filtro sobre toda la ventana de golpe.

Esa es la Red Convolucional Temporal (TCN). Toma prestada la convolución de los modelos de imágenes, la apunta al tiempo en lugar de a los píxeles y lee tus rendimientos retardados directamente, en vez de resumirlos en un estado oculto que puede sobrevivir o no al viaje. Sin recurrencia, sin testigo, sin disculpas.

Aquí tienes el contraste del que nos alejamos: la recurrencia llevando memoria paso a paso por una cadena que las puertas pueden parchear, pero no abolir:

El intercambio que estamos a punto de hacer: renunciar a la memoria ilimitada pero frágil de la RNN a cambio de un horizonte de memoria fijo, conocido y estable en gradiente. Para las finanzas, donde lo que más te importa son las últimas cientos de barras y desesperadamente quieres un comportamiento reproducible, ese intercambio suele ser una ganga.

Convoluciones causales

Empezamos con una comprobación de instinto antes de la maquinaria.

Analogía. Una convolución estándar es una pequeña plantilla deslizante —un filtro de ancho $k$— que se posa sobre unos pocos pasos de tiempo consecutivos, multiplica cada entrada por un peso aprendido y suma. Una convolución causal es esa misma plantilla con una norma de la casa estricta: solo puede apoyarse sobre la barra presente y las barras a su izquierda (el pasado). Tiene físicamente prohibido inclinarse hacia el futuro. Piensa en un trader que solo puede leer la cinta hasta ahora: exactamente la disciplina que interiorizaste como nada de fuga por mirar al futuro allá en Aprendizaje Automático para Alfa.

Definición. Para una serie de entrada $x_1, x_2, \dots, x_T$ y un filtro con pesos $w_0, w_1, \dots, w_{k-1}$, una convolución causal 1-D produce

Cada término tiene índice $t - i \le t$. Nada del futuro entra. En la práctica esto se implementa rellenando la secuencia por la izquierda con $k-1$ ceros, para que la longitud de salida coincida con la de entrada y la alineación siga siendo causal.

Ejemplo resuelto. Toma un filtro causal de ancho $k=3$ con pesos $w_0 = 0.5,\; w_1 = 0.3,\; w_2 = 0.2$ (un detector de momentum un poco suavizado). Aliméntalo con los tres últimos rendimientos diarios que terminan en $t$:

Una salida, tres multiplicaciones-sumas, cero espionaje. Esos mismos tres pesos se deslizan luego para calcular $y_{t+1}$ a partir de $x_{t+1}, x_t, x_{t-1}$: el compartir pesos a lo largo del tiempo es lo que hace la capa barata e invariante a la traslación.

Cuándo usarla

Echa mano de las convoluciones causales siempre que el objetivo sea una predicción hecha en el instante $t$ usando información disponible hasta $t$: básicamente toda tarea de predicción financiera honesta. La versión de una sola capa solo ve $k$ pasos hacia atrás, así que por sí sola es un extractor de características de memoria corta (una media móvil aprendible, más o menos). La usarías de forma autónoma para patrones muy locales; para memoria de verdad las apilas con dilatación, que viene a continuación.

Dilatación: un telescopio hacia el pasado

Analogía. El apilamiento ordinario es subir una escalera de mano un peldaño por capa: lento. La convolución dilatada es un telescopio: cada capa salta más huecos entre las barras que muestrea, así que cada peldaño hacia arriba multiplica lo lejos que puedes ver en vez de simplemente sumarle. Sigues tocando solo $k$ entradas por filtro, pero están más separadas.

Definición. Una convolución causal dilatada con dilatación $d$ salta $d-1$ entradas entre tomas consecutivas:

En $d=1$ es la convolución causal ordinaria. Apila $L$ capas con dilataciones $1, 2, 4, \dots, 2^{L-1}$ (duplicando en cada capa) y el campo receptivo —cuántos pasos pasados pueden influir en la salida— es

El alcance $2^L$ crece exponencialmente con el número de capas, mientras que el número de parámetros crece solo linealmente (cada capa añade los mismos $\sim k$ pesos por canal). Esa asimetría es todo el argumento de venta.

Ejemplo resuelto. Fija $k = 2$ y $L = 8$ capas con dilataciones $1, 2, 4, \dots, 128$. Entonces

Ocho capas alcanzan 256 pasos de tiempo hacia atrás —aproximadamente un año de barras diarias— usando una cantidad trivial de pesos. Aquí está el crecimiento desglosado capa a capa (ancho $k=2$, así que cada capa añade $2^{\ell}$ al alcance):

Fíjate en que la columna del campo receptivo se duplica en cada fila mientras que la columna de parámetros se queda plana en 2. El alcance es exponencial; el coste, lineal. (Para volver a duplicar el alcance hasta 512, añades una capa más, no 256 más.)

Cuándo usarla

La dilatación es la respuesta siempre que necesites memoria larga sin pagarla en parámetros ni en inestabilidad inducida por la profundidad. Elige el calendario de dilataciones de modo que el campo receptivo de la capa superior supere cómodamente la dependencia más larga que crees que existe en los datos (p. ej., si crees que los efectos persisten ~120 barras, construye $R \ge 200$ para tener margen). No te pases construyendo: un campo receptivo de 4096 sobre una serie con 90 barras de memoria solo añade capacidad para sobreajustar. Más sobre esto a continuación.

Bloques residuales y la TCN completa

Analogía. Un bloque residual es una edición, no una reescritura. En vez de pedir a cada capa que reconstruya toda la señal desde cero, le pides que produzca una pequeña corrección y luego la sume a lo que entró: “aquí tienes la entrada, más mi granito de arena”. Si un bloque no tiene nada útil que aportar, puede aprender a sacar ~cero y dejar pasar la entrada tal cual, así que añadir profundidad no puede perjudicarte fácilmente.

Definición. Un bloque residual de TCN envuelve dos convoluciones causales dilatadas y produce

donde $\mathcal{F}$ es la pila de (conv causal dilatada → normalización de pesos → no linealidad → dropout), aplicada dos veces. El término $x +$ es la conexión de salto. Cuando los recuentos de canales de entrada y salida difieren, una convolución $1\times1$ remodela $x$ antes de sumar. Los ingredientes del bloque TCN estándar:

Ejemplo resuelto. Supón que la pila de dos convoluciones de un bloque produce una corrección $\mathcal{F}(x) = -0.03$ en algún paso donde la característica de entrada es $x = 0.50$. La salida residual antes de la activación es $0.50 + (-0.03) = 0.47$: un suave empujón del 6%, no una reconstrucción desde cero. Ahora imagina que apilas 8 bloques así. Con apilamiento simple, una capa temprana desafortunada que aprende basura corrompe todo lo que va después; con residuales, ese bloque puede colapsar hacia $\mathcal{F}(x)\approx 0$, sacar $\approx x$, y el resto de la red queda intacto. Por eso puedes apilar TCN profundas (las 8 capas de nuestro ejemplo de dilatación, envueltas en bloques residuales) sin la degradación de precisión que aqueja a las pilas profundas ingenuas.

¿Por qué dropout espacial en concreto? El dropout ordinario pone a cero activaciones individuales aleatorias, lo cual en una serie temporal suave es como borrar ticks sueltos dispersos: la red simplemente interpola en torno a ellos y la regularización apenas muerde. El dropout espacial pone a cero canales enteros a lo largo de todos los pasos de tiempo, forzando a la red a no apoyarse en ninguna característica aprendida concreta. Es regularización que se toma en serio la correlación temporal.

Cuándo usarlos

Usa la TCN completa con bloques residuales —no convoluciones apiladas a secas— siempre que apiles más de un par de capas. Por debajo de ~3 capas podrías saltarte las conexiones de salto; por encima, los residuales son esencialmente obligatorios para evitar la degradación. Ajusta la intensidad de regularización (tasa de dropout, profundidad) contra la curva fuera de muestra, nunca contra la de dentro de muestra.

TCN frente a RNN

Analogía. Una RNN lee la cinta como una persona que lee una novela: una palabra cada vez, sosteniendo la trama en su (falible) memoria de trabajo. Una TCN la lee como un lector rápido con toda la página abierta a la vez, con los ojos saltando a posiciones fijas: no hay memoria de trabajo que perder, pero también un borde duro en la página: literalmente no puede ver más allá del margen (el campo receptivo).

Los compromisos clave.

Ejemplo resuelto — la aceleración es concreta. Supón que una secuencia tiene $T = 500$ pasos y que la aritmética de cada capa cuesta una unidad de “trabajo” por paso. Una RNN debe ejecutar sus 500 pasos en orden: tiempo de reloj $\approx 500$ unidades secuenciales, porque el paso 437 no puede arrancar antes de que termine el 436. Una capa de TCN aplica el mismo filtro a las 500 posiciones simultáneamente: con suficientes carriles en paralelo, tiempo de reloj $\approx 1$ unidad para esa capa, y una TCN de 8 capas termina en $\approx 8$ unidades secuenciales en total en vez de $500$. Los mismos FLOP en agregado, pero la cadena de dependencias es la profundidad (8), no la longitud de la secuencia (500). En una GPU esa es la diferencia entre minutos y horas.

El remate empírico: en muchas tareas de secuencia de referencia —y notablemente en las series financieras tabulares y de horizonte medio que le importan a este curso— las TCN con frecuencia igualan o superan a las LSTM, entrenando más rápido y de forma más estable. El sesgo inductivo recurrente no es magia; para buena parte de los datos de mercado, “lee las últimas $R$ barras con gradientes estables” gana.

Cuándo usarla

Toma una TCN por defecto cuando quieras velocidad, reproducibilidad y un horizonte de memoria que puedas enunciar en una frase: la mayoría de la predicción intradía y diaria encaja aquí. Inclínate por una RNN solo cuando tengas razones de peso para creer que la memoria útil es a la vez muy larga y lo bastante irregular como para que un campo receptivo dimensionado con honestidad fuera impracticablemente profundo.

Cuándo usar una TCN

Analogía. Elegir una TCN es como elegir un objetivo de focal fija: nítido como un cuchillo y rápido dentro de su campo de visión, inútil para lo que queda fuera del encuadre. Lo compras cuando sabes aproximadamente cómo de amplio necesitas el plano.

Echa mano de una TCN cuando:

• La secuencia es de longitud media y el horizonte de dependencia es finito y estimable: fija $R$ para que supere cómodamente (recuerda $R = 1 + (k-1)(2^L - 1)$).
• Trabajas con datos intradía / de microestructura donde la velocidad de entrenamiento en paralelo y un horizonte de memoria conocido importan de verdad para iterar y controlar el riesgo.
• Quieres un entrenamiento reproducible y estable en gradiente y estás harto de LSTM que entrenan distinto cada martes.
• Pero regulariza con dureza. El $N$ efectivo es pequeño porque los rendimientos están autocorrelacionados (lección 1, “Por qué el Deep Learning Sufre en Finanzas”); apóyate en dropout espacial, normalización de pesos, profundidad modesta y validación walk-forward.

No eches mano de una TCN cuando:

• La memoria genuinamente necesaria supera cualquier campo receptivo razonable: el horizonte duro amputará la señal en silencio.
• El conjunto de datos es diminuto (unos cientos de filas, un puñado de características). Un árbol con potenciación de gradiente o un modelo lineal regularizado normalmente ganarán a cualquier red profunda aquí: menos supuestos, menos varianza, sin GPU.
• Las relaciones son esencialmente transversales / no temporales, en cuyo caso la maquinaria de convolución-sobre-el-tiempo no te aporta nada.

Resumen de compromisos

Todo el argumento en un suspiro: una TCN cambia la memoria ilimitada pero frágil de la RNN por una fija pero estable y rápida. Cuando tu problema cabe dentro de un campo receptivo que puedas nombrar, ese es un gran intercambio. Cuando no, el muro es real y silencioso: así que nombra el horizonte con honestidad, regulariza como si la muestra efectiva fuera pequeña (lo es) y valida fuera de muestra.

Repaso