Modelos fundacionales de series temporales: TimesFM, Chronos, Moirai y Lag-Llama

La lección 1 os vendió la apuesta: preentrena una vez sobre una montaña de datos, adáptate barato a tu problema. Así es como un único modelo de lenguaje escribe Python, francés y quintillas sin reentrenarse para cada cosa. Esta lección cobra la apuesta para las series temporales — la maquinaria real que permite a un modelo congelado predecir una serie que nunca ha visto, sin ningún ajuste en absoluto.

El truco es que una serie de rendimientos no es una frase. Un transformer come tokens — cosas discretas con embeddings — y un gráfico de precios es un flujo de reales continuos. Así que antes de cualquier magia de modelo fundacional, alguien tiene que responder a una pregunta irritantemente concreta: ¿cómo conviertes una línea ondulante en tokens? Dos bandos la responden de forma distinta, y el resto de la lección se construye sobre esa bifurcación.

Vamos a ganárnoslo.

De un-modelo-por-serie a un modelo fundacional de predicción

La analogía. El predictor clásico es un cerrajero que lima una llave nueva para cada cerradura — coeficientes ARIMA para esta serie, un ajuste GARCH para aquella, una red neuronal nueva para la siguiente. Artesanía preciosa, y totalmente inescalable: 5.000 series significan 5.000 ajustes, cada uno necesitando suficiente historia para estimar sus propios parámetros. Un modelo fundacional es un maestro cerrajero que ya ha abierto millones de cerraduras y ha aprendido qué son las cerraduras. Pásale una nueva y la abre a primera vista — ninguna llave nueva limada.

Definición precisa. La receta clásica (el “especialista” de la lección 1) estima parámetros $\theta_s$ por separado para cada serie $s$: ajusta $\text{ARIMA}(p,d,q)$ aquí, $\text{GARCH}(1,1)$ allá, una red nueva en otro sitio. Cada ajuste necesita que esa serie cargue suficiente señal para fijar su propio $\theta_s$. Un modelo fundacional de series temporales en cambio aprende un único conjunto compartido de parámetros $\Theta$ preentrenando sobre un corpus de millones de series de muchos dominios, y luego predice una serie nueva $x_{1:T}$ en una sola pasada hacia delante:

$\hat{x}_{T+1:T+h} = f_\Theta(x_{1:T}),$

con $\Theta$ congelado — ningún paso de gradiente toca la serie nueva. Eso es predicción zero-shot, el truco estrella de todo el campo (la lección 3 precisa “zero-shot”).

Ejemplo resuelto — el presupuesto de ajuste. Digamos que cada ajuste ARIMA necesita al menos 100 observaciones para estimar fiablemente su puñado de coeficientes, y tienes 5.000 series.

• Clásico: 5.000 estimaciones separadas. ¿Una serie con solo 30 puntos de historia? Apenas puedes ajustarla — demasiado pocas observaciones para sus propios parámetros. El arranque en frío es fatal.
• Modelo fundacional: 0 estimaciones sobre tus datos. La serie de 30 puntos recibe la misma pasada hacia delante que la de 30.000; el modelo aporta la prior que aprendió de millones de otras series, así que la historia corta es sobrevivible.

El cambio es de “cada serie enseña su propio modelo desde cero” a “un modelo ya ha aprendido la forma de las series temporales en general, y simplemente condiciona sobre tu historia”.

Cuándo usarlo

Recurre al enfoque clásico de un-modelo-por-serie cuando cada serie sea larga, bien comportada, y tengas tiempo para cuidar ajustes individuales. Recurre a un modelo fundacional cuando tengas muchas series, historias cortas, o una necesidad de arranque en frío (un SKU nuevo con tres semanas de datos) — exactamente donde el ajuste por serie pasa hambre. Veremos el truco para las finanzas en concreto al final de esta lección.

Tokenizar una serie continua — el problema técnico central

La analogía. Un transformer es un lector que solo entiende palabras. Pásale la forma de onda acústica cruda de alguien hablando y está perdido — alguien tiene que cortar primero ese sonido continuo en sílabas discretas que pueda buscar. Tokenizar una serie temporal es ese corte: convertir una línea ininterrumpida en una secuencia de unidades de bocado que el mecanismo de atención pueda atender. Las dos familias de abajo cortan la línea de dos formas muy distintas.

(a) Patching — trocear en ventanas, proyectar cada una a un embedding

Definición precisa. Corta el contexto en ventanas contiguas de longitud fija llamadas parches (patches). Un parche de longitud $P$ es un vector en $\mathbb{R}^P$; un mapa lineal aprendido $W \in \mathbb{R}^{d \times P}$ lo proyecta a un embedding de dimensión $d$ — un token por parche. Un contexto de longitud $L$ con longitud de parche $P$ (sin solapamiento) produce

$n_{\text{patches}} = \left\lceil \frac{L}{P} \right\rceil$

tokens. Esta es la idea de PatchTST, adoptada por TimesFM y Moirai. El patching hace dos trabajos a la vez: encoge la longitud de secuencia que la atención $O(n^2)$ tiene que masticar (la preocupación de coste de la lección 1), y deja que cada token cargue forma local en lugar de un único punto solitario.

Ejemplo resuelto — un contexto de longitud 512, longitud de parche 32. Número de tokens de parche:

$n_{\text{patches}} = \frac{512}{32} = 16.$

Así que 512 observaciones crudas colapsan a 16 tokens de parche. Supón $d = 128$. Cada parche es un vector en $\mathbb{R}^{32}$, y la proyección $W \in \mathbb{R}^{128 \times 32}$ lo mapea a un token en $\mathbb{R}^{128}$. La atención entonces corre sobre 16 tokens, no 512 — la matriz de puntuaciones es $16 \times 16 = 256$ entradas en lugar de $512 \times 512 = 262{,}144$. Misma información, aproximadamente $1{,}000\times$ menos aritmética de atención. El modelo predice prediciendo el siguiente parche (un bloque de longitud 32), así que emite 32 puntos futuros por paso de salida.

(b) Escalado + cuantización en un vocabulario — la ruta Chronos

Definición precisa. En lugar de proyectar parches de valor real, Chronos convierte la serie en tokens literalmente discretos para poder reutilizar un stack de modelo de lenguaje de fábrica (un codificador-decodificador estilo T5). Dos pasos:

1. Escalado por media del contexto: divide cada valor por el valor absoluto medio del contexto, $s = \tfrac{1}{L}\sum_{t=1}^{L} |x_t|$, dando valores escalados $\tilde{x}_t = x_t / s$. Esto hace que una serie de millones y una serie de decimales parezcan comparables.
2. Cuantiza cada valor escalado en uno de $B$ bins (Chronos usa $B = 4096$) que abarcan un rango fijo. El índice del bin es el token — un entero en $\{1, \dots, B\}$ — exactamente como un ID de palabra en un vocabulario.

Ahora una serie de precios es una frase de enteros, y un modelo de lenguaje T5 corriente puede entrenarse sobre ella sin cirugía arquitectónica. La predicción muestrea IDs del siguiente token, que descuantizas (de vuelta al centro de un bin) y desescalas (multiplicando por $s$).

Ejemplo resuelto — escala luego agrupa en bins una ventana diminuta. Contexto $x = [2, 4, 6, 8]$. Valor absoluto medio:

$s = \frac{|2| + |4| + |6| + |8|}{4} = \frac{20}{4} = 5.$

Contexto escalado: $\tilde{x} = [0.4,\ 0.8,\ 1.2,\ 1.6]$. Ahora supón que la rejilla de bins es uniforme sobre $[-10, 10]$ con $B = 4096$ bins, así que cada bin tiene ancho

$w = \frac{10 - (-10)}{4096} = \frac{20}{4096} \approx 0.004883.$

El valor escalado $1.2$ cae en el índice de bin

$\left\lfloor \frac{1.2 - (-10)}{w} \right\rfloor + 1 = \left\lfloor \frac{11.2}{0.004883} \right\rfloor + 1 = \lfloor 2293.4 \rfloor + 1 = 2294.$

Así que el valor $6$ se convierte en el token 2294. La ventana entera se convierte en una cadena corta de tales enteros, y el stack T5 la trata exactamente como texto.

Cuándo usar cada uno

El patching mantiene los valores continuos (sin error de cuantización) y encoge la longitud de secuencia — genial cuando quieres fidelidad y un stack hecho a medida. Tokenizar en un vocabulario tira algo de precisión (cada valor se redondea al centro de un bin) pero te deja heredar gratis toda la cadena de herramientas madura de los modelos de lenguaje. El patching cambia esfuerzo de ingeniería por precisión; la cuantización cambia precisión por reutilización.

El objetivo de preentrenamiento — autorregresivo y probabilístico

La analogía. Es el truco del modelo de lenguaje, portado a números. Un modelo de lenguaje aprende tapando la siguiente palabra y adivinándola; la palabra que tapó es la clave de respuestas, así que el texto se etiqueta a sí mismo. Un modelo fundacional de series temporales tapa el siguiente parche (o el siguiente token cuantizado) y lo adivina — el futuro de la ventana es su propia etiqueta gratuita. Entrena sobre millones de series así y el modelo absorbe la gramática de las series temporales: tendencia, estacionalidad, reversión a la media, saltos de nivel.

Definición precisa — siguiente paso autorregresivo. Factoriza la verosimilitud de la secuencia de izquierda a derecha y maximízala:

$\log p_\Theta(x_{1:T}) = \sum_{t} \log p_\Theta(x_{t} \mid x_{<t}),$

donde cada “paso” es un parche (TimesFM, Moirai) o un token de vocabulario (Chronos). Como una posición solo puede condicionar sobre el pasado $x_{<t}$, la atención es causal — exactamente la atención enmascarada, triangular inferior, del curso de deep learning. Cada token de parche atiende solo a tokens de parche anteriores.

Definición precisa — probabilístico, no puntual. Un buen predictor no solo adivina un número; adivina una distribución, porque “el siguiente rendimiento es +0,3% más o menos 2%” es mucho más útil que un escueto “+0,3%”. Dos formas en que los modelos fundacionales entregan una distribución:

• Cabezas de cuantil (TimesFM): el modelo emite varios cuantiles a la vez — p. ej. los percentiles 10, 50 y 90 — entrenados con la pérdida pinball (de cuantil). Para un nivel de cuantil $\tau$ y predicción $\hat{q}$, la pérdida pinball sobre el resultado $y$ es

$\rho_\tau(y, \hat{q}) = \max\big(\tau(y - \hat{q}),\ (\tau - 1)(y - \hat{q})\big).$

• Trayectorias muestreadas (Chronos): como la salida es una distribución de probabilidad sobre el siguiente token, puedes muestrear muchos posibles siguientes tokens, hacer rodar cada uno hacia delante autorregresivamente, y leer percentiles de la nube de futuros muestreados — una distribución predictiva de Monte-Carlo. (Lag-Llama en cambio encabeza una distribución t de Student paramétrica, capturando colas gruesas directamente.)

Ejemplo resuelto — la pérdida pinball distingue la mediana del percentil 90. Resultado real $y = 12$.

• Predicción de mediana ($\tau = 0.5$), predicción $\hat{q} = 10$: error $y - \hat{q} = 2 > 0$, así que $\rho_{0.5} = 0.5 \times 2 = 1.0$.
• Predicción de percentil 90 ($\tau = 0.9$), misma predicción $\hat{q} = 10$: $\rho_{0.9} = 0.9 \times 2 = 1.8$.

La cabeza de $\tau$ alto se castiga más duro por quedarse corta (se supone que debe situarse por encima de la mayoría de los resultados), así que el entrenamiento empuja la predicción del percentil 90 hacia arriba respecto a la mediana. Esa asimetría es exactamente cómo una sola red aprende todo un abanico de cuantiles en lugar de un único punto — el abanico es la estimación de incertidumbre.

Cuándo usarlo

Apóyate en la salida probabilística siempre que necesites incertidumbre calibrada — límites de riesgo, abanicos de escenarios, cualquier cosa donde estar equivocado sobre cuán equivocado podrías estar sea caro. La estructura autorregresiva es el sesgo inductivo correcto cuando el futuro genuinamente depende del pasado de forma causal, de izquierda a derecha (casi toda predicción). El único régimen donde este objetivo lucha es precisamente el dato de baja señal: si “predecir el siguiente paso” es casi imposible (rendimientos de mercado eficiente), el objetivo aun así entrena tan contento — simplemente aprende a emitir una distribución ancha y casi trivial, lo cual las lecciones 3 y 6 mostrarán que a menudo es la respuesta honesta.

El linaje — TimesFM, Chronos, Moirai, Lag-Llama

La analogía. Piensa en estos cuatro como estilos de casa rivales para el mismo instrumento. Todos tocan “predecir el futuro desde el pasado”, pero difieren en cómo leen la partitura (tokenización), cómo está dispuesta la banda (arquitectura), si tocan una voz o muchas a la vez (uni- vs multivariante), y si te entregan una sola nota o un acorde entero de posibilidades (salida probabilística).

Comparación precisa.

Unas cuantas cosas para leer de la tabla. TimesFM y Lag-Llama son ambos solo-decodificador (el stack causal estilo GPT), pero TimesFM hace patching de la serie cruda mientras Lag-Llama alimenta características rezagadas (el valor en el rezago 1, 7, 30, …) — metiendo la estacionalidad directamente en la entrada, y luego encabezando una t de Student para capturar colas gruesas. Chronos es el bicho raro: al cuantizar en un vocabulario llega a ser un modelo de lenguaje, heredando todo ese ecosistema, al precio del error de redondeo. Moirai es el especialista multivariante — puede atender a través de varias variables a la vez y elige entre tamaños de parche, lo cual importa cuando tus series vienen a frecuencias distintas.

Ejemplo resuelto — eligiendo del linaje. Debes predecir 200 series de materias primas correlacionadas conjuntamente, donde el movimiento de una serie informa al de otra. TimesFM/Chronos/Lag-Llama univariantes predecirían cada una en aislamiento, ignorando la estructura entre series. El diseño de cualquier-variable de Moirai está construido precisamente para atender a través de las 200 series juntas — la elección natural. Dale la vuelta a la tarea hacia una sola serie muy larga, de colas gruesas, donde te importa el riesgo de cola, y la cabeza t de Student de Lag-Llama se gana su sitio.

Cuándo usar cuál

Usa TimesFM como una base univariante general sólida con cuantiles limpios; Chronos cuando quieras cabalgar la cadena de herramientas de modelos de lenguaje y tolerar la cuantización; Moirai cuando el problema sea genuinamente multivariante o multi-frecuencia; Lag-Llama cuando la estacionalidad sea fuerte y las colas gruesas y quieras un modelo abierto, t de Student. Ninguna de estas elecciones, ojo, cambia el hecho incómodo que viene a continuación: en qué fueron entrenados.

Los corpus de preentrenamiento — miles de millones de puntos, casi ninguno parecido a un mercado

La analogía. Imagina entrenar a un sumiller campeón haciéndole catar millones de vasos de — agua. Agua mineral, agua con gas, agua del grifo de cuarenta ciudades. Se volverá extraordinario distinguiendo aguas. Luego le pides que califique un Burdeos. La habilidad que construyó es real y profunda, pero se construyó sobre la distribución equivocada. Los corpus de modelos fundacionales son océanos de series bien comportadas — y los rendimientos son el Burdeos.

Enunciado preciso. Los corpus de preentrenamiento (piensa en las mezclas estilo LOTSA / Chronos) agregan miles de millones de puntos temporales a través de energía (carga eléctrica), clima, tráfico, demanda minorista/web, transporte, y una pizca de finanzas. La propiedad definitoria de la mayoría de estos dominios es la alta relación señal-ruido: la carga eléctrica tiene una estacionalidad diaria-y-semanal atronadora que puedes predecir dormido; el tráfico y la demanda están fuertemente autocorrelacionados y son regulares. Los rendimientos financieros son lo contrario — casi eficientes, dominados por ruido impredecible, no estacionarios entre regímenes (el brutal régimen de baja SNR del curso de deep learning). Así que dos problemas se apilan:

1. Cobertura: las series parecidas a un mercado son una rebanada diminuta del corpus, así que el modelo gastó casi nada de su capacidad aprendiendo sus dinámicas.
2. Incluso donde están presentes, baja SNR: la fracción financiera es el dato más difícil posible del que extraer un patrón transferible — a menudo no hay un patrón estable que aprender.

Ejemplo resuelto — la mezcla está desequilibrada. Supón que un corpus tiene 10 mil millones de puntos, repartidos aproximadamente: energía 35%, tráfico 20%, clima 15%, demanda/web 25%, finanzas 5%. Eso son $0.05 \times 10\text{B} = 500$ millones de puntos financieros — suena enorme. Pero “financiero” aquí es mayormente precios, mucho de ello de baja frecuencia, y los rendimientos que de verdad te importan cargan casi ninguna señal predecible por punto. Así que la fracción efectiva, relevante para el mercado y portadora de señal, de la que el modelo aprendió es mucho menor que el 5% — y lo poco que vio puede enseñar las lecciones equivocadas (una muestra de cripto en tendencia no es una ley estacionaria). Contrasta con 3,5 mil millones de puntos de carga eléctrica metronómica, donde cada punto refuerza una prior estacional limpia.

Cuándo importa más el desajuste de corpus

Si tu serie objetivo se parece al corpus — una predicción de demanda, una curva de carga, una métrica de negocio estacional bien comportada — el desajuste apenas muerde y la transferencia zero-shot puede ser excelente. Si tu objetivo es una sola serie de rendimientos adversarial, el desajuste de corpus es máximo y la prior preentrenada está en su terreno más débil. La regla de decisión es contundente: cuanto más se parezca tu serie a los dominios de entrenamiento, más deberías confiar en el modelo; cuanto más se parezca a rendimientos, más deberías testear antes de creer nada.

Cuándo un modelo fundacional de series temporales es la herramienta correcta

El compromiso, dicho llanamente. Un modelo fundacional de series temporales es una magnífica base de arranque en frío: pásale una serie nueva, bien comportada, con poca historia y produce una predicción calibrada, probabilística, en una pasada hacia delante, sin ajuste, sin cuidados. Eso es genuinamente útil y genuinamente nuevo. Pero la misma máquina, apuntada a una sola serie de rendimientos de baja SNR, se apoya en una prior construida desde la distribución equivocada — y “sin ajuste” ahora significa “sin oportunidad de adaptarse a cuán diferente del corpus es tu serie”.

Ejemplo resuelto — eligiendo en dos mesas. La Mesa A predice la demanda eléctrica de la próxima semana para 5.000 subestaciones, la mayoría con menos de dos meses de datos. Un modelo fundacional es casi ideal: parecido al corpus, arranque en frío, muchas series — exactamente sus fortalezas de la primera sección. La Mesa B predice el rendimiento de mañana para una acción de gran capitalización. Mismo modelo, terreno opuesto: una serie, SNR brutal, una prior entrenada sobre agua intentando calificar un Burdeos. La Mesa A debería desplegar la base zero-shot hoy; la Mesa B debería tratar cualquier backtest impresionante como culpable-hasta-que-se-demuestre-lo-contrario (el campo de minas de fuga de la lección 5, la evaluación honesta de la lección 6).

Cuándo usarlo

Usa un modelo fundacional de series temporales como tu primera, barata, zero-shot base siempre que tengas muchas series, historias cortas, o un arranque en frío — y especialmente cuando esas series se parezcan a los dominios estacionales, de alta SNR, en que fue entrenado. Sé profundamente escéptico con él como predictor autónomo de rendimientos de mercado sobre una sola serie adversarial; ahí el desajuste de corpus y el suelo de ruido conspiran contra la mismísima transferencia que lo hace poderoso en otros lugares. La siguiente lección precisa “zero-shot vs few-shot” y se pregunta si las leyes de escalado que elevan estos modelos sobre datos limpios los elevan sobre los mercados en absoluto.

Repaso