Zero-Shot, Few-Shot y Leyes de Escala

La lección 2 os puso en las manos un modelo fundacional para series temporales: una única red, preentrenada sobre un montón enorme de series no relacionadas, que apuntáis a un conjunto de datos completamente nuevo y a la que le pedís una predicción. Esta lección va de cómo lo usáis de verdad — y de cómo saber si la predicción que os devuelve vale algo.

Aquí hay un espectro de esfuerzo. En un extremo no hacéis nada: le dais al modelo una ventana de historia y leéis una predicción, sin entrenamiento de ningún tipo. Eso es zero-shot. En el otro extremo reentrenáis cada peso sobre vuestros datos objetivo — fine-tune completo. En medio está el punto interesante: few-shot e in-context learning, donde el modelo se adapta un poco sin que toquéis la mayoría de sus parámetros.

Y sobrevolándolo todo está la pregunta que todo quant acaba haciéndose sobre el deep learning: ¿ayuda ser más grande? Las leyes de escala dicen “sí, de forma predecible” — para la mayoría de los dominios. Veremos por qué las finanzas son la excepción brutal, y por qué una curva de escala que se aplana por encima del umbral de rentabilidad es una cinta de correr en la que puedes correr para siempre sin llegar a ningún sitio.

Empecemos por no hacer nada.

Predicción zero-shot

La analogía. Imaginad a una analista experimentada que ha leído diez mil gráficos de todos los mercados y sensores imaginables. Le deslizáis por la mesa un gráfico completamente nuevo — uno que nunca ha visto, de un sector que no reconoce — y le preguntáis: “¿qué viene después?”. No se va a estudiarlo durante una semana. Le echa un vistazo a la forma, reconoce la estacionalidad, la tendencia, la textura del ruido, y esboza la continuación en frío. Esa lectura en frío, apoyándose solo en patrones absorbidos en otros sitios, es la predicción zero-shot. Sin deberes, sin ajuste — pura transferencia de patrones.

Definición precisa. Una predicción zero-shot pasa una ventana de contexto $x_{1:L}$ (las últimas $L$ observaciones de una serie objetivo) a un modelo preentrenado congelado $f_\theta$ y produce una predicción $\hat{x}_{L+1:L+H}$ sobre un horizonte $H$, sin actualizar $\theta$. El modelo nunca ha entrenado sobre esta serie; generaliza puramente a partir de la estructura que aprendió durante el preentrenamiento. Contrastad esto con el flujo de trabajo clásico, donde ajustáis un ARIMA nuevo o entrenáis un LSTM nuevo sobre esta serie exacta antes de poder predecirla.

¿Cómo sabéis si la predicción es buena? Necesitáis un benchmark, y “error bajo” en unidades crudas no significa nada entre series con escalas distintas. La vara de medir libre de escala estándar es el MASE.

MASE: el benchmark de error escalado

El Error Absoluto Escalado Medio (Mean Absolute Scaled Error) compara el error de vuestra predicción con el error de una baseline ingenua muy simple — normalmente la predicción ingenua estacional, que simplemente predice “lo mismo que hace una estación”. Formalmente, para una predicción $\hat{y}_t$ frente a los valores reales $y_t$:

$\text{MASE} = \frac{\frac{1}{H}\sum_{t} |y_t - \hat{y}_t|}{\frac{1}{n-m}\sum_{i=m+1}^{n} |y_i - y_{i-m}|}$

El numerador es el MAE de vuestra predicción sobre el horizonte de test. El denominador es el MAE de la predicción ingenua estacional calculado sobre el conjunto de entrenamiento (prediciendo cada punto con el valor $m$ pasos antes, donde $m$ es el periodo estacional). El cociente no tiene unidades, así que podéis promediarlo entre miles de series de escalas radicalmente distintas.

La lectura es brutalmente simple:

• MASE < 1 → bates a la baseline ingenua (bien).
• MASE = 1 → empatas con la baseline ingenua (no aportaste nada).
• MASE > 1 → eres peor que simplemente repetir la estación anterior (vergonzoso).

Ejemplo resuelto — calcular un MASE. Supongamos una serie no estacional ($m=1$, así que la predicción ingenua es “el valor de ayer”). Sobre el conjunto de entrenamiento de 6 puntos $[10, 12, 11, 14, 13, 15]$, los errores ingenuos a un paso son las diferencias absolutas consecutivas:

$|12-10|, |11-12|, |14-11|, |13-14|, |15-13| = 2, 1, 3, 1, 2$

Su media es $(2+1+3+1+2)/5 = 9/5 = 1.8$. Ese es el denominador — el error típico de la baseline ingenua sobre esta serie.

Ahora el modelo predice los siguientes 3 puntos. Los valores reales resultan ser $[16, 14, 17]$; la predicción zero-shot fue $[15.5, 14.5, 16.0]$. Sus errores absolutos son $|16-15.5|, |14-14.5|, |17-16.0| = 0.5, 0.5, 1.0$, media $= 2.0/3 = 0.667$. Ese es el numerador.

$\text{MASE}_{\text{zero-shot}} = \frac{0.667}{1.8} = 0.37$

Un MASE de 0.37 significa que el error medio de la predicción zero-shot es alrededor de un tercio del de la baseline ingenua — una victoria clara y real. Comparad una predicción más torpe $[14, 14, 14]$ (simplemente adivinando el último valor de entrenamiento): sus errores son $|16-14|, |14-14|, |17-14| = 2, 0, 3$, media $= 5/3 = 1.667$, dando $\text{MASE} = 1.667/1.8 = 0.93$ — apenas mejor que la ingenua. El MASE os dice al instante qué predicción se ganó de verdad el sueldo.

Cuándo usarlo

Echad mano del zero-shot lo primero siempre que queráis una baseline rápida y sin ajuste o simplemente no podáis ajustar un modelo por serie — un activo nuevo con tres semanas de historia, o diez mil series que no podéis vigilar individualmente. También es el control honesto: antes de gastar una semana haciendo fine-tuning, comprobad si el modelo congelado ya hace el trabajo. La pega es que el zero-shot solo puede explotar estructura que se parezca a su preentrenamiento; una serie con dinámicas genuinamente nuevas (o, como veremos, casi sin estructura) recibe una lectura en frío mediocre y ninguna cantidad de esfuerzo “cero” lo arregla.

El espectro de adaptación

La analogía. Contratar a una consultora. Zero-shot es pedirle que opine sobre tu problema en frío, usando solo su experiencia previa. Few-shot es darle un informe de una página con tres ejemplos resueltos antes de que responda — se adapta sobre la marcha sin que la reprogrames. Fine-tune completo es mandarla de vuelta a la escuela un semestre sobre tu negocio en concreto: máxima personalización, máximo coste, y un riesgo real de que olvide todo lo demás (olvido catastrófico) o que simplemente memorice tus tres casos de estudio (sobreajuste).

Definiciones precisas.

• Zero-shot. Sin actualizaciones de pesos. Entra la ventana de contexto, sale la predicción.
• Few-shot. Una pequeña cantidad de adaptación: o bien un puñado de ejemplos en contexto añadidos al prompt/contexto (sin cambio de pesos — eso es in-context learning, próxima sección), o un fine-tune ligero que toca solo un pequeño subconjunto de parámetros (una capa final, un adaptador LoRA, un ajuste solo de sesgos) sobre unos pocos ejemplos etiquetados.
• Fine-tune completo. Retropropagáis a todos los parámetros $\theta$ sobre vuestros datos objetivo, usando los pesos preentrenados solo como inicialización.

El compromiso a lo largo del espectro es el corazón de la lección:

Fijaos en la columna que más importa para las finanzas: el riesgo de sobreajuste sube según os movéis a la derecha, y las series de retornos financieros son exactamente el régimen de baja señal y pocas muestras donde ese riesgo muerde con más fuerza. Más adaptación no es automáticamente mejor — sobre datos ruidosos a menudo es peor, porque le has dado a un modelo flexible más cuerda para ajustar ruido (el problema del hambre de datos del curso de deep learning).

Cuándo usar cuál

Usad zero-shot para arranques en frío y secciones transversales masivas; few-shot / ajuste ligero cuando tengáis una cantidad modesta de datos objetivo limpios y relevantes y queráis un empujón sin una revisión que absorba ruido; fine-tune completo solo cuando tengáis de verdad datos objetivo abundantes y alineados y una tarea de alta SNR (pensad en microestructura con millones de snapshots, no en retornos diarios). Cuanto más a la derecha vayáis, más debéis demostrar que la adaptación ayuda fuera de muestra, porque la pérdida in-sample siempre os sonreirá.

In-context learning

La analogía. Le pedís a una amiga políglota que traduzca una frase a un dialecto en el que está oxidada. En lugar de mandarla a la escuela de idiomas (fine-tuning), le mostráis primero cinco traducciones de ejemplo. Estudia el patrón en el momento y clava la sexta — y luego lo olvida en cuanto la conversación avanza. Los cinco ejemplos fueron un diminuto conjunto de entrenamiento desechable que vivió enteramente en su atención a corto plazo. Eso es in-context learning (ICL): el modelo trata el contexto como un conjunto de entrenamiento en tiempo de inferencia, adaptando su salida sin que nada de ello se pegue a sus pesos.

Enunciado preciso. Dado un contexto que contiene $k$ pares de demostración $(x_1, y_1), \dots, (x_k, y_k)$ seguidos de una consulta $x_{\text{query}}$, el modelo produce $\hat{y}_{\text{query}}$ condicionado a todos ellos a través de un único forward pass. El hallazgo empírico notable (y un área de investigación activa) es que los grandes modelos de secuencia preentrenados se comportan como si hubieran ejecutado un algoritmo de aprendizaje sobre esos $k$ pares internamente — y sin embargo $\theta$ permanece intacto. Para un modelo fundacional de series temporales, las “demostraciones” suelen ser simplemente la propia ventana de contexto: la historia reciente es el diminuto conjunto de entrenamiento sobre el que el modelo condiciona su continuación.

Intuición resuelta — longitud de contexto sobre una serie ruidosa. Supongamos que una serie es 90% ruido, 10% señal, y extendéis la ventana de contexto de 64 a 512 observaciones esperando “mostrarle más al modelo”. Sobre una serie limpia y casi estacionaria, más contexto significa más patrón genuino al que agarrarse — la precisión mejora. Sobre una serie de retornos casi eficiente, las 448 observaciones extra son abrumadoramente ruido: aproximadamente $0.9 \times 448 \approx 403$ de ellas no llevan estructura predecible. No habéis enriquecido el diminuto conjunto de entrenamiento con señal; lo habéis diluido con distractores, y el modelo puede “aprender” espuriamente un patrón a partir del ruido que no se repetirá. Un contexto más largo ayuda solo en proporción a la densidad de señal de lo que añadís.

Cuándo usarlo

El prompting in-context / few-shot brilla cuando tenéis unos pocos ejemplos limpios y representativos y queréis adaptación con cero infraestructura de entrenamiento — sin optimizador, sin checkpoint, sin riesgo de olvido catastrófico, e iteración instantánea. Es el valor por defecto natural para el arranque en frío y el prototipado rápido. Se desvanece exactamente donde la densidad de señal es baja: amontonar más contexto sobre una serie de retornos ruidosa le da al modelo más ruido, no más ventaja.

Leyes de escala

La analogía. Pulir una lente. Las primeras horas de pulido afilan la imagen de forma espectacular. Seguid y cada hora adicional ayuda menos — y ninguna cantidad de pulido bate el límite de difracción fijado por la física: hay un suelo de borrosidad que simplemente no podéis eliminar lijando. El escalado neuronal es lo mismo. Echad más parámetros, datos y cómputo y la pérdida sigue cayendo a lo largo de una curva suave de ley de potencias — pero con retornos decrecientes, y toca fondo en un suelo irreducible $L_\infty$ fijado por cuánta señal contiene el problema. Podéis pulir para siempre; no podéis batir el límite de difracción.

Forma precisa. Una parametrización común de la ley de escala en tamaño de modelo $N$ (manteniendo datos/cómputo abundantes) es:

$L(N) = L_\infty + \left(\frac{N_c}{N}\right)^{\alpha}$

donde $L(N)$ es la pérdida de test con $N$ parámetros, $L_\infty$ es la pérdida irreducible (el suelo de entropía — la parte que ningún modelo puede eliminar jamás), $N_c$ es una constante de escala específica del problema, y $\alpha > 0$ es el exponente de escala (la pendiente de la curva de retornos decrecientes). Kaplan et al. (2020) encontraron tales leyes de potencias abarcando muchos órdenes de magnitud en lenguaje; Hoffmann et al. (2022, “Chinchilla”) refinaron el balance óptimo en cómputo, mostrando que muchos modelos estaban sobredimensionados e infraentrenados — deberíais escalar datos y parámetros a la vez.

Ejemplo resuelto — retornos decrecientes. Tomad $L_\infty = 0.5$, $N_c = 10^6$, $\alpha = 0.5$ (así que el término reducible es $\sqrt{N_c/N}$):

Ir de $10^4$ a $10^6$ parámetros (×100) recortó la pérdida en 9.0. El siguiente ×100 (a $10^8$) compró solo 0.9. El siguiente ×100 compró 0.09. Cada aumento de escala de 100× entrega una décima parte de la mejora anterior, y la curva se arrastra visiblemente hacia $L_\infty = 0.5$. Esa asíntota es toda la historia para las finanzas.

¿Se cumplen las leyes de escala sobre datos de mercado?

Aquí está la pregunta letal. En lenguaje y visión, $L_\infty$ es pequeña — hay una estructura aprendible enorme, así que escalar compensa durante un largo, larguísimo trecho antes de que el suelo muerda. Los mercados son distintos. Un mercado casi eficiente tiene, casi por construcción, un suelo irreducible enorme: los retornos del siguiente periodo están cerca de una martingala, así que la entropía del objetivo es casi máxima y el componente predecible es minúsculo. La ley de escala sigue cumpliéndose — la pérdida sigue cayendo como una ley de potencias — pero se aplana en $L_\infty$ mucho antes de que ese suelo sea lo bastante bajo como para operar rentablemente.

El argumento del suelo de ruido, lado a lado. Imaginad la misma ley de escala $L(N) = L_\infty + (N_c/N)^\alpha$ en dos dominios:

Sobre retornos, podéis multiplicar por 100 vuestros parámetros y vuestros datos, deslizaros por la curva de ley de potencias exactamente como promete la matemática, y aun así aterrizar en una pérdida que está por encima del umbral donde una estrategia gana dinero tras costes. El modelo se vuelve “mejor” en pérdida mientras sigue siendo inútil en P&L, porque el suelo al que se acerca lo fija la casi eficiencia del mercado, no vuestro presupuesto de cómputo.

Cuándo escalar merece el cómputo

Escalad cuando el suelo sea bajo y estéis por encima de él — es decir, hay estructura aprendible abundante y vuestra pérdida actual está lejos de $L_\infty$, así que la siguiente duplicación aún compra precisión real. Eso describe tareas de alta SNR y ricas en datos (nowcasting de microestructura, estructura transversal con millones de muestras) mucho mejor que los retornos diarios de un único activo líquido. La prueba honesta antes de gastar el presupuesto de GPU: estimad dónde se sitúa $L_\infty$ respecto a vuestro umbral de rentabilidad. Si no podéis demostrar que el suelo está por debajo del umbral, escalar es la cinta de correr — y un modelo más pequeño y barato os lleva al mismo ningún sitio.

Cuándo merece la pena probar zero-shot / few-shot

Juntar el espectro y el argumento de escala da una regla de decisión limpia. El zero-shot y el few-shot se ganan el sueldo donde los datos son la restricción vinculante y el suelo es alcanzable — y decepcionan exactamente donde el mercado es más eficiente.

Echad mano del zero-shot / few-shot cuando:

NO echéis mano de él cuando: estéis intentando exprimir alpha de una única serie de retornos líquida, muy arbitrada y de baja SNR. Ese es el peor caso en todos los ejes — el suelo irreducible es enorme (casi eficiencia), cualquier estructura ha sido arbitrada por ejércitos de competidores, y un modelo congelado entrenado sobre series no relacionadas no tiene ningún derecho especial sobre el residuo. Aquí el modelo fundacional es, en el mejor de los casos, otro predictor mediocre de algo impredecible, y las leyes de escala prometen que no mejorará con el tamaño.

El compromiso en una línea

El zero-shot/few-shot cambia transferencia por ajuste: renunciáis al entrenamiento a medida por serie a cambio de predicciones instantáneas y sin ajuste impulsadas por el preentrenamiento. Ese cambio es un chollo cuando no tenéis datos que ajustar (arranque en frío, ilíquido, amplitud enorme) y una apuesta de pringado cuando la restricción real no son los datos sino la propia eficiencia del mercado. Emparejad la herramienta con la restricción vinculante — escasez de datos, sí; suelo de entropía, nunca.

Recapitulación