La apuesta de preentrenar y adaptar

Durante una década, la receta del aprendizaje automático en finanzas parecía un proyecto artesanal: eliges una tarea, etiquetas a mano un conjunto de datos para exactamente esa tarea, entrenas un modelo desde cero, lo despliegas y empiezas de nuevo desde el principio para la siguiente tarea. ¿Quieres predecir la volatilidad? Construyes un modelo de volatilidad. ¿Quieres clasificar regímenes? Construyes un modelo de regímenes. Nada se reaprovechaba. Cada problema era una isla, y pagabas el billete completo para colonizar cada una.

Entonces el lenguaje, la visión y la meteorología pasaron sigilosamente a una receta distinta — preentrena un único modelo grande sobre una montaña de datos amplios una vez, y luego adapta barato ese mismo modelo a docenas de tareas posteriores. Funcionó de forma tan espectacular que “modelo fundacional” se convirtió en la manera por defecto de construir. Este curso plantea la única pregunta que nos importa: ¿sale a cuenta esa apuesta cuando la tarea posterior es un mercado financiero? Esta primera lección monta el envite — qué es un modelo fundacional, por qué la economía es seductora, y exactamente qué supuesto están a punto de violar los mercados. Las lecciones 2–6 lo someten luego a tensión con modelos reales (Chronos, TimesFM, Moirai, Lag-Llama), leyes de escalado, trampas de fuga y evaluación honesta.

Definamos la apuesta antes de calificarla.

Qué es realmente un modelo fundacional

La analogía. La vieja receta es contratar a un especialista nuevo para cada enfermedad que cruza la puerta — un cardiólogo para el dolor de pecho, un dermatólogo aparte para un sarpullido, cada uno entrenado desde cero solo en su parcela. Un modelo fundacional es el residente generalista curtido que ha rotado por todas las plantas y ha visto decenas de miles de casos. Todavía no conoce a vuestro paciente, pero entra cargando un vasto sentido transferible de cómo funcionan los cuerpos — y un briefing corto (“aquí está la historia clínica de este paciente”) basta para ponerlo a trabajar. La educación cara ocurrió una vez; cada caso nuevo es una adaptación barata.

Definición precisa. El término viene de Bommasani et al. (Stanford, 2021): un modelo fundacional es un modelo entrenado sobre datos amplios a gran escala (normalmente con autosupervisión) que puede adaptarse — afinarse, instruirse mediante prompts o usarse en zero-shot — a un amplio rango de tareas posteriores. Dos cláusulas hacen todo el trabajo: preentrenamiento amplio (un modelo, montones de datos genéricos, sin ninguna tarea concreta en mente) y adaptación (especializar barato ese único modelo a muchas tareas concretas).

Las dos recetas, lado a lado. El cambio va de un conjunto etiquetado → un modelo → una tarea a una corrida gigante de preentrenamiento → un modelo compartido → muchas tareas:

La palabra “fundacional” es deliberada: el modelo preentrenado pretende ser la capa base sobre la que se construye todo lo demás, no el edificio terminado.

Cuándo usarlo

El encuadre de preentrenar-y-adaptar se gana su sitio cuando te enfrentas a muchas tareas relacionadas que plausiblemente comparten estructura, y los datos etiquetados para cualquier tarea concreta son escasos o caros. Si solo tienes una tarea y dispones de etiquetas limpias y abundantes para ella, un modelo enfocado desde cero es más sencillo y te ahorras toda la apuesta. El valor del encuadre escala con el número de tareas y la estructura compartida — que es exactamente la economía que precisamos a continuación.

La economía de dos fases: amortización

La analogía. La amortización es la lógica de un abono de temporada. Un forfait suelto es barato; un abono de temporada cuesta una fortuna por adelantado pero casi nada por día después. ¿Un fin de semana esquiando? Compra forfaits de día. ¿Cuarenta días? El abono es un chollo. Un modelo fundacional es un abono de temporada para tareas de ML: un coste fijo de preentrenamiento brutal, y luego entrada casi gratis a cada tarea nueva. Que el abono le gane a los forfaits de día depende por completo de cuántos días vayas a esquiar — es decir, de cuántas tareas posteriores tengas.

Modelo preciso. Sea $N$ el número de tareas posteriores. Divide los costes en dos regímenes:

• Desde cero: un coste fijo de entrenamiento por tarea $c$, pagado en cada tarea, sin compartir nada. El coste total es puramente lineal: $C_{\text{scratch}}(N) = c\,N.$
• Modelo fundacional: un coste de preentrenamiento único $P$, pagado una vez sin importar $N$, más un pequeño coste marginal de adaptación $a$ por tarea: $C_{\text{found}}(N) = P + a\,N.$

La recta del modelo fundacional arranca alta (debes $P$ antes de la tarea uno) pero sube despacio (pendiente $a \ll c$). La recta del desde-cero arranca en cero pero sube empinada (pendiente $c$). Dos rectas, pendientes e interceptos distintos — se cruzan.

Despejando el cruce. El modelo fundacional gana cuando $C_{\text{found}}(N) < C_{\text{scratch}}(N)$: $P + aN < cN \quad\Longrightarrow\quad N > \frac{P}{c - a}.$

Ejemplo resuelto — enseña la aritmética. Usa las unidades ilustrativas $c = 10$, $P = 40$, $a = 1$.

• Desde cero sobre $N$ tareas: $C_{\text{scratch}}(N) = 10N$.
• Fundacional sobre $N$ tareas: $C_{\text{found}}(N) = 40 + N$.

Iguálalas para hallar el punto de equilibrio: $10N = 40 + N \Rightarrow 9N = 40 \Rightarrow N = 40/9 \approx 4{,}44$. Como no puedes tener una tarea fraccionaria, el modelo fundacional se vuelve más barato en $N = 5$ y más allá. Tabulémoslo para concretar el cruce:

Con $N = 20$ el modelo fundacional cubre las veinte tareas por 60 unidades mientras que la vía del desde-cero quema 200 — más de 3× más barato, y la brecha se ensancha para siempre a partir de ahí. Arrastra el deslizador de abajo y observa cómo las barras se intercambian justo en el cruce.

Cuándo usarlo

La apuesta de la amortización merece la pena cuando $N$ es grande y la adaptación por tarea produce genuinamente un modelo competitivo — muchas tareas relacionadas, transferencia barata, estructura compartida. Es una mala apuesta cuando $N$ es minúsculo (nunca alcanzas el cruce) o cuando la transferencia es tan débil que los modelos adaptados rinden por debajo de los hechos a medida (alcanzas el cruce en coste pero pierdes en calidad). Los mercados, ya lo veremos, amenazan ambas condiciones a la vez.

Por qué preentrenar-y-adaptar conquistó el lenguaje, la visión y la meteorología

La analogía. Imagina aprender un idioma recibiendo cada libro jamás escrito con la última palabra de cada frase tapada, y que te pidan adivinarla — miles de millones de veces. Nunca pagarías a un profesor; el texto se corrige solo. Eso es la autosupervisión: los datos contienen en secreto su propia hoja de respuestas. Predice el siguiente token, y el siguiente token real te dice si acertaste. Enmascara un parche de una imagen, y los píxeles originales son la respuesta. De repente los “datos etiquetados” son infinitos, porque cada ejemplo crudo es un ejemplo etiquetado.

Los tres ingredientes que hicieron explotar la receta. Preentrenar-y-adaptar no ganó solo por su ingenio. Ganó allí donde se daban a la vez tres condiciones:

1. Etiquetas gratis vía autosupervisión. Siguiente token (lenguaje), parche enmascarado (visión), siguiente estado (meteorología) — sin necesidad de anotación humana, así que los datos de preentrenamiento son en la práctica ilimitados.
2. Datos abundantes. Texto a escala web, miles de millones de imágenes, décadas de campos meteorológicos de reanálisis en rejilla. El coste fijo de preentrenamiento $P$ compra una representación solo si hay una montaña de datos de la que aprenderla.
3. Estructura casi estacionaria. Este es el héroe silencioso. La gramática de hoy funciona como la gramática del año que viene. Los bordes y texturas de un gato no mutan cuando cambias de conjunto de datos. La física atmosférica obedece las mismas ecuaciones para siempre. Como el proceso generador de datos es estable, una representación aprendida durante el preentrenamiento todavía describe el mundo en el momento de la adaptación — así que se transfiere.

Por qué la estacionariedad es el muro de carga. La transferencia es toda la premisa de la amortización: la representación preentrenada solo ayuda a una tarea nueva si la tarea nueva se parece a aquello sobre lo que se preentrenó. Cuando las reglas subyacentes no derivan, ese “se parece” se mantiene. La estacionariedad es lo que permite que una representación aprendida ayer sea válida mañana. Quita ese muro y toda la estructura — economía incluida — se desploma.

Fíjate en que las tres primeras filas comparten los tres ingredientes, y la cuarta — mercados — falla en el que más importa. Esa única celda roja es de lo que va el resto de este curso.

Cuándo usarlo

Recurre al preentrenar-y-adaptar autosupervisado cuando estén presentes los tres ingredientes: etiquetas gratis, datos abundantes y un proceso generador estable para que la representación se transfiera. Si falta cualquiera, la receta se debilita. Si falta la estacionariedad en particular, la economía sigue pareciendo atractiva (el cruce de coste es real) mientras la calidad se evapora en silencio (la transferencia falla) — el modo de fallo más peligroso, porque la hoja de cálculo dice que sí mientras los resultados fuera de muestra dicen que no.

El espectro de adaptación (un anticipo)

Una vez tienes un modelo preentrenado, “adaptarlo a una tarea” es un espectro, no un único movimiento. Tres hitos, una frase cada uno (la lección 3, Zero-Shot, Few-Shot y leyes de escalado, profundiza en todos ellos):

• Zero-shot — ejecuta el modelo preentrenado sobre la tarea nueva con cero ejemplos específicos de la tarea; te apoyas por completo en lo que el preentrenamiento ya aprendió. El más barato, el más exigente con la transferencia.
• Few-shot — enséñale al modelo un puñado de ejemplos etiquetados (en contexto o mediante un ajuste ligero) para empujarlo hacia la tarea. Un punto intermedio.
• Afinado completo — actualiza los pesos del modelo sobre un conjunto de datos específico de la tarea, especializándolo al máximo pero arriesgando el sobreajuste sobre datos financieros pequeños y ruidosos.

Cuanto más a la izquierda te sitúes (zero-shot), más estás apostando por la transferencia pura; cuanto más a la derecha (afinado completo), más datos de tarea necesitas y más arriesgas el problema de la voracidad de datos del curso anterior. El coste de adaptación $a$ de nuestra economía crece a medida que te mueves a la derecha.

La tensión central con los mercados

Aquí es donde la apuesta se topa con su mesa más dura. La amortización te compra modelos baratos; solo te compra modelos baratos buenos si la representación se transfiere, y la transferencia necesita que la tarea objetivo se parezca a la distribución de preentrenamiento. Los mercados atacan ese parecido desde tres direcciones a la vez.

1. No estacionariedad — las reglas derivan. El proceso generador de datos de los mercados no es fijo. Los regímenes de volatilidad cambian, las correlaciones se rompen en las crisis, la política de los bancos centrales reescribe el guion, la estructura del mercado evoluciona (decimalización, trading de alta frecuencia, nuevos centros de negociación). Una representación aprendida sobre 2010–2015 puede describir un mercado que ya no existe en 2026. A diferencia de la gramática o la física, aquello sobre lo que preentrenaste se movió.

2. Reflexividad adversarial — tu ventaja se decae a medida que otros la encuentran. Las finanzas son el único dominio donde usar un patrón lo destruye. Si una señal predice retornos de verdad, los traders se amontonan, empujan los precios y arbitran la ventaja hasta hacerla desaparecer. Esto es la presión de mercado eficiente hecha concreta: el acto de explotar la estructura retroalimenta y la borra. Un gato no aprende a esconder sus bordes porque un modelo de visión se haya vuelto bueno encontrándolos; un mercado absolutamente aprende a esconder su alfa porque el modelo de todos se ha vuelto bueno encontrándola.

Ejemplo resuelto — una ventaja amontonándose hasta morir. Supón que una señal gana un retorno excedente bruto de $r_0 = 8\%$ anual cuando solo tú la operas. Conforme entra capital amontonándose, la ventaja se decae geométricamente — digamos que se encoge en un factor de $0{,}7$ cada año a medida que los competidores la descubren: $r_t = r_0 \cdot 0.7^{\,t}.$ Entonces año a año: $r_0 = 8{,}0\%$, $r_1 = 8 \times 0.7 = 5{,}6\%$, $r_2 = 8 \times 0.49 = 3{,}92\%$, $r_3 = 8 \times 0.343 = 2{,}74\%$, $r_4 = 8 \times 0.2401 = 1{,}92\%$. Ahora resta un coste de trading todo-incluido realista de, digamos, $2\%$ anual. La ventaja neta es $r_t - 2\%$: es $+6{,}0\%$ en el año 0, pero para el año 4 es $1{,}92\% - 2\% = -0{,}08\%$ — negativa. La señal no solo se desvaneció; seguir operándola ahora pierde dinero. Un modelo fundacional que aprendió este patrón durante el preentrenamiento seguirá emitiéndolo con confianza mucho después de que el mercado lo haya arbitrado hasta convertirlo en un lastre que sangra costes. El patrón era real en la ventana de preentrenamiento e inútil — incluso dañino — en el despliegue.

3. Relación señal-ruido brutalmente baja. Incluso donde existe estructura, está enterrada. Los retornos diarios están dominados por ruido impredecible; el componente predecible es una astilla. Una representación preentrenada para “predecir el siguiente retorno” está mayormente ajustando ruido, porque el ruido es la mayor parte de lo que hay. Este es el problema de la voracidad de datos y la baja relación señal-ruido del curso anterior de aprendizaje profundo, heredado por entero.

Así que la geometría de la apuesta es limpia y su premisa es precisamente lo que los mercados rompen. Las rectas de coste siguen cruzándose — preentrenar-y-adaptar es genuinamente más barato a escala. Pero “más barato” solo se convierte en “mejor” a través de la transferencia, y la transferencia necesita un objetivo estable, no adversarial y rico en señal. Los mercados son no estacionarios, adversariales y de baja relación señal-ruido. Eso no es una razón para abandonar la apuesta — es la razón por la que existe este curso: encontrar dónde la apuesta sí sale a cuenta (a veces lo hace) y evaluarla con la honestidad suficiente para no engañarnos.

Cuándo merece la pena la apuesta de preentrenar-y-adaptar vs. cuándo no

Se reduce a un compromiso limpio entre número de tareas + estructura compartida (que favorecen la apuesta) y no estacionariedad + decaimiento adversarial + baja relación señal-ruido (que la hunden):

Merece la pena cuando tienes muchas tareas relacionadas que comparten estructura y los datos son baratos — p. ej., predecir muchas series temporales de referencia a la vez, donde montones de series comparten dinámicas de estacionalidad y tendencia (precisamente donde TimesFM, Chronos, Moirai y Lag-Llama de la lección 2 realmente brillan). Dudoso cuando el objetivo es una única serie de retornos fuertemente arbitrada y no estacionaria, y estás apostando toda la ventaja a una representación aprendida de un pasado móvil y adversarial. La respuesta honesta es “depende, y debes medirlo sin engañarte” — que es por lo que existen las lecciones 5 (fuga) y 6 (evaluación).

Repaso