La evaluación honesta: ¿sobrevive algo de todo esto?

Cinco lecciones después, habéis aceptado la apuesta de preentrenar-y-adaptar (lección 1), conocido los modelos fundacionales de series temporales y su comportamiento zero-shot, few-shot y de escalado (lecciones 2–3), empuñado los LLM como herramientas de investigación y fuentes de señal (lección 4) y acabáis de pasaros una lección entera aprendiendo cómo la fuga de datos puede falsear en silencio cada resultado que producís (lección 5). Ahora llega el ajuste de cuentas.

Esta es la lección donde dejamos de impresionarnos con los rankings y nos hacemos la única pregunta que paga el alquiler: ¿sobrevive algo de esto al contacto con un mercado real, adversarial y no estacionario — neto de costes, deflactado por la suerte y libre de fugas? Los modelos fundacionales son genuinamente útiles en finanzas. También son hierba gatera para los demasiado entusiastas. La diferencia entre esas dos frases es una evaluación honesta, y eso es lo que vamos a construir aquí, ladrillo a ladrillo, como síntesis de todo el curso.

Saldemos la cuenta.

Rearmar la disciplina

La analogía. Imagina un casino donde 500 jugadores lanzan cada uno una moneda justa 100 veces, y coronas «campeón» a quien saque más caras. El campeón parecerá dotado — quizá 65 caras de 100 — pero no tiene ninguna habilidad; es simplemente el más afortunado de 500. Si solo entrevistas al ganador, concluirás que lanzar monedas es un arte que se aprende. Hacer backtest de un modelo fundacional a través de cientos de arquitecturas, longitudes de contexto y recetas de fine-tuning es exactamente ese casino, y el ratio de Sharpe deflactado es el portero que pide al campeón que demuestre que es mejor que el baseline del más-afortunado-de-500.

Herramienta 1 — el ratio de Sharpe deflactado. Heredado de Machine Learning para Alfa. El hecho central: si pruebas $N$ estrategias independientes que tienen todas ventaja real cero, el máximo esperado de sus ratios de Sharpe in-sample no es cero — crece con $N$. Una regla del pulgar útil para el listón (en unidades tipo Sharpe anualizado, cuando la dispersión de los ensayos ronda 1) es

$\text{listón}(N) \approx \sigma_{SR}\,\sqrt{2 \ln N},$

donde $\sigma_{SR}$ es la dispersión de las estimaciones de Sharpe entre ensayos. Tu ventaja deflactada es el mejor Sharpe observado menos este listón. Si es $\le 0$, tu «ganador» es estadísticamente indistinguible del trader-ruidoso más afortunado de la sala.

Ejemplo resuelto — deflactar una búsqueda de modelo fundacional de 500 ensayos. Hiciste fine-tuning y backtest de $N = 500$ configuraciones (arquitecturas × ventanas de contexto × rangos de adaptador) sobre el mismo histórico de precios, con dispersión de ensayos $\sigma_{SR} \approx 1$. Calcula el listón:

$\ln 500 = 6.215, \qquad 2 \ln 500 = 12.43, \qquad \sqrt{12.43} = 3.52.$

Así que el listón de la suerte ronda 3,5. El Sharpe in-sample de tu campeón fue $2.8$. Ventaja deflactada $= 2.8 - 3.5 = -0.7$. Negativa. Ese deslumbrante 2,8 está por debajo de lo que 500 estrategias inservibles producirían por azar — no es alfa, es el casino. Para sobrevivir, tu mejor configuración habría necesitado un Sharpe in-sample cómodamente por encima de 3,5, o habrías necesitado ejecutar muchísimos menos ensayos.

Herramienta 2 — validación cruzada purgada y con embargo. Heredada del mismo kit de herramientas y reforzada por la lección 5. La validación cruzada k-fold estándar baraja las filas, lo cual es una catástrofe para las series temporales: una fila de entrenamiento de mañana puede sentarse junto a una fila de test de hoy, filtrando el futuro. El arreglo tiene dos partes:

• Purga — descartar las observaciones de entrenamiento cuyo horizonte de etiqueta se solape con el conjunto de test. Si una etiqueta se construye a partir de una ventana hacia adelante (p. ej. el rendimiento de los próximos 5 días), cualquier muestra de entrenamiento cuya ventana hacia adelante alcance el periodo de test está contaminada y debe eliminarse.
• Embargo — tras cada fold de test, saltarse un colchón de observaciones antes de reanudar el entrenamiento, para que la correlación serial y las características de movimiento lento no filtren información del test al siguiente bloque de entrenamiento.

Para los modelos fundacionales lo que está en juego es mayor, porque el corpus de preentrenamiento del modelo puede contener ya tu ventana de test — una fuga que ninguna CV ingeniosa puede arreglar si no controlas el corte temporal del preentrenamiento (la advertencia central de la lección 5). La CV purgada con embargo protege la división de fine-tuning y evaluación; un corte limpio de preentrenamiento protege todo lo que hay debajo.

Cuándo usarlo

Aplica ambas herramientas a cada evaluación de modelo fundacional, siempre — no son extras opcionales para los paranoicos. Echa mano del Sharpe deflactado en el momento en que hayas comparado más de una configuración (que es siempre), y de la CV purgada con embargo siempre que las etiquetas tengan un horizonte hacia adelante o las características estén correlacionadas serialmente (que es siempre, en los mercados). El único momento en que puedes relajar la deflación es un modelo único y preregistrado sin búsqueda — e incluso entonces deberías reportar cuántas ideas descartaste antes de comprometerte.

Dominios casi estacionarios frente a mercados adversariales y no estacionarios

La analogía. Un modelo fundacional que domina la meteorología y la demanda eléctrica es como un motor de ajedrez sobrehumano contra un oponente fijo que juega la misma apertura cada vez. Los mercados son un oponente de ajedrez que te observa, aprende tu estrategia y cambia su juego en el instante en que empiezas a ganar. Peor aún, el propio tablero se reconstruye a mitad de partida — las piezas cambian cómo se mueven (cambios de régimen). Los benchmarks estacionarios premian memorizar un patrón estable; los mercados castigan exactamente eso, porque cualquier patrón estable se encuentra y se borra.

Tres razones por las que las victorias en benchmarks no se traducen.

1. Cambio de distribución (no estacionariedad). El proceso generador de datos se mueve. Los regímenes de volatilidad, de tipos de interés, de liquidez y las estructuras de correlación cambian todos, a veces de forma abrupta. Un modelo preentrenado en un régimen puede estar confiadamente equivocado en el siguiente. El tiempo tiene estaciones, pero no decide de repente obedecer una física distinta en 2009.

2. Reflexividad / saturación del alfa. Una ventaja genuina es autodestructiva. En el momento en que se descubre y se opera a escala un patrón rentable, las operaciones mueven los precios hacia el valor justo y la ventaja se reduce hacia cero. Tu previsión cambia aquello que prevés. A la temperatura de mañana le da igual que la hayas predicho; al precio de mañana no, y a la predicción de todos los demás tampoco.

3. Relación señal-ruido (SNR). La predictibilidad de los rendimientos diarios es minúscula — un $R^2$ fuera de muestra de incluso un pequeño porcentaje es excepcional, y la mayor parte de la varianza es ruido irreducible. La demanda eléctrica a las 6 de la tarde está dominada abrumadoramente por estructura determinista (hora del día, temperatura, día de la semana); el suelo de ruido es bajo. Con una señal débil y un objetivo móvil, la mismísima capacidad que ayuda a un modelo fundacional a clavar la demanda se convierte en una lacra que ajusta ruido en los rendimientos.

Ejemplo resuelto — un benchmark que miente. Supón que un modelo fundacional anota un MASE (error absoluto escalado medio) de $0.62$ en un benchmark meteorológico, batiendo al baseline estacional-ingenuo en un 38%. Traducido ingenuamente, podrías esperar una «mejora del 38%» comparable en los rendimientos. Pero en los rendimientos diarios de renta variable el baseline estacional-ingenuo es esencialmente cero (los rendimientos no tienen apenas autocorrelación explotable), así que batirlo en un 38% de casi-nada sigue siendo casi-nada. Un modelo puede tener un MASE precioso en una serie estacionaria y un $R^2$ de rendimiento fuera de muestra de, digamos, $0.3\%$ — y después de costes, ese $0.3\%$ es a menudo PnL negativo. El benchmark y la cuenta del banco miden universos distintos.

Cuándo usarlo

Confía en el dominio en benchmarks como evidencia de la calidad del modelo en dominios que se parecen al benchmark — series casi estacionarias, de alta SNR, no adversariales. Trátalo como casi irrelevante en el momento en que tu objetivo sea la previsión de rendimientos líquidos, muy investigados y de baja SNR. Cuanto más cerca esté tu problema del extremo estacionario y no adversarial de la tabla de arriba, más vale el preentrenamiento de un modelo fundacional; cuanto más cerca del extremo adversarial y no estacionario, más debes demostrar la ventaja desde cero en tu propia prueba limpia, deflactada y consciente de los costes.

Dónde ayuda de verdad el preentrenamiento

La analogía. Un modelo fundacional preentrenado es un analista veterano que ha leído miles de historias de empresas. Suéltalo sobre una OPV recién salida con tres semanas de cotización y es inestimable — reconoce patrones a partir de todo lo que ha visto. Suéltalo sobre una mega-cap de 30 años que un ejército de quants ya ha diseccionado hasta la molécula, y su sabiduría general no añade casi nada que los especialistas locales no sepan ya. El preentrenamiento es un prior, y un prior importa más exactamente cuando los datos son demasiado escasos para abrumarlo.

Cuatro lugares donde el preentrenamiento se gana el pan.

1. Transferencia entre activos / entre mercados. Preentrenar en miles de series — renta variable, divisas, materias primas, tipos, en distintas geografías — permite al modelo aprender estructura compartida: agrupamiento de volatilidad, reversión a la media en ciertos horizontes, reacciones comunes a los shocks. Esa estructura prestada puede afinar las previsiones sobre una serie objetivo que, por sí sola, es demasiado corta para revelarla.

2. Arranque en frío. Una nueva cotización, un ETF recién lanzado o una acción recién salida a bolsa tiene casi nada de histórico. Un modelo entrenado localmente no tiene nada que masticar; un modelo preentrenado llega con un valor por defecto sensato y se adapta a partir de unas pocas observaciones (el régimen few-shot de la lección 3).

3. Regímenes con pocos datos / ilíquidos. Los productos nuevos (un derivado novedoso), los mercados pequeños o frontera, o los nombres poco negociados simplemente no generan suficientes observaciones limpias para ajustar un modelo local hambriento. El prior preentrenado es la diferencia entre una previsión utilizable y ruido.

4. Un baseline / prior zero-shot fuerte. Incluso cuando vas a construir un modelo a medida, la previsión zero-shot del modelo fundacional es un baseline de alta calidad que batir y un prior sensato hacia el que encoger — mejor que un valor por defecto estacional-ingenuo o de paseo aleatorio (lección 3).

Ejemplo resuelto — objetivo rico en datos frente a objetivo pobre en datos. Dos trabajos de previsión, mismo modelo fundacional:

Sobre el gran valor rico en datos, el modelo local ajustado ya extrae el 1,8%; el modelo fundacional con fine-tuning alcanza el 1,9% — una ganancia del tamaño de un error de redondeo que casi seguro se evapora tras la deflación y los costes. Sobre la OPV de 3 semanas, el modelo local ni siquiera puede ajustarse (15 observaciones), mientras que el prior prestado del modelo fundacional entrega un 1,1% real, aunque modesto. El mismo modelo, veredictos opuestos — y la variable decisiva es la abundancia de datos locales, no la inteligencia del modelo.

Cuándo usarlo

Apóyate en el preentrenamiento cuando los datos locales sean la restricción vinculante: activos en arranque en frío, productos ilíquidos o nuevos, mercados frontera, o cualquier previsión donde tengas decenas de observaciones en lugar de miles. Trátalo como un prior por defecto fuerte y un baseline zero-shot incluso en entornos ricos en datos — pero espera que la ganancia marginal sobre un modelo local bien ajustado se encoja hacia cero a medida que crece tu muestra local. La regla del pulgar: el valor de un prior prestado es inversamente proporcional a cuántos de tus propios datos limpios ya tienes.

Dónde es puro humo

La analogía. Perseguir el MASE del ranking en la previsión de rendimientos líquidos es como pulir tu marca en una carrera donde la línea de meta se teletransporta lejos de ti más rápido de lo que puedes correr. La métrica mejora; no te acercas al dinero. Un MASE más bajo no es un PnL más alto. El MASE premia previsiones puntuales precisas de una serie; el beneficio de trading depende del signo y el timing de los movimientos neto de costes, sobre un objetivo cuya ventaja ya ha sido arbitrada por miles de competidores bien financiados.

La zona de humo, con precisión. Los modelos fundacionales se sobrevenden más cuando todas estas condiciones se cumplen:

• Líquido y muy investigado — el activo lo opera todo el mundo, así que cualquier patrón persistente se ha encontrado y borrado (reflexividad/saturación máxima).
• Baja señal-ruido — la predictibilidad de los rendimientos diarios/semanales es débil, así que la capacidad sobrante del modelo ajusta ruido.
• Métrica ≠ dinero — la victoria reportada es una métrica de error de previsión (MASE, MAE, RMSE) presentada como si fuera rendimiento de la estrategia, sin contabilizar costes, capacidad ni deflación.

En esa zona, la enorme capacidad preentrenada de un modelo fundacional no es una ventaja — es un sobredimensionado ajustador de ruido, y el número del ranking es una métrica de vanidad. La expectativa honesta es ninguna ventaja operable, y la carga de la prueba recae por completo sobre quien afirme lo contrario.

Cuándo usarlo

¿Honestamente? En la zona de humo, no — al menos no como tu motor de alfa. Si estás previendo rendimientos sobre un objetivo líquido, muy investigado y de baja SNR, asume que el modelo fundacional no tiene ventaja operable hasta que una prueba completa de extremo a extremo demuestre lo contrario, y nunca reportes una mejora de MASE/MAE como si fuera un resultado de estrategia. El papel legítimo de un modelo fundacional en ese régimen es infraestructura de apoyo (un baseline, una característica, un prior), no la señal protagonista.

La prueba de extremo a extremo

La analogía. Una victoria en un benchmark es un gran ensayo general; el trading en vivo es la noche de estreno con abucheos, un escenario en movimiento y el equipo de iluminación trabajando en tu contra. Montones de estrategias que clavan el ensayo se desploman en el momento en que los costes reales, el tamaño real y el tiempo real suben al escenario. La prueba de extremo a extremo es el pase técnico completo que atrapa el desplome antes de que conectes capital real.

Enunciado preciso — el desafío. Una victoria teórica o de benchmark no es dinero hasta que sobrevive, en orden, a cada una de estas:

Falla cualquiera de ellas y la «ventaja» es un artefacto. Fíjate en que el orden no es arbitrario: las comprobaciones de deflación y fuga son baratas y deberían condicionar el trabajo caro en vivo — no pases tres meses en un pipeline de producción para una estrategia que nunca superó el listón de la suerte.

Ejemplo resuelto — una estrategia muere etapa a etapa. Una señal de modelo fundacional parece espectacular:

• Sharpe bruto in-sample: 2,8. Impresionante.
• Costes: la rotación es alta; spread + comisiones + slippage realistas restan aproximadamente $1.0$ del Sharpe → 1,8 neto. Aún bueno.
• Deflación: fue la mejor de $N = 500$ configuraciones, listón $\approx 3.5$. Ventaja deflactada $= 1.8 - 3.5 = -1.7$. Muere aquí — pero supón por el argumento que lo hubiera superado, digamos un modelo único preregistrado con Sharpe neto 1,8 y listón 0,5.
• Fuera de muestra posterior al corte: reejecuta solo sobre barras posteriores al corte de preentrenamiento. El Sharpe cae a 0,6 — gran parte de la ventaja aparente era contaminación anterior al corte (lección 5).
• Capacidad: al tamaño objetivo, el impacto de mercado lo recorta a 0,3.
• Paridad con el pipeline en vivo: un desajuste de timing de 1 barra entre investigación y producción borra el resto → ≈ 0.

Un 2,8 que se convirtió en un 0. Cada etapa fue honesta; la estrategia simplemente nunca tuvo una ventaja real, operable, deflactada y libre de fugas. Este es el resultado normal, y una evaluación que no ejecute el desafío completo habría enviado un perdedor de dinero con diapositivas de aspecto estupendo.

La decisión: el preentrenamiento probablemente ayuda frente a probablemente humo

La síntesis — y el puente hacia tu examen final. Los modelos fundacionales no son ni un milagro ni un fraude; son un prior, y un prior es exactamente tan valioso como el hueco que llena. Donde tus propios datos limpios son escasos — arranque en frío, ilíquido, frontera, productos nuevos — esa estructura prestada es palanca genuina. Donde tus datos son abundantes y tu objetivo es líquido, de baja SNR y picoteado por un ejército de competidores, el prior no añade casi nada y el ranking es una métrica de vanidad. El instrumento que distingue ambos no es el entusiasmo — es la evaluación honesta: deflacta el Sharpe del mejor-de-N, purga y pon embargo a tus folds, resta los costes y la capacidad reales, prueba solo sobre barras fuera de muestra posteriores al corte, y exige que tu pipeline en vivo reproduzca exactamente el resultado de investigación. Lleva esa disciplina al examen final, donde tendrás que aplicar cada pieza de ella — la apuesta, los modelos, el escalado, las herramientas de LLM, las trampas de fuga y este desafío — para decidir qué sobrevive y qué es un espejismo. Ahora sabes cómo usar un modelo fundacional en los mercados sin dejar que él te use a ti. Ve a demostrarlo.

Recapitulación