Evaluar datos sintéticos sin engañarte a ti mismo

Hemos pasado seis lecciones aprendiendo a fabricar datos de mercado falsos — líneas base clásicas, GAN, VAE, difusión. Esta lección es a la que el curso entero apuntaba en silencio, y es la difícil: un generador solo es tan fiable como tu capacidad de evaluarlo. Puedes construir el muestreador de difusión más elegante del edificio, pero si no puedes demostrar que su salida es a la vez realista y honesta, es un pasivo, no un activo. Fabricar los datos es la parte divertida. Juzgarlos es la parte que te mantiene fuera de problemas.

Aquí va el remate, dicho sin rodeos para que se quede: la forma más fácil de “ganar” todos los tests de realismo es memorizar el conjunto de entrenamiento. Un generador que simplemente reproduce las trayectorias con las que se entrenó tendrá colas impecables, autocorrelaciones perfectas, un discriminador incapaz de distinguir lo real de lo falso — una estrella dorada en cada boletín de notas distribucional. Y también es el modo de fallo más peligroso, porque los datos memorizados son el pasado fotocopiado y devuelto. Mete eso en un backtest y ya no estás simulando el futuro; lo estás filtrando. Tu ratio de Sharpe lucirá espectacular, justo hasta que el dinero real se encuentre con los mercados reales.

Así que la evaluación es un guante de desafíos, no un número. Ningún test aislado certifica un generador. Ejecutas una batería — marginales y dependencia, un discriminador, una puntuación predictiva orientada al uso, una sonda explícita de memorización y una auditoría de fuga — precisamente porque cada test tiene un punto ciego que el siguiente está diseñado para cubrir. Sáltate cualquier peldaño de la escalera y el memorizador se cuela directo por el hueco. Construyamos la escalera.

Tests distribucionales y de dependencia

Analogía. Imagina que calificas a un falsificador. Lo primero que compruebas es si cada pincelada individual se parece a la del maestro — los colores, la textura, el peso del trazo. Esa es la distribución marginal. Pero a un maestro también se le reconoce por cómo se relacionan los trazos: el ritmo, los motivos recurrentes, el modo en que un pasaje oscuro sigue a uno brillante. Esa es la estructura de dependencia. Un falsificador que clava los colores pero arruina el ritmo sigue siendo un falsificador.

Definición. Los tests distribucionales preguntan si las estadísticas marginales de los datos sintéticos coinciden con las reales; los tests de dependencia preguntan si sus relaciones a lo largo del tiempo coinciden. En concreto, vuelves a ejecutar la rúbrica de hechos estilizados de la lección 2 sobre la serie sintética y comparas, hecho a hecho:

• Colas anchas — índice de cola y exceso de curtosis (los retornos reales son leptocúrticos, con curtosis muy por encima de 3).
• Sin autocorrelación lineal de los retornos — la ACF de los retornos brutos debería morir casi de inmediato.
• Agrupamiento de volatilidad — la ACF de los retornos absolutos (o al cuadrado) debería decaer despacio, a lo largo de muchos retardos.
• Efecto apalancamiento — correlación negativa entre el retorno de hoy y la volatilidad de mañana.

Los instrumentos son estándar: gráficos QQ para comparar las colas visualmente, las distancias de Kolmogórov–Smirnov y Anderson–Darling para cuantificar cuán separadas están dos distribuciones (Anderson–Darling pondera más las colas, que es exactamente donde viven las finanzas) y curvas ACF lado a lado para los hechos de dependencia.

Ejemplo resuelto. Muestreas 5.000 retornos diarios sintéticos y los tabulas frente a la serie real:

El Sintético A sigue cada hecho — colas anchas (curtosis 5.8, índice de cola 3.3), sin autocorrelación de retornos, agrupamiento de volatilidad persistente (la ACF de los retornos absolutos sigue en 0.16 al retardo 10). El Sintético B es un impostor casi gaussiano: curtosis 0.3, índice de cola 8.0 (demasiado fino) y una ACF de retornos absolutos que se desvanece — sin agrupamiento de volatilidad alguno. La distancia KS de 0.21 confirma que la marginal de B está muy desviada. B falla; A supera este peldaño.

Cuándo usarlo

Siempre, y primero. Esta es la prueba de humo barata y rápida: si un generador ni siquiera consigue igualar las marginales y la ACF del agrupamiento de volatilidad, te detienes aquí y lo arreglas antes de invertir esfuerzo en cualquier cosa posterior. Descarta generadores malos; nunca puede dar el visto bueno a uno bueno.

La puntuación discriminativa (¿puede un clasificador distinguirlos?)

Analogía. Contrata al autenticador de arte más agudo del mundo y entrégale un montón de cuadros, mitad genuinos, mitad falsificados, con las etiquetas ocultas. Si los aciertos del experto no superan a una moneda al aire, las falsificaciones son indistinguibles. Si el experto clava cada falso, las falsificaciones tienen un delator. La puntuación discriminativa automatiza a ese experto.

Definición. Entrena un clasificador binario (árboles con potenciación de gradiente, una red pequeña — lo que sea potente) para predecir la etiqueta “real” frente a “sintético” sobre un conjunto mezclado y reservado. Reporta su AUC (área bajo la curva ROC):

• AUC ≈ 0.5 → el clasificador no puede ganarle al azar. Las distribuciones sintética y real se solapan. Bien.
• AUC ≈ 1.0 → el clasificador las separa a la perfección. Lo falso tiene un delator obvio — colas erróneas, un artefacto revelador, la dependencia equivocada. Mal.

Esto es estrictamente más fuerte que los tests marginales, porque un clasificador potente puede explotar estructura conjunta y de orden superior que un puñado de estadísticas resumen no captan.

Ejemplo resuelto. Tres generadores candidatos, mismos datos reales:

El modelo de difusión está ganando la competición de realismo. Pero fíjate en la trampa que aguarda en el siguiente aviso.

Cuándo usarlo

Tras superar los hechos estilizados, como tu métrica de realismo de titular — es el único número que mejor resume “¿lo falso parece real, teniendo en cuenta la estructura conjunta?”. Síguela mientras ajustas un generador. Pero nunca dejes que un 0.5 te adormezca pensando que has terminado; has superado el realismo, no la memorización.

La puntuación predictiva (entrenar en sintético, probar en real)

Analogía. Un simulador de vuelo solo merece el espacio del hangar si los pilotos que se entrenan en él pilotan bien aviones reales. A nadie le importa cuán fotorrealistas sean las nubes del simulador si los graduados estrellan el 737 de verdad. Entrenar en Sintético, Probar en Real (TSTR, por sus siglas en inglés) es el examen de graduación-en-el-simulador para los datos.

Definición. TSTR: entrena tu modelo posterior (un predictor de retornos, un clasificador, una estrategia) íntegramente con datos sintéticos y luego evalúalo sobre un conjunto real reservado del que nunca generaste. Compáralo con TRTR — Entrenar en Real, Probar en Real, el mismo modelo posterior entrenado con datos reales. Si los datos sintéticos llevan la señal que el modelo necesita, entonces:

$\text{TSTR} \approx \text{TRTR}$

Una brecha pequeña entre TSTR y TRTR significa que los datos sintéticos son útiles — pueden sustituir a los datos reales, o aumentarlos. Una brecha grande significa que el generador perdió la señal (a menudo porque suavizó hasta hacer desaparecer la propia estructura de la que depende la tarea posterior).

Ejemplo resuelto. Mismo clasificador posterior, tres regímenes de entrenamiento, evaluados sobre el mismo conjunto de prueba real:

El Sintético A casi iguala la referencia real (precisión 0.59 frente a 0.61; Sharpe 0.98 frente a 1.05) — preservó la señal predictiva y es genuinamente útil para aumentar datos. El Sintético B se desploma a una precisión casi de azar y un Sharpe enclenque — marginales de aspecto realista, pero la señal ha desaparecido. Este es el test donde por fin se caza a un generador “bonito pero inútil”.

Cuándo usarlo

Siempre que el objetivo sea aumentar datos, compartir preservando la privacidad o hacer pruebas de estrés — es decir, casi siempre. TSTR es el test más orientado al uso del guante: habla directamente de “¿ayudarán estos datos a mi tarea real?” en vez de “¿luce bonito?”. Conviértelo en tu criterio de aceptación para llevar un generador a un pipeline de entrenamiento.

El test de memorización y vecino más cercano — el que caza a un copión

Analogía. Un estudiante que entiende la materia escribe frases nuevas que son correctas. Un estudiante que plagia escribe frases palabra por palabra idénticas a la fuente — y un detector de plagio no califica la calidad, mide cuán cerca está cada frase de algo en la biblioteca fuente. Ese es el test de vecino más cercano, aplicado a los datos.

Definición. Para cada muestra sintética, encuentra su vecino más cercano en el conjunto de entrenamiento (menor distancia bajo una métrica sensata sobre retornos/trayectorias) y registra esa distancia. Luego compara dos distribuciones de distancias:

• las distancias de vecino más cercano sintético → entrenamiento, y
• una línea base: las distancias holdout → entrenamiento (muestras reales que el generador nunca vio, medidas contra el mismo conjunto de entrenamiento).

Si las distancias sintético-a-entrenamiento son mucho menores que las distancias holdout-a-entrenamiento, el generador está asentado encima de sus datos de entrenamiento — está copiando, no generando. Un generador sano produce distancias sintético-a-entrenamiento comparables a las distancias holdout-a-entrenamiento: novedoso, pero extraído del mismo vecindario.

Este es el peldaño que caza lo que todos los tests anteriores pasan por alto. Arrastra el control de abajo y observa cómo ocurre.

Recórrelo con cuidado: en el extremo Novedoso el veredicto es sano — trayectorias distintas, distancia de vecino más cercano cómoda, seguro para entrenar. Desliza hacia Copiando y las curvas sintéticas se pegan a las trayectorias reales de entrenamiento mientras la lectura de distancia se desploma. Ese colapso a cero es el número que calculas en producción. Todo lo que queda a la izquierda de “Copiando” es un generador en el que puedes confiar; todo lo que se desliza hacia distancia cero es un backtest a punto de mentirte.

Ejemplo resuelto. Calculas las distancias medianas de vecino más cercano (menor = más cerca de los datos de entrenamiento):

Las muestras sintéticas del Generador A están más o menos tan lejos del conjunto de entrenamiento como lo están los datos reales no vistos — exactamente lo correcto. Las muestras del Generador B están prácticamente pegadas a filas de entrenamiento (0.06 frente a una línea base de 1.00). B es una fotocopiadora disfrazada de generador, y solo este test lo desenmascaró.

Cuándo usarlo

En cada generador, cada vez, antes de dejarlo acercarse a un backtest o a un conjunto de entrenamiento. Es barato (una búsqueda de vecino más cercano) y es la única defensa contra el modo de fallo al que todas las métricas de realismo son ciegas. Trata un test de memorización superado como precondición para confiar en cualquiera de las otras puntuaciones.

El campo de minas de la fuga de datos

Esta es la advertencia que el curso entero ha estado rodeando, ahora hecha concreta. Recuerda el credo de Deep Learning para Datos de Mercado: la fuga es el inflador silencioso del Sharpe, y un generador es una manera nueva y sigilosa de cometerla.

Analogía. Imagina a un “profesor de historia” que ha leído el periódico de mañana y luego te pone un examen sobre ayer. Sus preguntas te orientarán sutilmente hacia lo que de verdad pasó después — y bordarás el examen, sin aprender nada sobre si habrías podido predecirlo en tiempo real. Un generador ajustado con tu historial completo es ese profesor. Ha visto datos que son futuro relativo a cualquier ventana de backtest anterior, y las trayectorias sintéticas que produce pueden codificar calladamente ese futuro.

Definición. La fuga del generador es la contaminación que ocurre cuando un generador se ajusta con datos que se solapan o son posteriores a la ventana de evaluación, de modo que su salida sintética lleva información que la estrategia no podría haber conocido en tiempo real. Ejecuta entrenar-en-sintético / probar-en-real sobre esas trayectorias y el futuro filtrado infla tu Sharpe — exactamente como cuando ajustas características sobre el conjunto de prueba, pero más difícil de detectar porque los datos sintéticos parecen limpios y la memorización puede ser difusa en lugar de literal.

Los arreglos — y no son negociables:

1. Ajusta el generador SOLO con la ventana de entrenamiento. Nunca dejes que toque el periodo de prueba. El generador es parte de tu modelo, así que debe obedecer el mismo muro temporal que cualquier otro componente.
2. Anida la generación dentro de validación cruzada purgada y en cuarentena. Reajusta (o niégate a usar) el generador dentro de cada pliegue, purgando las muestras cuya información se solapa con el pliegue de prueba y poniendo en cuarentena un margen tras él — la misma CV purgada/en cuarentena de Deep Learning para Datos de Mercado. Un generador ajustado una sola vez con todo y reutilizado entre pliegues echa por tierra el esquema entero.
3. Desinfla por la búsqueda de generadores. Cada arquitectura, semilla e hiperparámetro de generador que probaste es una prueba. Buscar entre muchos generadores y quedarte con el mejor infla el Sharpe por pruebas múltiples — así que aplica la corrección de Sharpe desinflado por el número de pruebas de generador, igual que harías con las pruebas de estrategia.

Cuándo usarlo

Este no es un test que ejecutas una vez; es una disciplina que incorporas al pipeline. Audita la fuga cada vez que un generador alimente un backtest o un bucle de selección de modelos — es decir, continuamente. El test de memorización caza la copia literal; la auditoría de fuga caza la contaminación temporal más sutil que sobrevive incluso cuando las distancias de vecino más cercano lucen bien.

La lista de verificación de la evaluación

Ningún test aislado basta — ese ha sido el redoble de cada sección. Cada peldaño cubre un punto ciego del anterior, así que los ejecutas en orden y un generador debe superarlos todos:

Fíjate en el patrón: los peldaños 1–3 son todos ciegos a la memorización, por eso existe el peldaño 4; y los peldaños 1–4 pueden todos ser superados por un generador que, sin embargo, filtra, por eso el peldaño 5 es un proceso, no una métrica. Sáltate un peldaño y el fallo que pretendía cazar se cuela directamente.

Recapitulación

Evaluar datos de mercado sintéticos es más difícil que generarlos, y la razón es un único adversario: un generador que memoriza el conjunto de entrenamiento supera todos los tests de realismo mientras filtra el futuro a tus backtests. Así que no confías en un número — ejecutas un guante de desafíos. Empieza con la comparación de hechos estilizados (marginales, colas, las ACF de los retornos y de los retornos absolutos, apalancamiento) para confirmar que los datos parecen reales; añade la puntuación discriminativa para que un clasificador potente no encuentre un delator (un AUC cercano a 0.5 es el objetivo); añade el test predictivo TSTR frente a TRTR para saber que los datos son de verdad útiles sobre datos reales reservados. Después — y esto es crucial — ejecuta el test de memorización / vecino más cercano, el único peldaño que distingue “aprendió la distribución” de “almacenó los datos”: si las distancias sintético-a-entrenamiento se hunden por debajo de la línea base holdout-a-entrenamiento, rechaza el generador. Por último, trata la fuga como una disciplina de proceso: ajusta los generadores solo con la ventana de entrenamiento, anídalos dentro de CV purgada y en cuarentena, y desinfla por la búsqueda de generadores. Cada peldaño tapa un punto ciego del anterior. Supera los cinco, en orden, y tienes un generador en el que de verdad puedes creer.