La auditoría honesta: fugas y sobresuavizado

Habéis dedicado cinco lecciones a aprender lo que las redes neuronales de grafos pueden hacer: pasar mensajes por las aristas, aprender incrustaciones (embeddings) que respetan quién-conecta-con-quién, modelar el contagio a través de un sistema financiero. Esta lección es la ducha fría. Es el hermano-GNN de la disciplina “por qué el aprendizaje profundo sufre en finanzas” — la que os enseñó a desinflar vuestro Sharpe por el número de pruebas, a purgar y poner en cuarentena vuestra validación cruzada, y a fiaros de un número fuera de muestra más o menos tanto como podáis lanzarlo de un puntapié.

Aquí va el remate por delante: un grafo es la estructura de datos más propensa a fugas que modelaréis jamás, porque el objetivo entero del paso de mensajes es dejar que un nodo consuma la información de sus vecinos. Atornillad a eso una partición train/test descuidada, y vuestros nodos de “test” han estado leyendo en silencio el solucionario del conjunto de entrenamiento a través de cada arista. Obtendréis un AUC precioso, lo presentaréis con orgullo, y veréis cómo se evapora en cuanto toca un nodo que el grafo nunca vio antes.

Todo lo que respetabais en el curso de aprendizaje profundo muerde más fuerte aquí: las fugas, porque las aristas son conductos; la no estacionariedad, porque el propio grafo se recablea justo en la crisis que os importa; y la paranoia del Sharpe-desinflado, porque un proyecto de grafos esconde su sobreajuste en la fontanería donde nadie audita. Auditémoslo.

Por qué los grafos filtran más que las tablas

Analogía. Imaginad estar haciendo un examen en una sala donde la persona de al lado — que ya ha sido calificada — no deja de susurraros sus respuestas. Bordaréis el examen. No habréis aprendido nada. Una GNN con una partición que filtra es exactamente esa sala de examen: cada arista es un vecino susurrando, y la respuesta “independiente” del nodo de test está medio copiada de un compañero del que el examinador ya conoce la nota.

Definición. En una red neuronal de grafos, la incrustación del nodo $v$ tras $K$ capas de paso de mensajes es función de las características de todo nodo dentro de $K$ saltos de $v$. Esquemáticamente, la capa $k$ actualiza cada nodo a partir de sí mismo y de sus vecinos:

$h_v^{(k)} = \phi\!\left(h_v^{(k-1)},\ \operatorname{AGG}\{\,h_u^{(k-1)} : u \in \mathcal{N}(v)\,\}\right).$

Desplegar $K$ de estas capas significa que $h_v^{(K)}$ depende del campo receptivo de $K$ saltos de $v$. Así que el radio de fuga de una GNN no es “el nodo en sí” — es todo nodo alcanzable en $K$ pasos. Apilad más capas, y el frente de contaminación empuja un salto más lejos con cada una.

Contrastad eso con una tabla. En datos tabulares, la fila $i$ es (eso esperáis) independiente de la fila $j$; una partición limpia pone la fila $i$ en train y la fila $j$ en test y nunca se tocan. No hay mecanismo por el que la predicción del modelo para la fila de test $j$ lea la fila de entrenamiento $i$. Un grafo fabrica ese mecanismo a propósito. Por eso los grafos filtran más que cualquier conjunto de datos tabular: la fuga no es un accidente del preprocesado, es el diseño.

Ejemplo resuelto — una GNN de 2 capas y un vecino de entrenamiento. Sea el nodo de test $t$ con un único vecino $a$, y sea $a$ a su vez vecino de un nodo $b$. Tanto $a$ como $b$ están en el conjunto de entrenamiento; el modelo ya se ajustó sobre sus características y (para $a$) su etiqueta. Trazad las dos capas de paso de mensajes para $t$:

Así que $h_t^{(2)} = f(\,x_t,\ x_a,\ x_b\,)$ donde $x_a$ y $x_b$ son características de entrenamiento. La predicción “reservada” para $t$ es, matemáticamente, función de datos que el modelo ya ha visto y ajustado. El AUC que medís sobre $t$ está contaminado. Con $K=2$ el alcance fue de 2 saltos; subid a $K=4$ y un único nodo de entrenamiento a cuatro aristas de distancia aún se cuela.

Cuándo usarlo

Tratad el campo receptivo de $K$ saltos como la unidad de fuga antes de elegir una partición — es el radio de explosión que vuestra frontera train/test tiene que contener. Siempre que reportéis una métrica de una GNN, la primera pregunta no es “¿es alto el AUC?” sino “¿podría la incrustación de algún nodo de test haber consumido las características o la etiqueta de un nodo de entrenamiento a través de una arista?” Si la respuesta es sí, el número está inflado mientras no se demuestre lo contrario.

Partición consciente de la topología

Analogía. Partir nodos de grafos al azar es como barajar una baraja donde cada carta está pegada a sus vecinas por un hilo — no podéis sacar una carta de “test” limpiamente, porque arrastra tres cartas de “entrenamiento” con ella. Necesitáis unas tijeras que corten a lo largo de los hilos (las aristas) y a lo largo del tiempo, no un manotazo aleatorio a ciegas.

Definición. La partición consciente de la topología significa que partís los datos respetando la estructura del grafo y el tiempo, nunca i.i.d. Los tres esquemas de batalla:

• (a) Partición temporal — el estándar en finanzas. Entrenar sobre el grafo tal como existía antes del instante $T$ (aristas, nodos, etiquetas hasta $T$); testar sobre lo que viene después. El futuro no puede susurrar al pasado porque todavía no existe en el momento del entrenamiento.
• (b) Partición inductiva. Reservar subgrafos o componentes conexas enteras que el modelo nunca vio durante el entrenamiento, y luego pedirle que generalice a nodos completamente nuevos — el escenario de GraphSAGE. La componente de test no comparte aristas con el entrenamiento, así que no hay conducto.
• (c) Enmascarado de aristas para predicción de enlaces. Cuando la tarea es predecir aristas, debéis ocultar las aristas de test durante el paso de mensajes. Si la arista $(u,v)$ es lo que estáis prediciendo, no podéis dejar que esa arista lleve mensajes entre $u$ y $v$ — eso es el modelo leyendo su propia respuesta.

Trasladad la idea de purga/cuarentena directamente desde Aprendizaje automático para alfa: en una partición temporal no os limitáis a cortar en $T$, ponéis en cuarentena las aristas cuyo efecto cabalga la frontera. Si una arista se formó en $T - 1$ pero su etiqueta (digamos, un impago) solo se resuelve en $T + 5$, la información de esa arista solapa la ventana de test — ponedla en cuarentena, exactamente como purgasteis las etiquetas solapadas en el curso de series temporales.

Ejemplo resuelto — partición aleatoria vs temporal. Mismo grafo de fraude, mismo modelo, dos particiones:

El 0,94 es la nota del compañero que susurra. El 0,71 y el 0,68 son lo que el modelo realmente sabe. Un profesional que publica el 0,94 ha publicado una fantasía; quien reporta el 0,71 ha publicado un modelo. La brecha entre ellos es la fuga.

Cuándo usar cada una

Usad una partición temporal como opción por defecto para cualquier modelo financiero desplegado — operáis en el tiempo, así que debéis validar en el tiempo. Usad una partición inductiva cuando la pregunta real sea ”¿ generalizará esto a entidades que nunca hemos visto?” (nuevos clientes, nuevas contrapartes, un nuevo mercado) — es la prueba honesta de transferencia. Usad el enmascarado de aristas siempre que el objetivo de predicción sea una arista en sí (¿transaccionarán estas dos empresas, se formará este enlace de préstamo?), porque sin él el modelo lee trivialmente la respuesta de la mismísima arista por la que preguntasteis.

Sobresuavizado

Analogía. Echad una gota de leche en el café y al principio veis remolinos — regiones distintas, estructura, contraste. Seguid removiendo y cada sorbo sabe idéntico. El paso de mensajes es remover: un poco mezcla contexto útil del vecindario; demasiado homogeneiza la taza entera hasta que cada nodo sabe al mismo beige.

Definición. El sobresuavizado es el fenómeno por el que, al apilar muchas capas de paso de mensajes, la incrustación de cada nodo agrega un vecindario cada vez mayor hasta que todas las incrustaciones convergen hacia un vector casi idéntico. Una vez que dos nodos tienen la misma representación, ningún clasificador puede distinguirlos — el poder discriminativo del modelo colapsa. Esta es la forma crucial en que las GNN difieren de las CNN: en una CNN, la profundidad construye características jerárquicas más ricas y más profundo suele ayudar; en una GNN, la profundidad más allá de un número pequeño de capas activamente destruye información al promediarla.

Ejemplo resuelto — promediado repetido. Tomad dos nodos cuyas incrustaciones empiezan muy separadas, digamos el nodo $P$ en el valor $10$ y el nodo $Q$ en el valor $0$, sobre un grafo donde cada capa reemplaza el valor de un nodo por la media de sí mismo y su vecino (una agregación-media de juguete). Observad cómo colapsan hacia la media global de $5$:

Haced la aritmética de la capa 1: $P$ se vuelve $(10 + 0)/2 \cdot$ mezclado consigo mismo — en este juguete la brecha simplemente se reduce a la mitad en cada capa, $10 \to 5 \to 2.5 \to 1.25 \to 0.31$. Tras cinco capas $P$ y $Q$ están a menos de un tercio de unidad el uno del otro; tras diez son indistinguibles. La señal discriminativa que hacía a $P$ y $Q$ nodos diferentes ha sido promediada hasta convertirse en papilla. Eso es el sobresuavizado en un número: la brecha $\to 0$.

Mitigaciones:

• Quedarse poco profundo. La mayoría de GNN en producción usan 2–3 capas. Eso no es falta de ambición; es el punto dulce antes de que muerda el sobresuavizado.
• Conexiones residuales / de salto (jumping knowledge). Dejad que cada capa conserve una copia de la incrustación previa a la agregación, para que la señal original sobreviva al removido.
• Normalización. Técnicas como PairNorm o la normalización por capa empujan las incrustaciones para separarlas y contrarrestar el colapso.

Cuándo usar la profundidad

Recurrid a capas extra solo cuando la tarea genuinamente necesite información de muy lejos en el grafo — una dependencia de largo alcance que un vecindario de 2 saltos demostrablemente se pierde — y emparejéis la profundidad con conexiones de salto o normalización para combatir el colapso. Para la abrumadora mayoría de tareas de grafos financieros (anillos de fraude, riesgo de contraparte, agrupamiento sectorial), la señal vive dentro de 2–3 saltos, y una red poco profunda a la vez evita el sobresuavizado y contiene vuestro radio de fuga. La profundidad es un coste que pagáis solo contra una necesidad de largo alcance demostrada.

Topología no estacionaria

Analogía. Aprendéis el callejero de una ciudad en verano, con sus calles secundarias tranquilas y su flujo predecible. Luego llega una riada: cierran calles, el tráfico se redirige, todo el mundo se embute en los mismos tres puentes. Vuestro precioso mapa de verano ahora os despista activamente — y la riada es el día exacto en que más necesitabais indicaciones. Un grafo financiero se inunda en una crisis.

Definición. La topología no estacionaria significa que la estructura del grafo — qué aristas existen, cómo de denso es, qué nodos son centrales — deriva con el tiempo en lugar de quedarse fija. Los préstamos vencen y se originan otros nuevos; las cadenas de suministro se reencaminan en torno a una disrupción; y en una red de correlación, las propias aristas son estimaciones estadísticas que se disparan en un desplome. Un modelo entrenado sobre la topología de un régimen puede fallar en otro, y el régimen que más difiere suele ser el régimen de estrés para el que construisteis el modelo.

Ejemplo resuelto — red de correlación densificándose en un desplome. Construid aristas entre activos siempre que su correlación por pares supere un umbral, digamos $\rho > 0.5$. En un régimen en calma, la correlación media por pares podría rondar el $0.2$, así que pocos pares superan la barra y el grafo es disperso. En un desplome, “todo cae junto” — la correlación media salta hacia el $0.8$, y casi todo par supera el umbral:

El grafo del desplome es casi completo — casi todo nodo conecta con casi todos los demás. Ahora recordad el sobresuavizado: en un grafo casi completo, una sola capa de paso de mensajes ya promedia sobre casi toda la red, así que las incrustaciones colapsan hacia la media global en un paso. El giro más cruel: la topología sobresuaviza exactamente cuando más importa. El modelo entrenado sobre el grafo disperso en calma se topa con un grafo denso de crisis y tanto la estructura que aprendió como su capacidad de discriminar se disuelven a la vez. Esto enlaza directamente con las GNN temporales de la lección 3 — modelar el grafo como una secuencia de instantáneas con marca temporal es la respuesta a una topología que no se está quieta, y refleja el tema de la no estacionariedad que acechaba al curso de aprendizaje profundo.

Cuándo usar un grafo estático vs temporal

Usad un grafo estático solo cuando las relaciones sean genuinamente lentas y estructurales — jerarquías de propiedad legal, contratos fijos de cadena de suministro, registros corporativos asentados — donde la topología apenas deriva en vuestro horizonte. Usad un grafo temporal / dinámico (instantáneas o una GNN temporal en streaming) siempre que las aristas sean ellas mismas estimaciones sensibles al régimen — redes de correlación, flujos de transacciones, exposiciones interbancarias — porque esas se recablean precisamente en el estrés que estáis modelando, y una instantánea estática estará más equivocada cuando acertar más importa.

El impuesto de la fontanería de datos

Analogía. Un modelo GNN es la punta de un iceberg asomando con orgullo sobre el agua. El 90% bajo el agua — la parte que hunde barcos — es el pipeline que construyó el grafo: quién es un nodo, qué cuenta como arista, cuándo existió cada arista, y si podéis ensamblarlo a escala sin mirar al futuro. Todo el mundo fotografía la punta. La fría masa oscura de abajo es donde mueren los proyectos.

Definición / realidad. El impuesto de la fontanería de datos es la (normalmente dominante) cuota de un proyecto de GNN gastada no en modelar sino en construir y mantener el propio grafo:

• Resolución de entidades. ¿“JP Morgan”, “JPMorgan Chase”, “J.P. Morgan & Co.” y el ticker “JPM” son un nodo o cuatro? Acertad esto mal y la topología de vuestro grafo es ficción.
• Umbrales de definición de aristas. ¿Qué correlación cuenta como arista — $\rho > 0.3$, $0.5$, $0.7$? Cada umbral produce un grafo distinto y un modelo distinto. La elección es una decisión de modelado disfrazada de paso de limpieza de datos.
• Marca temporal point-in-time. Cada arista debe llevar cuándo se hizo conocida, o cometéis el mismo sesgo de mirar al futuro que los cursos prerrequisito os metieron a martillazos: usar una arista en una predicción antes de que esa arista existiera es una fuga a través del tiempo.
• Escala. Los grafos de transacciones financieras llegan a miles de millones de aristas; construirlos, almacenarlos y pasar mensajes sobre ellos es un problema de ingeniería antes que un problema de modelado.

Ejemplo resuelto — adónde va realmente el esfuerzo. Un desglose representativo del esfuerzo de ingeniería en una GNN financiera desplegada:

En torno al 85% del trabajo no es la arquitectura. El 15% por el que todos pelean (GCN vs GAT) se sienta entre un bloque del 60% de fontanería que decide si el grafo es siquiera real y un bloque del 15% de validación que decide si el resultado es honesto. Gastad vuestra escasa atención en consecuencia.

Cuándo usar una GNN siquiera

Recurrid a una red neuronal de grafos solo cuando se cumplan ambas condiciones: la señal relacional es lo bastante fuerte como para superar el empinado coste de fontanería (un modelo tabular plano sobre las características de nodo por sí solas genuinamente deja dinero sobre la mesa), y la arista sobre la que vive esa señal sobrevive a una partición consciente de la topología y point-in-time. Si un árbol con gradient boosting sobre características por nodo iguala a vuestra GNN en una partición temporal honesta, el grafo añadió coste, no ventaja — publicad el árbol. La GNN se gana el sueldo solo cuando la estructura relacional es a la vez real y libre de fugas.

Una lista de comprobación previa al despegue

Analogía. Un piloto no se fía de un avión porque luzca reluciente en la pista; ejecuta una lista de comprobación previa al despegue fija cada vez, porque los modos de fallo son conocidos y el coste de saltársela es un cráter humeante. Un resultado de una GNN merece el mismo ritual. Abajo está la lista — el hermano-GNN de la disciplina del Sharpe-desinflado que ya lleváis de Aprendizaje automático para alfa. Ejecutadla antes de fiaros de cualquier resultado de grafos, incluido el vuestro.

Cuándo usarlo

Ejecutad esta lista sobre cada resultado de grafos que produzcáis y cada uno que os pidan creer — antes del despliegue, antes de un informe, antes de una presentación. Es barato comparado con un modelo que falla silenciosamente en producción. En el momento en que la métrica reportada de una GNN no pueda sobrevivir a las seis preguntas, tratadla como tratáis un Sharpe sin desinflar de una búsqueda de mil pruebas: interesante, no probado, y todavía no operable.

Repaso

Entrasteis capaces de construir una red neuronal de grafos. Salís capaces de auditar una. Las cuatro formas en que una GNN os miente os resultan ahora familiares: filtra a través de las aristas más fuerte que cualquier tabla porque el paso de mensajes es fuga por diseño; exige una partición consciente de la topología, temporal y en cuarentena o su AUC es ficción; colapsa en sobresuavizado si confundís profundidad con poder; y se entrena sobre una topología que se recablea en la crisis exacta que se supone que debe sobrevivir. Detrás de todo ello está el impuesto de la fontanería — el poco glamuroso 85% del trabajo que realmente decide el resultado, mientras todos discuten sobre la arquitectura que es lo que menos decide.