Confusión y la trampa del control

La lección anterior os dejó con un reflejo que suena a sabiduría: los confusores fingen ventajas, así que controla por los confusores. Cierto — pero también es la media frase más peligrosa de la estadística aplicada, porque la mejora obvia — así que controla por todo — es errónea de un modo invisible hasta que vuestro P&L en vivo os lo explica. Añadir un control puede eliminar sesgo, añadir sesgo, o escurrir el mismísimo efecto que vinisteis a medir. Cuál de los tres os toca depende enteramente de dónde se sitúa la variable en el grafo causal — y un coeficiente de regresión no puede ver el grafo. Vosotros sí.

Esta lección es el manual del cirujano para controlar. El criterio de la puerta trasera os dice con precisión por qué conjunto ajustar. El sesgo de colisionador muestra cómo condicionar por la variable equivocada fabrica una correlación que nunca estuvo ahí. Los malos controles muestran cómo condicionar por un mediador borra un efecto que sí estaba ahí de verdad. Y luego releeremos el infame zoo de factores — más de 300 “anomalías” en las revistas — no como una historia de sobreajuste sino como exactamente los dos fallos de esta lección con gabardina: confusión más comparaciones múltiples masivas.

Para cuando acabéis, “mételo todo en la regresión” debería sonaros como “por seguridad, operemos todos los órganos”.

El criterio de la puerta trasera: controla por el conjunto correcto, y solo por el correcto

Analogía. Pensad en el efecto causal X→Y como la única carretera legítima entre dos pueblos, y en cada confusor como un callejón por el que se cuelan los contrabandistas (asociación espuria). El criterio de la puerta trasera es una lista de comprobación de qué callejones tapiar: tapia toda ruta de contrabando, pero no tapies por accidente la carretera legítima, y no derribes un muro que deje entrar a los contrabandistas en un callejón que antes estaba sellado. Tapia muy pocos y la mercancía de contrabando infla vuestro comercio medido. Tapia el muro equivocado y abrís una ruta nueva.

Definición. Un camino de puerta trasera del tratamiento $X$ al resultado $Y$ es cualquier camino que empieza con una flecha apuntando hacia $X$ (es decir, $X \leftarrow \dots Y$). Estos transportan asociación no causal. Un conjunto de variables $Z$ satisface el criterio de la puerta trasera relativo a $(X, Y)$ si:

1. ningún nodo de $Z$ es descendiente de $X$ (nada de lo que controlas está aguas abajo del tratamiento), y
2. $Z$ bloquea todos los caminos de puerta trasera de $X$ a $Y$.

Cuando tal $Z$ existe, la cantidad intervencional queda identificada por simple ajuste:

Un camino está bloqueado por $Z$ si contiene o bien un no-colisionador que está en $Z$, o bien un colisionador que no está en $Z$ (ni ninguno de cuyos descendientes está en $Z$). Retened esa última cláusula — es toda la sección siguiente.

Ejemplo resuelto. Vuestra señal de momentum $X$ predice el retorno del mes siguiente $Y$. El sector $S$ es una causa común: la tecnología puntúa más alto en momentum a 12 meses y ganó un retorno incondicional más alto en vuestra muestra. El grafo es $X \leftarrow S \rightarrow Y$ con además un genuino $X \rightarrow Y$. El camino de puerta trasera $X \leftarrow S \rightarrow Y$ está abierto, así que la pendiente transversal bruta mezcla el efecto real del momentum con la prima sectorial. Ajusta por $S$ — corre el momentum dentro de cada sector, o neutraliza por sector la señal — y la puerta trasera se cierra.

Concretamente, supón que la pendiente bruta agrupada de $Y$ sobre $X$ es de $+0,50\%$ por unidad de señal. Descomponla: el genuino efecto de momentum intrasectorial es $+0,30\%$, y el $+0,20\%$ restante es la mezcla entre sectores (la tecnología resultó ser a la vez de alto momentum y alto retorno esa década). Neutraliza por sector y recuperas $+0,30\%$ — más pequeño, pero es el número que sobrevive a la intervención. El $+0,20\%$ era una apuesta sectorial disfrazada de momentum.

Cuándo usarlo

Usad el criterio de la puerta trasera cada vez que vayáis a echar mano de una variable de control, antes de teclearla en la regresión. Dibuja el DAG supuesto, lista los caminos de puerta trasera y elige el conjunto más pequeño que los bloquee todos sin contener nada aguas abajo de la señal. Si no podéis nombrar el camino de puerta trasera que un control pretende cerrar, todavía no tenéis una razón para incluirlo — y puede que tengáis una razón para excluirlo.

El sesgo de colisionador: condicionar por un efecto común fabrica una correlación

Analogía. Entre todos los restaurantes que siguen abiertos tras cinco años, los de comida mediocre tienden a tener una ubicación de escándalo, y los de ubicación pésima tienden a tener una comida fenomenal. ¿Acaso la buena comida causó malas ubicaciones? Por supuesto que no — las dos son independientes cuando un restaurante abre. Pero la supervivencia es un colisionador: sigues abierto si la comida o la ubicación es lo bastante buena. Una vez que miras solo a los supervivientes (condicionaste por el colisionador), saber que un superviviente tiene mala comida te dice que su ubicación debe de estar tirando del carro. La correlación negativa es real en los datos y enteramente fabricada por el acto de mirar solo a los supervivientes.

Definición. Un colisionador en un camino es un nodo donde se encuentran dos cabezas de flecha: $X \rightarrow Z \leftarrow Y$. A diferencia de un confusor, un colisionador bloquea su camino por defecto — ninguna asociación fluye a través de un colisionador no condicionado. Condicionar por un colisionador (controlar por él, filtrar tu muestra por él, o condicionar por cualquier descendiente suyo) abre el camino e induce una asociación no causal entre $X$ e $Y$. En finanzas condicionáis por colisionadores constantemente sin daros cuenta: restringir a miembros del índice, a fondos supervivientes, a órdenes que se ejecutaron, a valores que pasaron un filtro de liquidez — cada uno es selección por un efecto común.

Ejemplo resuelto — los restaurantes supervivientes, con aritmética. Imagina 100 restaurantes nuevos. La calidad de la comida y la de la ubicación son tiradas de moneda independientes: cada una es Buena con probabilidad 1/2, así que las cuatro combinaciones tienen 25 restaurantes cada una.

Antes de condicionar, conocer la comida no te dice nada de la ubicación: $P(\text{buena ubicación} \mid \text{buena comida}) = 25/50 = 0.5$, idéntica a $P(\text{buena ubicación} \mid \text{mala comida}) = 25/50 = 0.5$. Correlación cero, por construcción.

Ahora aplica el colisionador de la supervivencia: un restaurante sigue abierto si la comida es buena O la ubicación es buena. El único grupo que muere es mala comida Y mala ubicación — esos 25 cierran. Entre los 75 supervivientes:

Recalcula entre los supervivientes: $P(\text{buena ubicación} \mid \text{buena comida}) = 25/50 = 0.50$, pero $P(\text{buena ubicación} \mid \text{mala comida}) = 25/25 = 1.00$. Un superviviente con mala comida tiene ahora la certeza de tener buena ubicación, frente a una tirada de moneda para los supervivientes de buena comida. Dos variables independientes están ahora fuertemente asociadas de forma negativa — puramente porque condicionamos por su efecto compartido. No se falseó ningún dato; solo miramos la subpoblación equivocada.

La traducción al trading es exacta. Filtra tu universo de backtest a los miembros actuales del índice (la pertenencia es un colisionador: una acción está en el índice si se hizo lo bastante grande por precio O por emisión) e induces relaciones espurias entre el historial de precios y los fundamentales. Estudia solo las órdenes limitadas ejecutadas (una ejecución es un colisionador: te ejecutan cuando tu precio era generoso O el mercado se movió a tu favor) y tu ventaja de ejecución medida queda sesgada por la selección sobre la ejecución.

Cuándo usarlo

Antes de añadir cualquier control o cualquier filtro de muestra, hazte una pregunta: ¿es esta variable un efecto común de cosas que me importan? Si la respuesta es sí — supervivencia, pertenencia, ejecución, “pasó el filtro”, “llegó a producción” — entonces condicionar por ella (incluso en silencio, por cómo construiste el conjunto de datos) abre un camino espurio. Deja los colisionadores fuera del conjunto de ajuste, y construye tu universo en tiempo puntual para no estar condicionando por la supervivencia por accidente.

Malos controles: los mediadores y las variables postratamiento escurren el efecto

Analogía. Quieres saber si un fertilizante hace las plantas más altas. El fertilizante funciona haciendo que la planta eche más hojas, que captan más luz, lo que impulsa la altura. Si “controlas por el número de hojas” para ser riguroso, acabas de preguntar: manteniendo fijo el recuento de hojas, ¿añade altura el fertilizante? — y la respuesta es más o menos no, porque las hojas eran cómo funcionaba. No mediste el efecto del fertilizante; lo amputaste. Un mediador es el mecanismo, y controlar por el mecanismo oculta el efecto que viniste a encontrar.

Definición. Un mediador es una variable en el camino causal del tratamiento al resultado: $X \rightarrow M \rightarrow Y$. Una variable postratamiento es cualquier variable causalmente aguas abajo de $X$. La primera cláusula del criterio de la puerta trasera — ningún descendiente de $X$ — existe precisamente para prohibirlas. Controlar por un mediador elimina el efecto indirecto (la parte de la influencia de $X$ que viaja a través de $M$), así que una regresión que “controla por $M$” estima solo el efecto directo $X \rightarrow Y$, no el efecto total $\text{directo} + \text{indirecto}$ — y el efecto total es lo que recauda vuestro P&L. Peor aún, controlar ciertas variables postratamiento (sobre todo las que además son efectos comunes de $Y$ y otra cosa) puede abrir caminos de colisionador, añadiendo sesgo encima del mecanismo perdido. El término de Andrew Gelman para esta fauna es acertado: un “zoo de malos controles”.

Ejemplo resuelto — controlando hasta hacer desaparecer tu propia ventaja. Tu señal $X$ genera un efecto total de retorno del mes siguiente de $+0,40\%$. Su mecanismo: los valores de alta señal asumen más volatilidad realizada $M$, y esa volatilidad gana una prima. Descompón el efecto total:

• Camino directo $X \rightarrow Y$ (efecto no vía volatilidad): $+0,15\%$.
• Camino indirecto $X \rightarrow M \rightarrow Y$ (efecto vía volatilidad): $+0,25\%$.
• Efecto total: $0,15\% + 0,25\% = +0,40\%$.

Ahora “controlas por la volatilidad realizada”. La regresión mantiene $M$ fijo, así que el indirecto $+0,25\%$ queda cortado y tu coeficiente sobre $X$ marca $+0,15\%$. Concluyes que la señal es débil y recortas su asignación — pero la estrategia en vivo nunca mantiene la volatilidad fija; gana el $+0,40\%$ completo. No quitaste sesgo a la estimación; mediste el estimando equivocado. El control “seguro” os costó $0,25\%$ de alfa perfectamente real y operable.

Cuándo usarlo

Para cada candidato a control, clasifícalo en el DAG antes de incluirlo: ¿es una causa común (un confusor — inclúyelo), una variable en el camino (un mediador — exclúyelo si quieres el efecto total), o un efecto común (un colisionador — exclúyelo siempre)? Si una variable se realiza después de fijarse la señal, trátala como postratamiento y presuntamente mala hasta que hayas argumentado que es un genuino confusor pretratamiento. Cuando de verdad queráis descomponer efectos directos frente a indirectos, hacedlo deliberadamente con análisis de mediación — nunca por accidente vía un regresor extra.

El sesgo en M y la falacia de “más controles siempre es más seguro”

Analogía. Añadir controles es como añadir medicamentos: cada uno es una intervención con una dirección, e interactúan entre sí. Un médico que recetara todos los fármacos de la farmacia “por seguridad” mataría al paciente — no porque ningún fármaco ayude, sino porque los equivocados, y las combinaciones equivocadas, hacen daño. El movimiento competente es un diagnóstico (leer el grafo) seguido de una receta dirigida (el conjunto de ajuste suficiente), no una manguera.

Definición. El sesgo en M es la trampa que rompe la intuición de que “los controles solo pueden ayudar” incluso para variables pretratamiento. Considera dos variables no observadas $U_1$ y $U_2$, con $U_1 \rightarrow X$, $U_2 \rightarrow Y$, y una variable medida $Z$ que es un efecto común $U_1 \rightarrow Z \leftarrow U_2$. La forma dibuja una “M”. El camino $X \leftarrow U_1 \rightarrow Z \leftarrow U_2 \rightarrow Y$ está bloqueado en el colisionador $Z$, así que $X$ e $Y$ no están confundidas — hasta que controlas por $Z$, lo que abre el colisionador y crea asociación entre $U_1$ y $U_2$, y de ahí una puerta trasera entre $X$ e $Y$. Añadiste un control y fabricaste confusión. Fíjate en que $Z$ aquí es pretratamiento, así que “controla solo variables pretratamiento” no te salva; tienes que leer la estructura.

Ejemplo resuelto — los cuatro papeles, una decisión cada uno. Supón que el verdadero efecto total de la señal $X$ sobre el retorno $Y$ es $+0,30\%$. Esto es lo que hace tu coeficiente medido bajo cada tipo de control añadido:

Lee hacia abajo la columna “¿Controlarla?”: la respuesta es Sí, Opcional, No, No. No hay ninguna fila que diga “siempre sí”. Esa única columna es la refutación de “más controles siempre es más seguro”.

Cuándo usarlo

Tratad cada especificación de regresión como una afirmación causal que debe justificarse sobre un DAG, no como un fregadero que maximizar. Cuando alguien proponga añadir un control, exige el camino que cierra y comprueba que no abre ninguno — vigila especialmente los colisionadores pretratamiento (la trampa del sesgo en M) que se hacen pasar por inocentes. El número correcto de controles es “exactamente el conjunto de ajuste suficiente”, y ese número suele ser pequeño.

Releer el zoo de factores: confusión más comparaciones múltiples

Analogía. El zoo de factores es un salón de los espejos construido por mil investigadores. La mayoría de los “animales nuevos” son reflejos de las mismas pocas criaturas reales (mercado, tamaño, valor, rentabilidad, momentum) vistas desde un ángulo nuevo — ese es el espejo de la confusión. Y las pocas bestias genuinamente de aspecto novedoso son sobre todo taxidermia estadística: si diez mil personas fotografían cada una ruido aleatorio, algunas fotos parecerán exactamente un unicornio, y la revista imprime los unicornios. Ese segundo espejo es el de las comparaciones múltiples, y el marco que la revista pone alrededor de los ganadores — seleccionar por el estadístico t — es un colisionador.

Definición. Las dos enfermedades del zoo se corresponden una a una con esta lección:

1. Confusión (redundancia). Un factor “nuevo” rara vez es una nueva causa de retornos; suele estar correlacionado con — confundido por — un pequeño conjunto de factores y exposiciones conocidos. El tratamiento correcto es exactamente el movimiento de la puerta trasera: controlar por los factores conocidos (regresar los retornos del nuevo factor sobre el conjunto establecido, comprobar si el alfa sobrevive). La mayoría no sobreviven. Esto es buen control: estás bloqueando genuinos caminos de puerta trasera a través de exposiciones compartidas.

2. Comparaciones múltiples + selección por la significación. Con miles de señales candidatas probadas, el número esperado de falsos “descubrimientos” en un umbral del 5% es enorme. El HARKing (formular hipótesis después de conocer los resultados, Hypothesising After the Results are Known) y elegir la especificación que maximizó el estadístico t son formas de condicionar por un colisionador: la significación es un efecto común de (efecto verdadero) y (ruido afortunado), y seleccionar tu muestra de resultados publicados por “fue significativo” abre un camino espurio que hace que el ruido parezca señal. La famosa respuesta de Harvey, Liu y Zhu — elevar el listón del estadístico t a aproximadamente 3,0, no 2,0 — es una corrección de comparaciones múltiples, prima del desinflado del Sharpe de tus cursos anteriores.

La línea divisoria limpia: controlar por factores conocidos es buen bloqueo de puerta trasera; minar datos para un nuevo factor y seleccionarlo por su estadístico t es sesgo de colisionador/selección. La misma palabra — “controlar” o “seleccionar” — con consecuencia causal opuesta, según el lado del grafo en el que estés.

Ejemplo resuelto — cómo encogen los 316. Supón que una encuesta recopila 316 factores publicados. Hazlos pasar por los dos filtros con números redondos:

• Inicio: 316 factores candidatos.
• Filtro de confusión — regresa los retornos de cada uno sobre un conjunto parsimonioso de factores conocidos; conserva solo aquellos con alfa que sobrevive. Digamos que aproximadamente el 80% son reempaquetados redundantes. Supervivientes: $316 \times (1 - 0.80) \approx \mathbf{63}$.
• Filtro de comparaciones múltiples — reevalúa los 63 con un listón de estadístico t de 3,0 en lugar de 2,0 (corrigiendo por las miles de pruebas silenciosas detrás de los 316), y exige persistencia fuera de muestra. Digamos que dos tercios fallan. Supervivientes: $63 \times (1 - 0.67) \approx \mathbf{21}$.

De 316 a unos 21 — y el orden importa: la confusión (redundancia) y las comparaciones múltiples (selección por la significación) son fallos distintos, así que necesitas ambos filtros, igual que en el curso anterior aprendiste que el sobreajuste y la confusión son ortogonales y cada uno necesita su propia defensa. Los 295 que cayeron no eran todos “sobreajustados” en el sentido ingenuo; el grueso eran duplicados confundidos, y el resto eran artefactos de selección.

Cuándo usarlo

Al evaluar cualquier “nuevo factor” — el vuestro o el de un paper — dividid el diagnóstico en dos. Primero corre la prueba de la puerta trasera: ¿sobrevive su alfa al control por los factores que ya operas? Si no, es un duplicado confundido, punto. Si sobrevive, hazte la pregunta de las comparaciones múltiples: ¿entre cuántas especificaciones y señales silenciosas fue seleccionada esta, y supera la ventaja un listón que tenga en cuenta esa selección fuera de muestra? Solo un factor que pasa ambas — ni confundido, ni artefacto de selección — se gana el capital.

Recapitulación

Llegasteis creyendo que la cura de la confusión era el control, y os marcháis sabiendo que el control es un bisturí, no una manguera. El criterio de la puerta trasera nombra el conjunto correcto: bloquea todo camino que entre en el tratamiento, no abras ninguno, no incluyas nada aguas abajo. El sesgo de colisionador es el inverso de la regla del confusor — un efecto común sigue sellado hasta que condicionas por él (lo controlas, lo filtras, estudias solo a los supervivientes / miembros del índice / órdenes ejecutadas), y entonces inyecta una correlación, normalmente con el signo equivocado. Los malos controles son la otra amputación: un mediador en el camino causal escurre el mismísimo efecto que operas, y el sesgo en M demuestra que incluso un control pretratamiento puede fabricar confusión. “Más controles siempre es más seguro” muere en el acto: la respuesta hacia abajo en la columna es Sí, Opcional, No, No. Y el zoo de factores es toda esta lección en estado salvaje — sobre todo duplicados confundidos más selección por el estadístico t — así que lo encoges con dos filtros distintos, porque la confusión y las comparaciones múltiples son dos enfermedades distintas, igual que el sobreajuste y la confusión lo fueron antes que ellas.