Experimentos naturales y diferencias en diferencias

Has aprendido que un backtest mide asociación, que la asignación es una apuesta causal y que los factores de confusión fabrican ventajas que ningún reparto train/test puede atrapar. Así que la pregunta obvia que viene a continuación es: ¿dónde llegas tú a ejecutar un experimento de verdad en los mercados? No puedes aleatorizar qué valores entran en el S&P 500. No puedes echar a cara o cruz una prohibición de venta en corto sobre la mitad de la cinta. Los ensayos controlados aleatorizados — el patrón oro de la inferencia causal — parecen imposiblemente fuera de tu alcance.

Salvo que el mundo los ejecuta por ti, constantemente, y se olvida de avisarte. Un comité de índices empuja un valor al otro lado de un corte mecánico. Un regulador prohíbe la venta en corto sobre una lista de nombres y no sobre otra. Una bolsa reduce a la mitad el tamaño del tick en un conjunto piloto de valores. Cada uno de estos es una asignación al tratamiento que tú no diseñaste y la empresa no eligió — y eso es exactamente lo que lo convierte en un casi-experimento. Esta lección te enseña a reconocer estos regalos, a medir su efecto con limpieza mediante estudios de eventos y diferencias en diferencias, y a interrogar el único supuesto — las tendencias paralelas — sobre el que todo el método descansa en silencio.

Experimentos naturales: cuando el mundo aleatoriza por ti

Analogía. Imagina un colegio que admite en la clase de mañana a todo niño que mida más de exactamente 120 cm, y en la de tarde a todos los más bajos. Un niño que mide 120,1 cm y otro que mide 119,9 cm son, a todos los efectos prácticos, el mismo niño — un milímetro es ruido. Y, sin embargo, una regla dura los lanza a salas distintas. Si la clase de mañana saca después una nota más alta en un examen, puedes culpar de forma creíble a la clase, no a los niños, porque cerca del corte los dos grupos eran intercambiables. La línea arbitraria del mundo hizo la aleatorización que tú no podías hacer.

Definición. Un experimento natural (o cuasiexperimento) es una situación en la que la asignación al tratamiento la determina algún proceso externo — una regla, un shock, un accidente de calendario — que es plausiblemente independiente de los demás determinantes del resultado, como si un investigador lo hubiera aleatorizado. Cuanto más se acerca la asignación a ser genuinamente aleatoria (condicionada a lo que puedes observar), más se aproxima el cuasiexperimento a un ECA verdadero, y de forma más creíble la diferencia posterior al evento entre tratados y no tratados es un efecto causal y no uno confundido.

Los especímenes financieros canónicos:

Ejemplo resuelto. Los índices Russell se reconstituyen una vez al año puramente según el ranking de capitalización a fin de mayo. Supón que dos empresas de mediana capitalización casi idénticas se sitúan en los puestos 998 y 1002. La Empresa A (puesto 998) se queda en el Russell 1000; la Empresa B (puesto 1002) cae al Russell 2000, donde ahora ostenta un peso en el índice mucho mayor porque el 2000 contiene compañías más pequeñas. Los fondos pasivos del Russell 2000 deben comprar la Empresa B; los fondos pasivos del Russell 1000 deben venderla. Nada en el negocio de la Empresa B cambió entre el puesto 998 y el 1002 — una astilla de capitalización, bien dentro del ruido de medición, volteó su pertenencia. Así que cualquier divergencia en sus precios durante las semanas siguientes es atribuible al shock de demanda de la reclasificación, no a los fundamentales. Esa es una estimación causal que te entregan gratis.

Cuándo usarlo

Recurre a un experimento natural siempre que sospeches de un factor de confusión que no puedes medir ni controlar — las situaciones de las que te advertían las lecciones anteriores. En lugar de intentar ajustar por cada camino de puerta trasera, encuentras una rebanada de la realidad donde el tratamiento se asignó por razones no relacionadas con esos caminos, y dejas que la aleatorización del mundo haga el trabajo que un control de regresión nunca pudo. El precio que pagas es la generalidad: una estimación de reconstitución limpia trata sobre reconstituciones, no sobre cada shock de demanda en cualquier lugar.

Estudios de eventos bien hechos: retornos anormales y CAR

Analogía. Un médico no juzga una fiebre leyendo el termómetro una vez; la compara con tu temperatura basal. 38,5 °C no significa nada hasta que sabes que normalmente rondas los 36,6 °C — la parte anormal es el 1,9 °C por encima de lo esperado para ti. Un estudio de eventos hace lo mismo con un valor: construye la “temperatura normal” del valor a partir de un periodo tranquilo previo al evento, y luego mide cuánto se aleja el retorno de la ventana del evento por encima o por debajo de esa basal. La desviación es el diagnóstico.

Definición. Elige una ventana de estimación (p. ej. 120 días de cotización, bien antes del evento) y ajusta un modelo de mercado: $R_{i,t} = \alpha_i + \beta_i R_{m,t} + \varepsilon_{i,t}$, donde $R_{i,t}$ es el retorno del valor, $R_{m,t}$ el del mercado, y $\hat\alpha_i, \hat\beta_i$ el intercepto y la beta ajustados. Luego, para cada día $t$ en la ventana del evento, el retorno anormal es

$AR_{i,t} = R_{i,t} - \left(\hat\alpha_i + \hat\beta_i\, R_{m,t}\right).$

El retorno anormal acumulado los suma a lo largo de la ventana: $CAR_i = \sum_{t} AR_{i,t}$. Si el evento no tuvo efecto, los $AR$ se dispersan en torno a cero y el $CAR$ se mantiene plano; un efecto genuino aparece como un $CAR$ que se separa de cero y se queda ahí.

Ejemplo resuelto. Un valor se añade al S&P 500. A partir de su ventana de estimación ajustamos $\hat\alpha = 0.01\%$ al día y $\hat\beta = 1.2$. A lo largo de la ventana del evento de tres días observamos sus retornos y los del mercado:

El valor subió un 4,0% bruto en tres días — pero un 1,1% de eso fue solo el mercado tirando de él hacia arriba (su beta de 1,2 en días de mercado positivo). Quita la parte esperada y el efecto de inclusión es un $CAR$ de aproximadamente +2,89%: el salto anormal se concentra en el día del anuncio y luego se desvanece hasta casi cero en t = +2, exactamente la firma de shock de demanda que los estudios de inclusión en índices reportan célebremente.

Cuándo usarlo

Usa un estudio de eventos cuando tengas un shock fechado e identificable sobre un conjunto concreto de nombres y un benchmark sensato para lo “normal”. Es el caballo de batalla para efectos de inclusión/exclusión, anuncios de fusiones y adquisiciones, fechas regulatorias y sorpresas de resultados. No es la herramienta cuando el evento golpea todo a la vez (sin retorno de benchmark limpio) o cuando la fecha es difusa y la anticipación emborrona la ventana — ahí necesitas un grupo de control que absorba el shock común, que es justo el sentido de la siguiente sección.

Diferencias en diferencias: resta la tendencia común

Analogía. Dos granjas vecinas tienen suelos distintos, así que sus cosechas nunca son iguales — esa es una ventaja inicial fija e injusta que no puedes hacer desaparecer a base de desearlo. Este año una granja instala riego; la otra no. Una sequía golpea a ambas. Si solo miraras el antes-y-después de la granja con riego, culparías al riego de la sequía. En cambio, mides cuánto cambió la cosecha de cada granja, y restas: la granja con riego cayó menos que la seca, y esa brecha — la diferencia de las dos diferencias — es el efecto del riego, limpio tanto de la brecha permanente de suelo como de la sequía compartida.

Definición. Con un grupo tratado y un grupo de control, cada uno observado antes y después del tratamiento, el estimador DiD es

$\widehat{DiD} = \big(\bar Y_{\text{tratado, después}} - \bar Y_{\text{tratado, antes}}\big) - \big(\bar Y_{\text{control, después}} - \bar Y_{\text{control, antes}}\big).$

La primera diferencia (tratado, después menos antes) contiene el efecto del tratamiento más cualquier tendencia temporal común más el nivel fijo del grupo tratado. La segunda diferencia (control, después menos antes) contiene la tendencia temporal común más el nivel fijo del grupo de control. Restar cancela la tendencia temporal común y las diferencias de grupo invariantes en el tiempo de un solo golpe, dejando el efecto del tratamiento — si los dos grupos hubieran tendido juntos en ausencia del tratamiento.

Ejemplo resuelto. Se impone una prohibición de venta en corto sobre una lista de valores bancarios (tratados). Comparamos su spread bid-ask medio (un coste, así que más bajo es mejor) con un conjunto emparejado de financieros no afectados (control), antes y después de la prohibición:

Léelo de dos formas equivalentes. Filas: los spreads tratados subieron +6,0 pb, los de control subieron +2,0 pb, así que $DiD = 6.0 - 2.0 = +4.0$ pb. Columnas: la brecha tratado-menos-control era +2,0 antes y +6,0 después, así que $DiD = 6.0 - 2.0 = +4.0$ pb. De cualquier manera, la prohibición ensanchó los spreads en unos 4,0 pb estimados, más allá de lo que les estuviera pasando a todos los financieros. Fíjate en lo que se restó: el grupo tratado siempre tuvo spreads más anchos (la brecha fija de +2,0, una diferencia invariante en el tiempo), y ambos grupos se ensancharon en 2,0 pb por el estrés a nivel de mercado (la tendencia común). DiD eliminó ambos y se quedó solo con el daño marginal de la prohibición.

Cuándo usarlo

Usa DiD cuando un shock golpea a un grupo identificable y no a otro, puedes observar ambos antes y después, y tienes un control defendible que comparte el entorno del grupo tratado. Brilla justo donde un estudio de eventos simple sufre: un shock a nivel de mercado que contamina la ventana del evento queda diferenciado por el control. La trampa — la validez entera del método — vive en un supuesto que debes defender, no asumir.

El supuesto de tendencias paralelas: el muro de carga

Analogía. Dos coches circulan por una autopista, uno siempre 10 metros por delante del otro pero ambos manteniendo la misma velocidad — una brecha constante. Pisas el freno en el coche de atrás. ¿Cambió la brecha por tus frenos, o porque el coche de delante ya estaba acelerando para alejarse? DiD supone que el coche de delante (control) habría mantenido la misma velocidad, así que cualquier cambio en la brecha es tu frenazo. Si el coche de delante estaba en secreto acelerando todo el rato — tendencias no paralelas — culparás a tus frenos de una brecha que se ensanchaba de todos modos. El desfase constante de 10 metros nunca importó; que las velocidades coincidan lo es todo.

Definición. Las tendencias paralelas afirman que, en ausencia de tratamiento, el resultado medio de los grupos tratado y de control habría seguido la misma trayectoria — cambios iguales, no niveles iguales. El cambio antes-después observado del grupo de control es entonces un contrafactual válido de lo que el grupo tratado habría hecho sin tratar. Nunca puedes observar este contrafactual directamente (el grupo tratado fue tratado), así que estresas el supuesto indirectamente: pruebas de pre-tendencia (¿se movieron los dos grupos en paralelo en los periodos anteriores al tratamiento?) y periodos placebo (ejecuta DiD sobre una fecha de “tratamiento” falsa en la que no pasó nada — debería devolver ≈ cero).

Ejemplo resuelto — una tendencia violada. Reconsidera la prohibición de venta en corto, pero supón ahora que los bancos prohibidos ya se estaban deteriorando más rápido que los controles antes de la prohibición — una pre-tendencia divergente. Los datos honestos:

El DiD ingenuo usa solo Pre-1 y Después: $DiD = (14.0 - 8.0) - (8.0 - 6.0) = 6.0 - 2.0 = +4.0$ pb — los mismos +4,0 que obtuvimos antes. Pero mira la pre-tendencia: entre Pre-2 y Pre-1 la brecha ya se ensanchó de 0,0 a +2,0 pb sin ninguna prohibición a la vista. El grupo tratado iba por un camino divergente. Si esa deriva preexistente de +2,0 pb por periodo simplemente continuara, la brecha habría alcanzado +4,0 tras la prohibición de todas formas, sin ningún efecto de la prohibición. Así que el verdadero efecto causal está más cerca de $6.0 - 4.0 = +2.0$ pb, no de +4,0. El DiD ingenuo cuenta dos veces la pre-tendencia y sobreestima el daño de la prohibición en un 100%. La misma aritmética, respuesta equivocada — porque el muro de carga (tendencias paralelas) tenía una grieta que la tabla 2×2 no podía ver.

Cuándo usarlo

Testea siempre las tendencias paralelas antes de fiarte de un DiD — nunca reportes una estimación DiD sin mostrar las pre-tendencias y, donde sea posible, un placebo. Si los grupos divergían visiblemente antes del tratamiento, o lo arreglas (controles mejor emparejados, tendencias específicas de grupo, un control sintético construido para coincidir con la pre-tendencia) o rebajas tu afirmación de “esto es el efecto” a “esto es una cota superior/inferior”. La disciplina es idéntica al resto del curso: enuncia el contrafactual, y luego atácalo antes de que lo haga tu P&L.

Ponerlo a trabajar en el trading

Analogía. Un experimento natural en el trading es una muestra gratis en un supermercado: te dice, honestamente, a qué sabe ese producto — pero no te dice si te gustará toda la cocina. Puedes usar una reconstitución para aprender con precisión cuánto empuja el precio un shock de demanda de compra forzada, o usar Reg SHO para aprender con precisión cómo mueven la volatilidad las restricciones a la venta en corto. Lo que no puedes hacer es suponer que el siguiente shock, de forma distinta, se comporta igual. La muestra es limpia; la extrapolación corre de tu cuenta.

Ejemplo resuelto — convertir el diseño en una operación. Combina las dos herramientas: usa un estudio de eventos para dimensionar el shock de demanda de la reconstitución, y un DiD para limpiarlo del movimiento del mercado. Supón que tu CAR del estudio de eventos sobre las inclusiones es de forma fiable +2,9% concentrado en la ventana anuncio-a-efectivo, mientras que un control emparejado de valores rozados (en el ranking justo fuera del corte) muestra +0,4% en los mismos días — un rally común de pequeña capitalización. El efecto de presión de precio atribuible, limpio por DiD, es $2.9\% - 0.4\% = +2.5\%$. Si se revierte de forma fiable después (la presión de precio se deshace una vez que los fondos indexados terminan de comprar), la operación consiste en aportar liquidez al flujo forzado y desvanecer el sobreimpulso. Esa es una hipótesis causal — “el movimiento es presión mecánica, no información, así que revierte a la media” — ganada a partir de un cuasiexperimento, no minada de un backtest.

Los límites honestos. Las ventajas cuasiexperimentales vienen con factura:

Cuándo usarlo

Lidera con experimentos naturales cuando lo que está en juego causalmente sea grande y el factor de confusión sea el riesgo real — dimensionar una estrategia nueva, validar un supuesto de microestructura, o zanjar un debate de “¿de verdad mueve la demanda el precio?” que un backtest solo puede dejar en el aire. Trata cada uno como una medición precisa pero local: ingresa la validez interna, descuenta con fuerza por la validez externa y la N pequeña, y nunca dejes que un solo experimento limpio te convenza de una posición mayor de lo que su puñado de eventos puede sostener.

Recapitulación

Los mercados no ejecutan ensayos aleatorizados, pero te entregan cuasiexperimentos a puñados: reconstituciones de índices cuyos cortes mecánicos hacen la pertenencia como-si-aleatoria, shocks regulatorios que tratan a una lista de nombres y perdonan a otra, pilotos de microestructura que aleatorizan las propias reglas. Para medir el efecto con limpieza tienes dos herramientas. Un estudio de eventos resta el retorno esperado (de un modelo de mercado previo al evento) del real, sumando los retornos anormales en un CAR que muestra si — y cuándo — el evento movió el precio. Un diferencias en diferencias va más allá cuando un shock a nivel de mercado contaminaría la ventana: resta el cambio del grupo de control del cambio del grupo tratado, cancelando de un golpe tanto la brecha de nivel permanente como la tendencia temporal común. Pero DiD se sostiene o se cae sobre las tendencias paralelas — que, de no haber tratamiento, los dos grupos se habrían movido juntos — un supuesto que estresas con pruebas de pre-tendencia y placebos pero que nunca puedes probar del todo. Bien usados, estos diseños defienden contra el factor de confusión no medido que ninguna regresión alcanza; usados ingenuamente, cuentan dos veces una pre-tendencia o atribuyen mal un movimiento a nivel de mercado. La ventaja que compran es nítida, creíble y local — ingresa la validez interna, mantente humilde sobre la validez externa, y nunca apalanques un evento único más allá de lo que su N pequeña puede cargar.