Regla de Bayes y tasas base

En la lección anterior conocisteis el reparto — a priori, verosimilitud, a posteriori — y los visteis combinarse para actualizar una creencia. Esta lección asciende esa intuición a una máquina de verdad: el teorema de Bayes, escrito al completo, con cada término nombrado y la aritmética mostrada hasta el último dígito. Luego lo usamos para destapar el error más caro del trading cuantitativo: confundir «esta señal se dispara cuando hay una ventaja real» con «cuando esta señal se dispara, hay una ventaja real». Esas dos frases suenan a gemelas. No son ni primas, y el hueco entre ellas es donde mueren en silencio las estrategias — y las carreras profesionales.

Aquí está la trampa de un tirón: un detector que se dispara en el 90% de las ventajas de trading genuinas puede, aun así, equivocarse dos de cada tres veces sobre si cualquier disparo concreto es real. Suena imposible. Es aritmética, y al final de esta página lo calcularéis vosotros mismos.

El teorema de Bayes, escrito al completo

La analogía. Pensad en la regla de Bayes como un cambio de divisas para la evidencia. Entráis sosteniendo una creencia en una moneda — vuestra a priori, lo que pensabais antes de ver los datos. Los datos llegan con un tipo de cambio — la verosimilitud, con cuánta fuerza estos datos favorecen vuestra hipótesis. El cambista os devuelve vuestra creencia en una moneda nueva — la a posteriori, lo que deberíais pensar ahora. Toda la fórmula no es más que el recibo del mostrador de cambio.

La fórmula. Para una hipótesis $H$ (digamos, «hoy hay una ventaja real») y unos datos observados $D$ (digamos, «la señal se disparó»):

$P(H\mid D)=\frac{P(D\mid H)\,P(H)}{P(D)},\quad P(D)=P(D\mid H)P(H)+P(D\mid \neg H)P(\neg H).$

Nombrad cada pieza, porque confundirlas es exactamente como ocurren los desastres:

• $P(H\mid D)$ — la a posteriori: probabilidad de que la hipótesis sea cierta dado que visteis los datos. Esto es lo que de verdad queréis saber.
• $P(D\mid H)$ — la verosimilitud: probabilidad de ver estos datos si la hipótesis fuera cierta. (La sensibilidad de vuestra señal, «se dispara en el 90% de las ventajas reales».)
• $P(H)$ — la a priori: probabilidad de la hipótesis antes de cualquier dato. (La tasa base de las ventajas.)
• $P(D)$ — la marginal (o evidencia): la probabilidad total de ver estos datos de algún modo, contando todas las maneras en que podrían ocurrir. Es el normalizador que convierte la a posteriori en una probabilidad como Dios manda.
• $\neg H$ — «no $H$»: todo mundo en el que la hipótesis es falsa. $P(D\mid \neg H)$ es vuestra tasa de falsos positivos.

La línea de abajo $P(D) = P(D\mid H)P(H) + P(D\mid \neg H)P(\neg H)$ es la que carga con el peso. Dice: los datos pueden aparecer de dos maneras — cuando $H$ es cierta y cuando $H$ es falsa — y debéis contar ambas fuentes. Saltaos el segundo término y ya habéis cometido la falacia de abajo.

La falacia de la inversión: P(D|H) no es P(H|D)

Esta es la idea que sostiene toda la lección, así que la martillearemos. La verosimilitud $P(D\mid H)$ y la a posteriori $P(H\mid D)$ son números distintos, e intercambiarlos es la falacia de la inversión — conocida en los tribunales como la falacia del fiscal.

La versión judicial. Un fiscal anuncia: «Solo hay una probabilidad entre un millón de que este ADN coincida con una persona inocente — ¡así que el acusado es culpable con una probabilidad de un millón a uno!». Eso es pasar $P(\text{coincidencia}\mid \text{inocente})$ por $P(\text{inocente}\mid \text{coincidencia})$. Pero en una ciudad de diez millones, alrededor de diez personas inocentes también coinciden. La probabilidad de que el acusado sea el culpable dada la coincidencia no es de un millón a uno; con un culpable verdadero y diez coincidencias inocentes, está más cerca de 1 entre 11. La misma evidencia, conclusiones salvajemente distintas — porque el fiscal ignoró cuántas personas inocentes había de partida (la tasa base).

La versión trading. «Mi señal se dispara en el 90% de las ventajas reales» es $P(\text{dispara}\mid \text{ventaja})$. Os dice cómo de bueno es el detector. No os dice que un disparo tenga un 90% de probabilidad de ser real — eso sería $P(\text{ventaja}\mid \text{dispara})$, que también depende de lo raras que sean las ventajas y de con qué frecuencia la señal grita «que viene el lobo» en días sin ventaja. Un backtest que presume de tasa de aciertos mientras esconde la tasa base os está vendiendo el condicional equivocado.

Tasas base y razonamiento por frecuencias naturales

¿Por qué una a priori rara arruina una prueba potente? Porque la prueba se ejecuta contra una población, y cuando las ventajas reales son raras, el enorme montón de días sin ventaja genera una avalancha de falsas alarmas que puede ahogar los aciertos genuinos — aunque cada día individual sea solo rara vez una falsa alarma.

Las probabilidades en bruto hacen difícil sentir esto. El arreglo, debido al psicólogo Gerd Gigerenzer, es el razonamiento por frecuencias naturales: dejad de hacer malabares con porcentajes e imaginad en cambio una multitud concreta — «de 1000 señales…» — y contad cabezas. Sale la misma regla de Bayes, pero ahora es solo cuestión de clasificar personas en cajas, y la tasa base es imposible de olvidar porque es, literalmente, el tamaño de una caja.

Cómo las frecuencias naturales reconstruyen Bayes

Paseamos una población de 1000 por la prueba:

1. Dividid por la a priori. Una tasa base del 5% significa que 50 de las 1000 son ventajas reales; 950 no lo son. (Ahí está la tasa base, en primer plano.)
2. Aplicad la verosimilitud a las reales. Una sensibilidad del 90% significa que 45 de las 50 ventajas reales se disparan.
3. Aplicad la tasa de falsos positivos al resto. Una tasa de falsos positivos del 10% significa que 95 de los 950 días sin ventaja también se disparan.
4. Leed la a posteriori en la caja de las señaladas. Total señaladas = 45 + 95 = 140. De esas, solo 45 son reales. Así que P(ventaja dado disparo) = 45 de 140.

Sin ansiedad de fórmulas, sin condicional invertido — solo cuatro conteos. Ese es todo el método.

Ejemplo resuelto al completo: la señal «con un 90% de precisión»

Clavemos los números del paseo por frecuencias naturales de arriba, con la aritmética al descubierto.

El planteamiento.

• Tasa base de una ventaja real: $P(\text{ventaja}) = 5\% = 0.05$.
• Sensibilidad: $P(\text{dispara}\mid \text{ventaja}) = 90\% = 0.90$.
• Tasa de falsos positivos: $P(\text{dispara}\mid \neg\text{ventaja}) = 10\% = 0.10$.

Contad sobre 1000 señales.

La a posteriori.

$P(\text{ventaja}\mid \text{dispara}) = \frac{45}{140} \approx 0.321 = 32\%.$

Leed eso y dejad que escueza: una señal que cualquiera llamaría «con un 90% de precisión» se equivoca, cuando se dispara, sobre la ventaja aproximadamente dos de cada tres veces. La sensibilidad del 90% era real; solo respondía a una pregunta — «¿cuántas ventajas reales capto?» — que las pérdidas y ganancias de nadie estaban planteando. La pregunta que plantea vuestro dinero — «dado un disparo, ¿es real?» — vuelve con un 32%, porque los 950 días sin ventaja arrojaron 95 falsas alarmas, y 95 es más del doble de las 45 verdaderas.

Sustituir en la fórmula confirma exactamente la respuesta basada en conteos:

$P(\text{ventaja}\mid \text{dispara}) = \frac{P(\text{dispara}\mid \text{ventaja})P(\text{ventaja})}{P(\text{dispara}\mid \text{ventaja})P(\text{ventaja}) + P(\text{dispara}\mid \neg\text{ventaja})P(\neg\text{ventaja})} = \frac{0.90 \times 0.05}{0.90 \times 0.05 + 0.10 \times 0.95} = \frac{0.045}{0.045 + 0.095} = \frac{0.045}{0.140} \approx 0.321.$

Mirad cómo se desploma la a posteriori

La cuadrícula de abajo es este ejemplo, hecha de 1000 cuadraditos. Los cuadrados azul-marca son ventajas reales que la señal captó (verdaderos positivos); los villanos cuadrados de acento son falsas alarmas (falsos positivos). La insignia de arriba es P(real dado señalada) — la a posteriori — calculada en vivo como VP / (VP + FP).

Ahora haced el experimento que enseña toda la lección: arrastrad el deslizador de la tasa base HACIA ABAJO hacia el 1% y ved cómo la a posteriori se desploma aunque nunca tocasteis ni la sensibilidad ni la tasa de falsos positivos. El detector no empeoró — el mundo simplemente se volvió más raro, y una a priori más rara significa que casi todo disparo es una falsa alarma. Luego arrastrad la tasa base hacia arriba y ved cómo trepa la a posteriori. La misma prueba, veredictos opuestos, decididos enteramente por la tasa base.

La misma prueba, distinta a priori: la a posteriori oscila

La a posteriori no es una propiedad de la prueba — es una propiedad de la prueba multiplicada por el mundo. Cambiad solo la tasa base y la conclusión puede voltearse de «ignóralo» a «actúa». Mantened la señal fija (sensibilidad 90%, tasa de falsos positivos 10%) y comparad dos mundos: ventajas raras (5%) frente a ventajas comunes (30%).

El mismo detector, intacto. En el mundo raro, un disparo tiene un 32% de probabilidad de ser real — sobre todo ruido, ignóralo. En el mundo común, el disparo idéntico tiene un 79% de probabilidad de ser real — vale la pena actuar. La conclusión más que se duplicó, y nada de la prueba cambió. Por eso «¿es buena la señal?» es una pregunta incompleta: una señal es solo tan fiable como la tasa base en la que caza. Cazad ventajas raras y hasta una señal afilada miente la mayor parte del tiempo; cazad donde las ventajas abundan y la misma señal se vuelve fiable.

¿P(D|H) o P(H|D)? Clasificad las afirmaciones

La forma más rápida de inmunizaros contra la falacia del fiscal es entrenar qué condicional está afirmando de verdad una frase. Cada afirmación de abajo es o bien una verosimilitud P(datos dado H) — una propiedad de la prueba, «dada la verdad, ¿cómo se comportan los datos?» — o bien una a posteriori P(H dado datos) — lo que de verdad queréis, «dados los datos, ¿cuál es la verdad?».

Conceptos erróneos que cuestan dinero de verdad

Concepto erróneo 1 — ignorar por completo la tasa base. El error de portada: citar la sensibilidad («¡90% de precisión!») y tratarla como la probabilidad de que un disparo sea real. Olvida los 950 días sin ventaja que arrojan falsas alarmas. Exigid siempre la a priori.

Concepto erróneo 2 — tratar la «precisión de la prueba» como la respuesta. «Precisión» es una palabra resbaladiza. Una señal que nunca se dispara tiene un «95% de precisión» cuando las ventajas son raras al 5% — acierta en todos los días tranquilos. La precisión empaqueta dos condicionales que necesitáis separados (sensibilidad y especificidad) y aun así no os dice nada sobre P(ventaja dado disparo) sin la tasa base. Pedid la sensibilidad, la tasa de falsos positivos y la a priori — nunca un único número de «precisión».

Concepto erróneo 3 — contar dos veces señales correlacionadas. La regla de Bayes multiplica evidencia independiente. Apilad tres señales que en secreto leen todas el mismo factor de momentum y multiplicaréis sus verosimilitudes como si tuvierais tres testigos independientes — cuando en realidad tenéis un testigo gritando tres veces. La a posteriori se hincha hacia una falsa confianza. Las confirmaciones genuinamente independientes son oro; las correlacionadas son la misma evidencia disfrazada.

Concepto erróneo 4 — «el valor p es la probabilidad de que la estrategia sea basura». El valor p de un backtest es $P(\text{datos así de buenos}\mid \text{sin ventaja real})$ — una verosimilitud, condicionada a la hipótesis nula. No es $P(\text{sin ventaja real}\mid \text{datos así de buenos})$, la a posteriori que de verdad queréis. Voltearlos es la falacia de la inversión con bata de laboratorio. Para obtener la a posteriori necesitaríais las cuotas a priori de que una estrategia probada al azar tenga una ventaja — habitualmente sombrías — que es justo por qué un backtest «significativo» muere tan a menudo en vivo.

Cómo no dejarse engañar

Un kit de campo en tres partes para la próxima vez que alguien os agite una señal vistosa:

1. Pedid siempre la tasa base. «¿Con qué frecuencia es esto cierto antes de la señal?» Si no os pueden dar la a priori, no os pueden dar la a posteriori — punto. Una tasa de aciertos sin una tasa base es media fracción.
2. Razonad en conteos, no en porcentajes. Traducid cada afirmación a «de 1000…» y clasificad físicamente la multitud en verdaderos positivos, falsos positivos y el resto. La tasa base se vuelve una caja que no podéis extraviar, y la falacia del fiscal se vuelve visiblemente absurda.
3. Cuidado con las pruebas múltiples y la minería de datos. Probad 1000 señales aleatorias con un umbral de significación del 5% y aproximadamente 50 parecerán «significativas» por pura suerte — un montón de falsos positivos fabricados por la propia búsqueda. Cuantas más señales probéis, más baja la a priori de que cualquier superviviente sea real, y más fuerte se desploma la a posteriori. La cura es contabilidad honesta: registrad cuántas hipótesis probasteis, exigid confirmación fuera de muestra, y tratad un único backtest dragado con la sospecha que merece.

Atando cabos

El teorema de Bayes, $P(H\mid D)=P(D\mid H)P(H)/P(D)$, convierte el condicional que podéis medir — la verosimilitud $P(D\mid H)$, la sensibilidad de vuestra señal — en el que de verdad necesitáis — la a posteriori $P(H\mid D)$, la probabilidad de que un disparo sea real. El puente entre ellos es la tasa base $P(H)$, y olvidarla es la falacia de la inversión (alias falacia del fiscal): «el 90% de las ventajas se disparan» no es «un disparo es en un 90% una ventaja». Cuando las ventajas son raras, la marginal $P(D)$ se llena de falsas alarmas, y hasta una señal con un 90% de sensibilidad puede acertar solo el 32% de las veces — equivocándose sobre la ventaja dos de cada tres intentos. El antídoto es el razonamiento por frecuencias naturales: clasificad 1000 sucesos en verdaderos y falsos positivos, donde la tasa base es una caja que no podéis perder. Pedid siempre la a priori, razonad siempre en conteos, y tratad siempre un backtest vistoso — nacido de una búsqueda sobre muchas señales — como el falso positivo que con más probabilidad es.

A continuación, dejamos atrás los detectores y convertimos a Bayes en un dial continuo. Cuando la evidencia llega poco a poco y las hipótesis viven en un espectro en lugar de un interruptor cierto/falso, conoceremos las a priori conjugadas — el truco elegante que os deja actualizar una creencia con un lápiz en lugar de una integral — y veremos cómo una distribución a priori se afila hacia una a posteriori a medida que entran los datos.