Backtesting del VaR y sus límites

Un número de VaR es una frasecita segura de sí misma: “estamos un 99% seguros de que mañana no perderemos más de 4,2 millones de $.” Encantador. Pero la confianza es barata — cualquiera puede prometer un número. Toda la gracia de un VaR al 99% es que hace una afirmación falsable: a lo largo de muchos días, las pérdidas deberían rebasar la línea en torno al 1% de ellos, ni más ni menos. Eso no es una sensación; es un recuento que podéis comprobar.

El backtesting es la auditoría. Alineáis el VaR previsto de cada día frente a la pérdida que realmente ocurrió, y contáis los días en que la realidad atravesó la línea. Demasiadas roturas y vuestro modelo es peligrosamente optimista. Demasiado pocas y es un cobarde, bloqueando capital que no necesitabais. Un modelo que nunca se equivoca es un modelo que miente sobre con qué frecuencia acierta. Aprendamos a contar — y luego aprendamos exactamente dónde el VaR sigue mintiendo de todos modos.

¿Estuvo de acuerdo la realidad? Contad las roturas

Analogía. Una app del tiempo que dice “10% de probabilidad de lluvia” no está equivocada cuando llueve — está equivocada si, a lo largo de cien días así, llueve en cuarenta de ellos. Un pronóstico probabilístico no se juzga por un solo día, sino por su tasa de acierto a lo largo de muchos días. El VaR es exactamente ese tipo de pronóstico, y el backtesting es exactamente ese tipo de auditoría.

Definición. Una excepción (o rotura) es un día en el que la pérdida realizada superó el VaR previsto el día anterior. El backtesting compara la serie temporal del VaR previsto con la serie temporal del P&L realizado y cuenta las excepciones. El recuento es la evidencia bruta; todo lo que sigue — Kupiec, Basel — es solo una regla para decidir si ese recuento es aceptable.

Arrastrad el control de confianza de abajo. Un VaR más estricto al 99% fija un límite de pérdida más profundo, así que menos días lo atraviesan; relajadlo al 95% y la línea sube, capturando más roturas. Las excepciones se iluminan en rojo, y el resumen las contrasta con el recuento que esperaríais estadísticamente.

La tasa esperada de excepciones

Antes de poder decir que un modelo está equivocado, necesitáis saber qué aspecto tiene lo correcto. Para un nivel de confianza $c$ a lo largo de $N$ días, el número esperado de excepciones es simplemente:

$\text{Excepciones esperadas} = (1 - c)\,N$

Ejemplo resuelto. Un VaR al 99% a lo largo de un año de cotización ($N = 250$): excepciones esperadas $= (1 - 0.99) \times 250 = 0.01 \times 250 = 2.5$. Así que un modelo sano debería romperse aproximadamente 2 o 3 veces al año. Un VaR al 95% durante el mismo año espera $0.05 \times 250 = 12.5$ roturas — veinte veces más, porque el 95% es una promesa mucho menos exigente.

Ahora la parte que la gente olvida: ambas direcciones son fracasos.

• Demasiadas roturas (digamos 8 cuando esperabais 2,5) → vuestro VaR es demasiado bajo. Estáis infraestimando sistemáticamente el riesgo, manteniendo demasiado poco capital, y una mala semana podría ser ruinosa. Este es el fracaso peligroso.
• Demasiado pocas roturas (digamos 0 cuando esperabais 2,5) → vuestro VaR es demasiado alto. El modelo es excesivamente cauto, congelando capital que podríais haber desplegado y mintiendo sobre lo seguros que estáis en realidad. Un número de riesgo que nunca se pone a prueba no es conservador; está sin calibrar.

Un buen modelo aterriza cerca de la tasa esperada por ambos lados. “Nunca roto” no se gana ninguna medalla de oro.

El test POF de Kupiec

Contar es fácil; decidir es la parte difícil. Si esperabais 2,5 roturas y obtuvisteis 4, ¿está el modelo roto — o es solo suerte? El muestreo aleatorio implica que ni siquiera un modelo perfecto acertará exactamente 2,5. Necesitamos un test estadístico.

Analogía. Es la misma lógica que comprobar si una moneda es justa. Lanzadla 250 veces, esperad 125 caras, obtened 138 — ¿está sesgada, o es solo ruido? Calculáis lo sorprendente que es 138 bajo el supuesto de “moneda justa”, y rechazáis la justicia solo si es lo bastante sorprendente.

Definición. El test de proporción de fallos (POF) de Kupiec pregunta: ¿es la tasa de rotura observada $\hat{p} = x/N$ (con $x$ excepciones en $N$ días) estadísticamente consistente con la tasa prometida $p = 1 - c$? Es un test de razón de verosimilitud — compara cuán probable es la información bajo la tasa prometida del modelo frente a la tasa que realmente observasteis:

$LR_{POF} = -2\ln\!\left[\frac{p^{x}(1-p)^{N-x}}{\hat{p}^{x}(1-\hat{p})^{N-x}}\right]$

Cuando la tasa observada coincide con la promesa, las dos probabilidades son casi iguales, la razón está cerca de 1, su logaritmo está cerca de 0, y $LR_{POF} \approx 0$ — ninguna evidencia contra el modelo. A medida que la tasa observada se aleja de la promesa, $LR_{POF}$ crece. Lo comparáis con un valor crítico chi-cuadrado con 1 grado de libertad (alrededor de 3,84 al 95% de significación); superadlo y rechazáis el modelo.

Intuición resuelta. 5 roturas cuando se esperaban 2,5 ($N = 250$, $p = 0.01$) da un $LR_{POF}$ en torno a 2 — por debajo del umbral de 3,84, así que es al límite pero no rechazado. El doble de la tasa esperada suena alarmante, pero con solo un puñado de eventos el ruido es grande, y el test (con razón) se niega a condenar sobre evidencia fina. Subid a 9 o 10 roturas y $LR_{POF}$ rebasa con creces 3,84 — ahora rechazáis.

El semáforo de Basel

Los reguladores no pueden permitir que cada banco invente su propia regla de aprobado/suspenso, así que el Comité de Basel escribió una sencillísima: ejecutad un VaR a 1 día al 99% durante los últimos 250 días de cotización, contad las excepciones, y leed un color.

Analogía. Es un semáforo literal. Verde: seguid adelante, vuestro modelo está bien. Amarillo: reducid la velocidad — no estamos seguros, así que os haremos mantener más capital como penalización hasta que os demostréis. Rojo: parad — vuestro modelo está rechazado, y los supervisores intervienen.

El mordisco está en el multiplicador de capital. El capital requerido por riesgo de mercado es aproximadamente vuestro VaR por un multiplicador $k$ (suelo de 3). En la zona amarilla, $k$ se eleva en escalones cuantas más roturas tengáis; en rojo, el modelo se descarta por completo. Más roturas → multiplicador más alto → más capital congelado. El backtesting no es un ejercicio académico — fija directamente cuánto dinero os hace aparcar el regulador.

Fijaos en la asimetría incorporada: el verde tolera 0–4, abarcando cómodamente los 2,5 que esperáis estadísticamente, porque los reguladores prefieren no castigar el ruido honesto. Pero cruzad a amarillo y el coste sube rápido — el sistema está afinado para hacer que infraestimar el riesgo sea caro.

Dónde te miente el VaR

El backtesting puede deciros que un modelo está mal calibrado. No puede salvaros de las cosas que el VaR nunca fue diseñado para ver. Incluso un VaR que pasa con nota todos los backtests carga con puntos ciegos profundos y estructurales — e ignorarlos es como quiebran las firmas.

Pruebas de estrés y análisis de escenarios

El VaR es un estadístico de buen tiempo — describe la distribución con la que se alimentó, y esa distribución son mayormente días plácidos. Es estructuralmente malo en el evento raro y violento que de verdad importa. El arreglo no es un VaR mejor; es una herramienta diferente que no se apoya en absoluto en la distribución reciente.

Las pruebas de estrés hacen una pregunta contundente de “¿y si?” — ¿cuánto pierde esta cartera bajo un escenario deliberadamente brutal y con nombre? No estimáis la probabilidad del escenario a partir de información reciente; simplemente lo imponéis y medís el daño:

• Repeticiones históricas: revalorizad la cartera de hoy a través del desplome de 2008, la caída en picado de febrero de 2020 por la COVID-19, el Lunes Negro de 1987, o un shock de tipos al estilo de 1994.
• Shocks hipotéticos: tipos +300 pb de la noche a la mañana, renta variable −25%, diferenciales de crédito duplicándose, una correlación clave saltando a 1.

Donde el VaR dice “el 1% de los días normales pintan así de mal”, la prueba de estrés dice “si golpea esta catástrofe específica, aquí está la factura” — sin probabilidad, sin supuesto de cola fina, sin sesgo de calma reciente. Los reguladores ahora la exigen junto al VaR precisamente porque las dos cubren los puntos ciegos de la otra: el VaR para lo rutinario, las pruebas de estrés para la cola que el VaR no puede ver.

Atándolo todo — el tema completo

Dad un paso atrás y mirad el arco que habéis escalado. El VaR comprime el riesgo de toda una cartera en una sola frase falsable — un horizonte, un nivel de confianza, una pérdida en dólares. Aprendisteis a construir ese número de tres maneras: simulación histórica (repetir el pasado), el método paramétrico / de varianza-covarianza (asumir una campana de Gauss y usar álgebra), y Monte Carlo (simular miles de mañanas sintéticos) — cada uno con sus propios supuestos y modos de fallo. Lo escalasteis a través de horizontes con la regla de la raíz cuadrada del tiempo, luego conocisteis el Expected Shortfall, que responde a la pregunta que el VaR rechaza — ¿cómo de mal está una vez que rompes? — y parchea los fallos de coherencia del VaR. Aquí hicisteis backtesting de todo el edificio: contar excepciones frente a $(1-c)N$, ejecutar Kupiec y Christoffersen, leer el semáforo de Basel. Y finalmente mirasteis de frente dónde miente todo ello — colas anchas, ceguera de cola, prociclicidad, manipulación — y añadisteis las pruebas de estrés para cubrir la catástrofe que el VaR no puede modelar. Ahora podéis calcular un VaR de tres maneras, promediar su cola, escalarlo, validarlo contra la realidad, y explicar con números exactamente cuándo desconfiar de él. Eso es lo que hace un experto: confía en el número, y conoce sus mentiras.

Ese es el tema. Habéis construido el VaR de tres maneras, lo habéis afilado con el Expected Shortfall, lo habéis escalado a través del tiempo, lo habéis validado contra la realidad, y habéis aprendido exactamente dónde se rompe. Queda una cosa: demostrarlo. El examen final es una única tirada calificada a lo largo de todo el tema — una pregunta cada vez, cada respuesta bloqueada en el momento en que la enviáis, la puntuación revelada solo al final. Sin apuntes, sin segundas oportunidades. Id a ganaros el número.