Cadenas de Markov

Un paseo aleatorio (lección 2) construye todo su futuro a partir de todo su pasado: cada paso se suma a todos los pasos anteriores. Pero una porción enorme de las finanzas se las arregla con un supuesto mucho más barato: que el futuro depende solo de dónde estáis ahora mismo, no del sinuoso camino que os trajo hasta aquí. Un mercado está “en régimen alcista” o “en régimen bajista”; un bono está calificado “AAA” o “BBB”; un cliente está “activo” o “perdido”. Conocer la etiqueta actual basta para pronosticar la siguiente: la historia es olvidable. Ese olvido es la propiedad de Markov, y un proceso que la obedece, saltando entre un conjunto finito de estados, es una cadena de Markov. Esta lección es la maquinaria: estados, matrices de transición, potencias de matrices para pronósticos de varios pasos, y la distribución estacionaria de largo plazo hacia la que derivan los mercados.

La propiedad de Markov: el futuro olvida el pasado

Analogía. Imaginad una ficha en un tablero de la Oca. Vuestra siguiente jugada depende solo de la casilla en la que estáis y de vuestra tirada de dados — nunca del enrevesado camino de ocas y dados que os llevó hasta allí. Dos jugadores sentados en la casilla 37 afrontan futuros idénticos, aunque uno haya subido por una oca y el otro haya retrocedido. El tablero es sin memoria.

Formalmente, un proceso $X_0, X_1, X_2, \dots$ que toma valores en un conjunto finito de estados tiene la propiedad de Markov cuando

$P(X_{n+1} = j \mid X_n = i,\, X_{n-1},\, \dots,\, X_0) = P(X_{n+1} = j \mid X_n = i).$

Leedlo despacio: la probabilidad de aterrizar en el estado $j$ a continuación, dada la historia entera de la izquierda, se reduce a una probabilidad que depende de $i$ (el estado de hoy) únicamente. Todo lo anterior a hoy es irrelevante una vez conocido el hoy. Esa reducción es todo el juego — es lo que hace tratable la matemática.

Contrastad eso con cantidades genuinamente dependientes del camino. El máximo acumulado de un precio (“lo más alto que ha estado jamás”) no es de Markov respecto al precio: para conocerlo mañana necesitáis todo el pasado, no solo el precio de hoy. El pago de una opción asiática depende del precio medio a lo largo de su vida — de nuevo, la historia importa. Markov es una restricción real, no una comida gratis: solo encaja con procesos donde el hoy es un resumen suficiente.

Matrices de transición

Una vez que la cadena es sin memoria, todo su comportamiento queda capturado en una sola tabla: para cada par de estados, la probabilidad de saltar de uno a otro en un único paso. Apiladlas en una matriz cuadrada $P$ donde

$P_{ij} = P(X_{n+1} = j \mid X_n = i).$

La fila $i$ contiene todas las probabilidades de abandonar el estado $i$. Como desde el estado $i$ tenéis que ir a algún sitio en el siguiente paso, cada fila suma 1. Una matriz cuadrada con entradas no negativas cuyas filas suman cada una 1 se llama matriz estocástica — ese es el nombre formal de una matriz de transición.

Ejemplo trabajado. Modelad un mercado en uno de dos humores diarios: Tranquilo o Volátil. Supongamos que a un día Tranquilo le sigue otro día Tranquilo el 90 % de las veces, y se inclina hacia Volátil el 10 % de las veces. Un día Volátil sigue Volátil el 60 % de las veces y se asienta de vuelta a Tranquilo el 40 % de las veces. Escribidlo como una matriz estocástica 2×2, filas = hoy, columnas = mañana:

Para leer una fila: situaos en el estado de hoy, recorred su fila, y las entradas son las probabilidades del siguiente paso. ¿Estáis en Volátil hoy? La fila 2 dice 0.40 de probabilidad de Tranquilo mañana, 0.60 de seguir Volátil — y $0.40 + 0.60 = 1$, como toda fila debe. Las columnas, en cambio, no tienen por qué sumar nada en particular (aquí la columna “Tranquilo” suma 1.30); solo las filas están restringidas.

Transiciones de n pasos = potencias de matrices

Un único paso vive en $P$. ¿Y dos pasos, o diez? El hecho precioso: la probabilidad de ir de $i$ a $j$ en exactamente $n$ pasos es la entrada $(i,j)$ de la potencia de matriz $P^n$.

$P(X_{n} = j \mid X_0 = i) = (P^n)_{ij}.$

¿Por qué potencias? Para ir de $i \to j$ en dos pasos debéis pasar por algún estado intermedio $k$: $i \to k$ y luego $k \to j$. Sumad sobre cada posible intermediario $k$, multiplicando las dos probabilidades de tramo, y esa suma de productos es exactamente la definición de la multiplicación de matrices. Así que $P^2 = P\cdot P$ da las probabilidades de dos pasos, $P^3$ las de tres pasos, y así sucesivamente. Esta descomposición — “para llegar allí en $m+n$ pasos, ve a algún sitio en $m$ pasos y termina en $n$” — es la ecuación de Chapman–Kolmogorov en palabras: $P^{m+n} = P^m P^n$.

Ejemplo trabajado. Tomad nuestra matriz Tranquilo/Volátil y calculad $P^2$ a mano. La entrada de dos pasos “Tranquilo hoy → Tranquilo en dos días” es la superior izquierda de $P^2$ = (fila 1 de $P$) · (columna 1 de $P$):

$(P^2)_{\text{Tranquilo,Tranquilo}} = (0.90)(0.90) + (0.10)(0.40) = 0.81 + 0.04 = 0.85.$

Recorred esa aritmética: $0.90\times0.90$ es el camino Tranquilo→Tranquilo→Tranquilo; $0.10\times0.40$ es Tranquilo→Volátil→Tranquilo; sumad las dos rutas y obtenéis un 85 % de probabilidad de estar Tranquilo dentro de dos días, habiendo empezado Tranquilo. Rellenando el resto del mismo modo:

$P^2 = \begin{pmatrix} 0.85 & 0.15 \\ 0.60 & 0.40 \end{pmatrix}.$

Fijaos en que la probabilidad de un paso “seguir Tranquilo” era 0.90, pero la probabilidad de dos pasos “estar Tranquilo” cayó a 0.85 — la cadena ya está empezando a olvidar su arranque afortunado y a deslizarse hacia su mezcla de largo plazo.

La distribución estacionaria

Ejecutad la cadena el tiempo suficiente y ocurre algo notable: la probabilidad de estar en cada estado se asienta en una mezcla fija que ya no depende de dónde empezasteis. Esa mezcla de largo plazo es la distribución estacionaria $\pi$, un vector fila que satisface

$\pi P = \pi, \qquad \sum_i \pi_i = 1.$

Leed $\pi P = \pi$ como: pasad la mezcla de largo plazo por un paso más y se reproduce a sí misma — es la distribución que es invariante bajo la dinámica. Equivalentemente, $\pi_i$ es la fracción de tiempo a largo plazo que la cadena pasa en el estado $i$. Para una cadena irreducible (con el tiempo podéis alcanzar cualquier estado desde cualquier estado) y aperiódica (no cicla al unísono), esta $\pi$ existe, es única, y es el límite hacia el que converge la cadena desde cualquier punto de partida.

Ejemplo trabajado. Resolved $\pi P = \pi$ para nuestra cadena Tranquilo/Volátil. Escribid $\pi = (c, v)$ con $c + v = 1$. La ecuación $\pi P = \pi$ da, leyendo la primera columna:

$0.90\,c + 0.40\,v = c \;\Longrightarrow\; 0.40\,v = 0.10\,c \;\Longrightarrow\; v = \tfrac{1}{4}c.$

Sustituid en $c + v = 1$: $c + \tfrac{1}{4}c = 1 \Rightarrow \tfrac{5}{4}c = 1 \Rightarrow c = 0.8$, así que $v = 0.2$. La distribución estacionaria es $\pi = (0.8,\, 0.2)$: a largo plazo el mercado está Tranquilo el 80 % de los días y Volátil el 20 % — independientemente de si abrió en humor Tranquilo o Volátil. Por eso la probabilidad de dos pasos “estar Tranquilo” (0.85) ya se había desviado del 0.90 de un paso hacia este límite de 0.80.

Ahora conoced una versión de tres estados. Abajo hay una cadena de mercado Alcista / Bajista / Lateral. Su regla de transición es fija: desde Alcista, la ficha sigue Alcista con probabilidad 0.80, resbala a Bajista 0.05, y va a Lateral 0.15. Desde Bajista, se recupera a Alcista 0.10, sigue Bajista 0.70, y va a Lateral 0.20. Desde Lateral, rompe al alza a Alcista 0.25, a la baja a Bajista 0.25, y sigue Lateral 0.50. Cada una de esas tres filas suma 1, como debe. Ejecutad la simulación, dejad que la ficha salte cientos de veces, y observad cómo las barras de frecuencia de visitas dejan de tambalearse y se fijan en una altura fija — esa altura fija es $\pi$, la solución de $\pi P = \pi$, emergiendo empíricamente en lugar de del álgebra.

Regímenes, y dónde se rompe Markov

Las cadenas de Markov están por todas partes en finanzas precisamente porque tantos objetos se describen de forma natural con una etiqueta actual más unas probabilidades de transición:

• Modelos de cambio de régimen — la cadena de humor de mercado de arriba: alcista, bajista, crisis, cada uno con su propio perfil de rentabilidad y volatilidad, y una matriz de transición que gobierna cómo se voltean los regímenes. El famoso modelo de cambio de régimen de Hamilton es una cadena de Markov en su núcleo.
• Matrices de migración de rating crediticio — las agencias publican tablas anuales de $P(\text{AAA} \to \text{AA})$, $P(\text{BBB} \to \text{impago})$, etcétera. Todo el aparato supone que un rating es de Markov: el rating de este año, no la historia de ratings de la empresa, impulsa el del año que viene. Las potencias de esa matriz dan las probabilidades de impago a varios años.
• Modelos del “tiempo del mercado” — “con tendencia frente a errático”, “apetito de riesgo frente a aversión al riesgo” — máquinas de estados gruesas sobre las que los operadores razonan con exactamente este lenguaje.

Trampa 1: un precio por sí solo normalmente NO es de Markov del modo que la gente espera. Es tentador tratar el precio de hoy como el estado y darlo por hecho. Pero las rentabilidades reales muestran agrupamiento de volatilidad (los grandes movimientos se agrupan — la turbulencia de hoy predice la de mañana) y momentum/reversión a la media (la tendencia reciente lleva información). Ambos significan que la historia reciente importa más allá del precio de hoy, así que el precio-solo viola la propiedad de Markov. El arreglo es enriquecer el estado: añadir un nivel de volatilidad, un indicador de tendencia o una etiqueta de régimen, de modo que el estado aumentado sea de nuevo un resumen suficiente y la propiedad de Markov quede restaurada. El arte está en elegir un estado lo bastante rico para ser de Markov pero lo bastante pequeño para estimarlo.

Trampa 2: las matrices de transición estimadas son ruidosas y suponen estacionariedad. Estimáis $P$ contando transiciones históricas, pero las transiciones raras (AAA → impago en un año) tienen recuentos muestrales diminutos y enormes barras de error. Peor aún, todo el marco supone que las probabilidades de transición son constantes en el tiempo — pero las crisis son exactamente cuando las tasas de migración se disparan y la matriz de periodo tranquilo que ajustasteis deja de aplicar. Un modelo de Markov calibrado en mercados plácidos puede subestimar gravemente el riesgo de cola en un desplome.

Juntándolo todo

Una cadena de Markov es un proceso que salta entre un conjunto finito de estados con la propiedad sin memoria: el siguiente estado depende solo del actual, $P(X_{n+1}=j \mid \text{historia}) = P(X_{n+1}=j \mid X_n=i)$. Todo su comportamiento de un solo paso se empaqueta en una matriz de transición (estocástica) $P$, donde $P_{ij}$ es la probabilidad $i\to j$ y cada fila suma 1. Los pronósticos de varios pasos son potencias de matrices: $(P^n)_{ij}$ es la probabilidad de $i\to j$ en $n$ pasos (Chapman–Kolmogorov). Ejecutad lo suficiente y una cadena irreducible y aperiódica olvida su inicio y se asienta en la distribución estacionaria $\pi$ que resuelve $\pi P = \pi$ — la cuota de tiempo a largo plazo en cada estado. Las finanzas se apoyan en esto para el cambio de régimen y la migración de rating crediticio, pero cuidado: un precio desnudo rara vez es de Markov (el agrupamiento y el momentum exigen un estado enriquecido), y las matrices estimadas suponen una estacionariedad que las crisis hacen trizas.

A continuación —Procesos de Poisson— dejamos atrás la cuadrícula de pasos fijos. Las cadenas de Markov hacen tictac al ritmo de un reloj, un salto por periodo; pero los impagos, las operaciones y los saltos llegan en momentos aleatorios, esparcidos de forma irregular a lo largo de una línea temporal continua. El proceso de Poisson es el modelo sin memoria de cuándo golpea el próximo evento — el primo en tiempo continuo de todo lo que acabáis de aprender.