Modelos, ensembles e importancia de variables

En la mayor parte del machine learning, los datos son generosos. Enséñale a un modelo un millón de fotos de gatos etiquetadas y la relación señal-ruido (SNR, por signal-to-noise ratio) —cuánto de los datos es patrón real y repetible frente a basura aleatoria— es enorme: un gato es un gato, los píxeles no mienten, y una red neuronal lo bastante hambrienta memoriza el universo felino entero y aun así generaliza. Los rendimientos financieros son justo el tipo de datos opuesto. El rendimiento de mañana de una acción es quizá un 1% de señal y un 99% de ruido, y la señal ni siquiera es estacionaria: decae, muta y se arbitra hasta desaparecer en cuanto demasiada gente la encuentra.

Ese único hecho reescribe todos los instintos de modelado que importaste de la visión por ordenador. El modelo llamativo y ultraflexible que gana las clasificaciones de Kaggle con datos limpios, sobre rendimientos, memorizará amorosamente el ruido y se estrellará fuera de muestra. Esta lección va de elegir modelos que sobrevivan a ese entorno: cuándo preferir un humilde modelo lineal a un bosque de árboles, por qué la regularización y el ensembling dejan de ser opcionales, y cómo leer qué variables importan sin engañarte a ti mismo. Aquí, más simple no es una concesión: es la estrategia entera.

Modelos lineales frente a árboles con datos de baja señal

Analogía. Imagina a dos estudiantes empollando para un examen con un libro de texto plagado de erratas. El primero aprende los conceptos: capta las ideas principales del libro, pero se encoge de hombros ante las erratas. El segundo memoriza el libro al pie de la letra, erratas incluidas, y borda un test sacado de esas páginas exactas. Luego llega el examen de verdad, sacado de una fuente nueva y correctamente escrita. El que aprendió conceptos lo hace bien; el memorizador, que aprendió las erratas como si fueran hechos, se hunde. Los datos financieros son el libro plagado de erratas, las erratas son el ruido, y el memorizador es tu modelo sobreajustado.

El equilibrio sesgo-varianza (repaso). El error esperado fuera de muestra de todo modelo se descompone en tres piezas:

$\mathbb{E}\big[(y - \hat{f}(x))^2\big] = \underbrace{\big(\text{Sesgo}[\hat{f}]\big)^2}_{\text{demasiado rígido}} + \underbrace{\text{Var}[\hat{f}]}_{\text{demasiado nervioso}} + \underbrace{\sigma^2_{\varepsilon}}_{\text{ruido irreducible}}$

• Sesgo (bias): el error de que el modelo sea demasiado simple para captar la relación verdadera (una línea recta intentando trazar una curva). Sesgo alto = infraajuste (underfitting).
• Varianza (variance): cuánto saltaría el modelo ajustado si lo reentrenaras con una muestra distinta. Un modelo flexible persigue el ruido, así que una muestra nueva produce un ajuste radicalmente distinto. Varianza alta = sobreajuste (overfitting).
• Ruido irreducible $\sigma^2_{\varepsilon}$: la parte que nunca podrás predecir. Sobre rendimientos, este término es enorme.

Más flexibilidad (árboles más profundos, redes más grandes, más variables) baja el sesgo pero sube la varianza, y hay un punto óptimo. Dónde se sitúa depende enteramente de la SNR. Con datos limpios y de alta SNR el ruido irreducible es pequeño, así que la flexibilidad compensa: lleva el sesgo a cero y la varianza que recoges merece la pena. Sobre rendimientos, donde $\sigma^2_{\varepsilon}$ empequeñece a la señal, cualquier varianza que añadas es casi puro ajuste de ruido, así que el óptimo se desliza con fuerza hacia el extremo simple, de alto sesgo y baja varianza.

Definiciones: las dos familias de modelos.

• Modelo lineal. Predice una suma ponderada de variables: $\hat{y} = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p$. Rígido (solo puede trazar hiperplanos, nunca se dobla), así que tiene sesgo alto pero, por naturaleza, baja varianza. Pocos parámetros que retocar significa poco margen para memorizar ruido.
• Árbol de decisión. Parte repetidamente los datos según umbrales de las variables (“si el momentum > 0,3 y la volatilidad < 0,2, predice +0,4%”). Trocea el espacio de variables en cajas, así que capta la no linealidad (relaciones curvas) y las interacciones (la variable A solo importa cuando la variable B es alta) gratis. Pero un árbol profundo puede aislar cada punto de entrenamiento en su propia hoja: sesgo cero, varianza catastrófica. Los árboles sobreajustan a la mínima.

Ejemplo resuelto: árbol demasiado profundo frente a ridge. Tienes 500 días de datos y una única variable genuinamente útil (la reversión a la media de la semana pasada), enterrada en ruido. Ajustas dos modelos.

El R² dentro de muestra de 0,98 del árbol es la trampa. No aprendió el mercado; aprendió esos 500 días exactos, erratas incluidas. El poco glamuroso 0,02 fuera de muestra del modelo ridge vale infinitamente más que el glamuroso −0,04 del árbol, porque en finanzas solo te pagan fuera de muestra. Los árboles pueden ganar sobre rendimientos, pero solo cuando se les frena con dureza (poco profundos, en ensembles, regularizados: el resto de esta lección).

Regularización: gravar la complejidad

Analogía. La regularización es un impuesto a la complejidad. Sin gravar, un modelo gastará sus coeficientes a manos llenas, comprándose una mansión elaborada de ondulaciones para ajustar cada punto de datos, ruido incluido. Ponle un impuesto al tamaño de los coeficientes y de repente el modelo se vuelve frugal: solo “gasta” en variables que genuinamente arriman el hombro, y encoge el resto hacia cero. Cedes un poco de ajuste (sesgo) y recuperas mucha estabilidad (varianza). Sobre datos ruidosos eso es un trato fantástico.

Definición / objetivo. Los mínimos cuadrados ordinarios minimizan solo el error cuadrático. La regularización añade una penalización sobre el tamaño de los coeficientes $\beta$:

• Ridge (L2). Penaliza la suma de coeficientes al cuadrado. Encoge suavemente cada coeficiente hacia cero, pero nunca exactamente a cero.

$\hat{\beta}^{\text{ridge}} = \arg\min_{\beta}\ \sum_{i=1}^{n}\big(y_i - x_i^\top\beta\big)^2 + \lambda \sum_{j=1}^{p}\beta_j^2$

• Lasso (L1). Penaliza la suma de coeficientes en valor absoluto. Encoge y selecciona: lleva los coeficientes débiles exactamente a cero, realizando una selección automática de variables.

$\hat{\beta}^{\text{lasso}} = \arg\min_{\beta}\ \sum_{i=1}^{n}\big(y_i - x_i^\top\beta\big)^2 + \lambda \sum_{j=1}^{p}|\beta_j|$

• Elastic net. Una mezcla de ambas penalizaciones ($\lambda_1\sum|\beta_j| + \lambda_2\sum\beta_j^2$): obtiene la selección del lasso más la estabilidad del ridge cuando las variables están correlacionadas (el lasso solo elige arbitrariamente una de un grupo correlacionado; el término L2 reparte la carga).

El mando $\lambda$ (lambda) fija el tipo impositivo. $\lambda = 0$ es OLS pelado (sin impuesto, riesgo de sobreajuste total); $\lambda \to \infty$ aplasta todos los coeficientes a cero (puro sesgo, ignora los datos). Ajustas $\lambda$ por validación cruzada, y sobre rendimientos el óptimo validado suele ser agresivo.

El análogo en árboles. Los árboles no tienen coeficientes, así que los regularizas de forma estructural: limita cuán complejo puede llegar a ser un árbol individual:

• max_depth: limita cuántas particiones de profundidad puede alcanzar un árbol (los árboles poco profundos no pueden aislar puntos individuales).
• min_samples_leaf: exige que cada hoja contenga al menos, pongamos, 50 muestras, para que ninguna hoja se ajuste a un solo día afortunado.
• max_features: deja que cada partición solo considere un subconjunto aleatorio de variables (también la clave de los random forests, más abajo).
• Parada temprana (early stopping): en boosting, detén el entrenamiento en cuanto el error de validación deja de mejorar, antes de que empiece a ajustar ruido.

Ejemplo resuelto: ridge encogiendo un coeficiente ruidoso. Supón que la variable $x_3$ es puro ruido, pero en tu muestra de 500 días resultó correlacionar con los rendimientos, así que OLS le entrega un coeficiente de $\beta_3 = 0,40$. Fuera de muestra, ese 0,40 es un pasivo: $x_3$ no tiene poder predictivo real, así que cada vez que $x_3$ se mueve el modelo hace un ajuste confiado y equivocado. Ridge con un $\lambda$ moderado lo encoge hacia cero:

Al gravar $\beta_3$ de 0,40 a 0,05, ridge impide que el modelo apueste por una casualidad. La señal real $\beta_1$ también se lleva un pequeño recorte (0,30 → 0,26) —ese es el sesgo que pagas—, pero la varianza que ahorras en el coeficiente de ruido más que compensa, y el error fuera de muestra baja.

Ensembling — bagging (matar la varianza)

Analogía. Pídele a un único experto algo achispado que adivine cuántas gominolas hay en un tarro y obtendrás una respuesta disparatada. Pídeselo a quinientos adivinos independientes y promedia, y la media de la multitud es asombrosamente precisa: los errores individuales, al ser aleatorios e incorrelacionados, se cancelan. Bagging (de bootstrap aggregating) es justo esto: construye muchos modelos de alta varianza, cada uno un poco equivocado en su propia dirección aleatoria, y promédialos. La señal compartida se refuerza; el ruido independiente se cancela.

Definición / fórmula. Entrena $B$ modelos, cada uno sobre una muestra bootstrap distinta (un remuestreo aleatorio con reemplazo de tus datos), y luego promedia sus predicciones. Si cada modelo tiene varianza $\sigma^2$ y los modelos están mutuamente incorrelacionados, la varianza de la media es:

$\text{Var}\Big(\tfrac{1}{B}\sum_{b=1}^{B}\hat{f}_b\Big) = \frac{\sigma^2}{B}$

Así que la desviación típica del ensemble cae como $\sigma/\sqrt{B}$: exactamente la misma ley de diversificación $1/\sqrt{N}$ que impulsa un libro de stat-arb basado en la amplitud. Más aprendices descorrelacionados → menos varianza, sin sesgo extra. Estás diversificando entre modelos en lugar de entre operaciones, pero son las mismas matemáticas.

El truco, y el arreglo del random forest. Ese limpio $\sigma^2/B$ solo se cumple si los modelos están incorrelacionados. Las muestras bootstrap se solapan mucho, así que los árboles entrenados con ellas salen parecidos —fuertemente correlacionados—, y los aprendices correlacionados apenas diversifican (igual que las apuestas correlacionadas en una cartera). Con una correlación media por pares $\rho$ entre los $B$ árboles, la varianza del ensemble es en realidad:

$\text{Var}(\text{ensemble}) = \rho\,\sigma^2 + \frac{1-\rho}{B}\,\sigma^2$

A medida que $B \to \infty$ el segundo término se desvanece, pero el primero, $\rho\sigma^2$, no: la correlación pone un suelo duro a cuánta varianza puedes cancelar. Los random forests atacan ese suelo directamente: en cada partición, cada árbol solo puede considerar un subconjunto aleatorio de variables (max_features). Esto obliga a árboles distintos a apoyarse en señales distintas, descorrelacionándolos de forma mecánica: empuja $\rho$ a la baja para que el término $\frac{1-\rho}{B}\sigma^2$ realmente se encoja. La descorrelación, no el bootstrap, es la magia de verdad.

Ejemplo resuelto: varianza de una media. Cada árbol tiene varianza $\sigma^2 = 1,0$. Promedia $B = 100$ de ellos.

Lee las filas: los árboles correlacionados del bagging simple ($\rho = 0,30$) chocan contra un muro: incluso con infinitos árboles, la varianza no puede bajar de 0,30. La aleatorización de variables del random forest recorta $\rho$ a 0,05, bajando el suelo a casi 0,06 y recuperando la mayor parte de la diversificación. Los árboles correlacionados no diversifican: por eso un bosque aleatoriza variables, no solo filas.

Ensembling — boosting (matar el sesgo)

Analogía. Si el bagging son quinientos adivinos independientes votando a la vez, el boosting es un relevo de especialistas, cada uno estudiando los errores del corredor anterior. El modelo 1 hace una predicción tosca. El modelo 2 no vuelve a predecir desde cero: predice los errores (residuos) del modelo 1, parcheándolos. El modelo 3 parchea lo que queda, y así sucesivamente. Cada aprendiz es débil y poco profundo, pero el equipo va limando secuencialmente el sesgo que el aprendiz base simple no podía captar solo.

Definición / fórmula. El boosting ajusta un modelo aditivo de forma secuencial. Empieza con una constante, luego en cada ronda $m$ ajusta un árbol pequeño $h_m$ a los residuos actuales (en gradient boosting, al gradiente negativo de la pérdida) y añade una porción encogida de él:

$F_m(x) = F_{m-1}(x) + \nu\, h_m(x)$

donde $\nu$ (nu) es el ritmo de aprendizaje (learning rate): un factor de encogimiento, típicamente de 0,01 a 0,1, que dice “da solo un pequeño paso hacia arreglar los residuos en cada ronda”. XGBoost, LightGBM y compañía son implementaciones de gradient boosting muy optimizadas que añaden su propia regularización. Como el boosting ataca los residuos, reduce principalmente el sesgo: puede modelar relaciones que un único árbol poco profundo nunca podría.

El peligro. La reducción de sesgo es un arma de doble filo con datos ruidosos. Sigue ajustando residuos lo suficiente y el boosting empezará a “arreglar” el ruido: los residuos que nunca fueron señal. El boosting es también célebremente sensible a datos mal etiquetados o ruidosos: una etiqueta mala parece un residuo grande, así que el siguiente aprendiz se obsesiona con ella. Las defensas van todas de la contención:

• Ritmo de aprendizaje $\nu$: pasos pequeños (0,01–0,05) para que ninguna ronda se sobrecomprometa con el ruido; combínalo con más rondas.
• Submuestreo (subsampling): ajusta cada ronda sobre una fracción aleatoria de filas y/o columnas (stochastic gradient boosting), lo que a la vez descorrelaciona y regulariza.
• Parada temprana (early stopping): vigila el error de validación y detente en el momento en que deje de mejorar, antes de que empiece el ajuste de ruido.
• Aprendices base poco profundos: árboles de profundidad 2 a 4 (algo así como “tocones”), para que cada ronda añada solo un poco de flexibilidad.

Bagging frente a boosting: el contraste.

Con datos limpios, un boosting bien ajustado suele batir al bagging. Con datos financieros ruidosos el veredicto está más reñido, y la fragilidad del boosting ante el ruido es un coste real, por lo que muchos fondos cuantitativos se apoyan en random forests o en un boosting fuertemente regularizado, con parada temprana y bajo ritmo de aprendizaje, en lugar de en un XGBoost al máximo.

Importancia de variables — MDI frente a MDA

Has entrenado un modelo que funciona. Ahora la pregunta inevitable: ¿qué variables lo están impulsando de verdad? La quieres para la intuición, para podar variables muertas y para el equipo de riesgos. Dos métodos dominan en los modelos de árboles, y discrepan lo bastante a menudo como para que conocer la diferencia sea una habilidad de supervivencia.

MDI — Mean Decrease in Impurity (también llamada importancia Gini).

Cada partición de un árbol reduce la “impureza” (varianza en regresión, Gini/entropía en clasificación). MDI suma, para cada variable, la reducción total de impureza que produjo en todas las particiones de todos los árboles, ponderada por cuántas muestras pasaron por ahí. Es el feature_importances_ por defecto en scikit-learn.

• Pros: prácticamente gratis: cae del entrenamiento, sin cálculo extra.
• Contras (serios): se calcula dentro de muestra (sobre los datos de entrenamiento), así que una variable que sobreajusta recibe crédito por ello. Peor aún, está sesgada hacia variables de alta cardinalidad y continuas: una variable con muchos valores distintos (un precio, un ratio continuo) ofrece más puntos de partición posibles, así que se llevará importancia por pura casualidad aunque sea ruido. Un indicador binario, con una única partición posible, está estructuralmente en desventaja. MDI sobrevalora sistemáticamente el ruido continuo.

MDA — Mean Decrease in Accuracy (también llamada importancia por permutación).

Toma tu modelo entrenado y un conjunto reservado (held-out). Anota la puntuación base fuera de muestra. Ahora baraja los valores de una variable (permuta la columna, rompiendo su vínculo con el objetivo) y vuelve a puntuar. La caída de rendimiento es la importancia de esa variable: si revolverla apenas hace daño, el modelo no la estaba usando de verdad.

• Pros: se mide fuera de muestra, sobre la métrica de rendimiento real, así que una variable solo puntúa si de verdad ayuda al modelo a generalizar. Honesta. Agnóstica al modelo (funciona sobre cualquier modelo ajustado, no solo árboles).
• Contras: más lenta (vuelve a puntuar una vez por variable, a menudo repetido para estabilidad) y —crucialmente— hereda el efecto de sustitución cuando las variables están correlacionadas.

El efecto de sustitución (la trampa que engaña a todos). Supón que dos variables están muy correlacionadas —pongamos momentum_10d y momentum_12d, casi gemelas—. La importancia por permutación baraja momentum_10d: el modelo apenas se inmuta, porque momentum_12d lleva la misma información y le cubre las espaldas, así que momentum_10d parece poco importante. Baraja momentum_12d en su lugar y momentum_10d cubre. Ambas gemelas puntúan cerca de cero, aunque el momentum como concepto sea el único impulsor más importante. La importancia quedó diluida/repartida por el grupo correlacionado, haciendo que una señal crítica parezca inútil.

Ejemplo resuelto: dos variables correlacionadas repartiéndose la importancia. Un modelo está genuinamente impulsado por el momentum. Le das dos variables de momentum casi idénticas (ρ ≈ 0,95) más una variable de ruido irrelevante.

Mira el desastre: las dos variables de momentum (el motor real del modelo) puntúan 0,04–0,05, apenas por encima de la variable de ruido inútil en 0,01. Una lectura ingenua —“el momentum no importa, vamos a quitarlo”— destriparía la estrategia. El arreglo es probar las variables correlacionadas como un grupo (permutar ambas gemelas juntas: la caída es grande, revelando la verdadera importancia del momentum) o agrupar/descorrelacionar variables antes de medir (p. ej. el MDA/MDI agrupado de López de Prado).

Dos trampas más que se aplican a ambos métodos:

• Importancia ≠ causalidad. Una variable puede ser “importante” para el modelo puramente por estar correlacionada con el impulsor verdadero, o con la fuga de la etiqueta (label leakage) que dejaste ahí por accidente. Una importancia alta te dice que el modelo la usa, no que cause los rendimientos.
• La importancia es condicional al modelo. MDI/MDA describen la dependencia que este modelo ajustado tiene de una variable, no el valor universal de la variable. Un modelo distinto (o el mismo modelo sobre una muestra distinta) puede ordenar las variables de forma completamente diferente. Nunca informes de la importancia como si fuera una propiedad de la variable por sí sola.

Juntándolo todo

Modelar datos de baja relación señal-ruido es una disciplina de contención. Primero, respeta el equilibrio sesgo-varianza: como los rendimientos son un 99% ruido, el término de ruido irreducible domina, el óptimo se desliza hacia lo simple, y un modelo lineal regularizado o un ensemble poco profundo bate de forma rutinaria a un árbol profundo que memorizó el pasado. Segundo, regulariza: grava la complejidad (ridge encoge, lasso encoge-y-selecciona, elastic net mezcla; los árboles usan límites de profundidad/hoja/variables y parada temprana) para cambiar un poco de sesgo por mucha menos varianza. Tercero, haz ensembling con la herramienta adecuada: baggea (promedia árboles descorrelacionados, al estilo random forest, para machacar la varianza vía $1/\sqrt{B}$) cuando estés sobreajustando, y boostea (ajusta residuos de forma secuencial para recortar el sesgo) —con cuidado, con un ritmo de aprendizaje pequeño y parada temprana— cuando estés infraajustando. Por último, lee la importancia de variables con profunda sospecha: prefiere la MDA fuera de muestra a la MDI dentro de muestra y sesgada por la cardinalidad, vigila el efecto de sustitución diluyendo variables correlacionadas, y nunca confundas “el modelo la usa” con “causa los rendimientos”.

Ya sabes elegir un modelo que sobreviva al ruido, regularizarlo y hacerle ensembling sin engañarte, y leer sus importancias de variables con la dosis justa de paranoia. Pero un modelo que predice bien todavía no es una cartera: un vector de previsiones de rendimiento no son posiciones, y el hueco entre “mi modelo dice que estas 200 acciones son atractivas” y “esto es exactamente cuánto mantener de cada una” es donde se gana o se pierde una cantidad sorprendente de alfa. Esa traducción —de señal de ML en bruto a posiciones dimensionadas, con riesgo controlado y conscientes del coste— es el tema de la siguiente lección, De señal de ML a cartera.