Embeddings para datos categóricos y alternativos

Hasta ahora este curso ha alimentado a vuestras redes con números: rentabilidades, volúmenes, volatilidades, esa materia continua y bien educada que a una multiplicación de matrices le encanta masticar. Pero los datos de mercado reales están plagados de etiquetas: el ticker JPM, el sector “Financiero”, el país “EE. UU.”, el mercado “NYSE”, el día de la semana “lunes”, la etiqueta de régimen “risk-off”. Y luego está el pantano verdaderamente no estructurado: titulares de noticias, informes 10-K, transcripciones de conferencias de resultados.

Una red neuronal no sabe qué significa “Financiero”. Multiplica y suma. No puede multiplicar la cadena "JPM". Así que antes de que toda vuestra maquinaria de RNN / TCN / transformer, ganada con tanto esfuerzo, pueda tocar una categoría, tenéis que convertir esa etiqueta en un vector. La forma perezosa es el one-hot encoding (codificación uno-en-caliente). La forma buena —la que permite que un banco aprenda de lo que hicieron otros bancos— es un embedding (vector denso). Esta lección trata de hacerlo bien, y de las trampas de fuga que los embeddings hacen extraordinariamente fáciles de pisar.

El one-hot encoding es un derroche

Analogía. El one-hot encoding es como darle a cada empleado de una empresa de 3.000 personas una chapa que es una única luz en un panel de 3.000 luces: la tuya es la luz n.º 1.742, encendida; la de todos los demás está apagada. La chapa te dice quién es alguien y absolutamente nada sobre cómo es. Dos analistas del mismo escritorio están tan “lejos” como el consejero delegado y el vigilante nocturno.

Definición. El one-hot encoding aplica una categoría $c$ de un vocabulario de cardinalidad $K$ al vector indicador $e_c \in \{0,1\}^K$: un vector de longitud $K$ que vale $1$ en la posición $c$ y $0$ en el resto. Todos los vectores one-hot distintos son mutuamente ortogonales: $e_i \cdot e_j = 0$ para $i \neq j$, y $\lVert e_i - e_j \rVert = \sqrt{2}$ para cada par. Distancia constante, estructura de similitud nula.

Ejemplo resuelto. Tomad un universo de juguete de cuatro tickers y codificadlos:

Distancia entre los dos bancos, $\lVert e_{\text{JPM}} - e_{\text{BAC}} \rVert = \sqrt{(1-0)^2 + (0-1)^2} = \sqrt{2} \approx 1{,}41$. Distancia entre un banco y la petrolera, $\lVert e_{\text{JPM}} - e_{\text{XOM}} \rVert = \sqrt{2} \approx 1{,}41$. Idénticas. La codificación insiste en que JPM y BAC no son más parecidos que JPM y XOM.

Ahora ampliad la escala. Con $K = 3{,}000$ tickers, cada entrada es un vector disperso de longitud 3.000. Una primera capa densa con $h = 64$ unidades ocultas necesita $K \times h = 3{,}000 \times 64 = 192{,}000$ pesos solo para leer el ticker, y la mayoría ven un único ejemplo no nulo cada vez, así que se actualizan a paso de tortuga.

Cuándo usarlo

El one-hot está bien —incluso es preferible por su simplicidad— cuando la cardinalidad es baja (digamos $K \le 10$: día de la semana, un puñado de regímenes) y tenéis abundantes datos por categoría. A esa escala el coste de parámetros es trivial y la falta de similitud aprendida apenas importa. Solo a alta cardinalidad se convierte en un lastre.

Embeddings de entidad

Analogía. Esto es word2vec para acciones. Word2vec aprendió que “rey − hombre + mujer ≈ reina” no porque nadie se lo dijera, sino porque las palabras que aparecen en contextos similares acabaron con vectores similares. Un embedding de entidad hace lo mismo con los tickers: dos bancos que responden igual a los movimientos de tipos reciben un empujón el uno hacia el otro en el espacio de embedding, porque compartir una representación reduce la pérdida. Nunca etiquetáis a mano “estos dos son bancos”: la geometría emerge de la señal de entrenamiento.

Definición. Un embedding aplica cada id de categoría $c \in \{1, \dots, K\}$ a un vector denso $\mathbf{v}_c \in \mathbb{R}^m$ mediante una consulta en una matriz de embedding $E \in \mathbb{R}^{K \times m}$, donde la fila $c$ es $\mathbf{v}_c$. De forma equivalente, es una capa densa sin sesgo y sin activación aplicada al vector one-hot: $\mathbf{v}_c = E^{\top} e_c$. La matriz $E$ se entrena de forma conjunta con la tarea. La dimensión de embedding $m$ (con $m \ll K$) es un hiperparámetro que elegís.

Regla práctica de dimensión. Dos heurísticas populares:

$m \approx \min\!\left(50, \left\lceil \tfrac{K}{2} \right\rceil\right) \qquad \text{o} \qquad m \approx K^{0.25}.$

La primera (la regla de fast.ai) limita el tamaño para vocabularios enormes; la segunda crece muy despacio. Ambas codifican el mismo instinto: más categorías merecen un espacio más rico, pero con rendimientos fuertemente decrecientes.

Ejemplo resuelto. Con $K = 3{,}000$ tickers, la regla del mínimo da $m \approx \min(50, \lceil 3000/2 \rceil) = \min(50, 1500) = 50$. La regla de la raíz cuarta da $m \approx 3000^{0.25} \approx 7{,}4 \to 8$. La gente suele quedarse en algún punto intermedio; digamos $m = 32$. Recuento de parámetros del embedding: $K \times m = 3{,}000 \times 32 = 96{,}000$, frente a los $192{,}000$ que necesitaba arriba la capa densa one-hot para $h=64$, y, crucialmente, ahora cada fila acumula estructura compartida en lugar de memorizar un ticker en aislamiento.

Cuándo usarlo

Recurrid a un embedding de entidad cuando una categórica sea de alta cardinalidad y tengáis un panel agrupado grande para que muchas categorías puedan compartir fuerza estadística (más sobre esto abajo). Brilla justo donde el one-hot se ahoga. Pero no es gratis: habéis añadido $K \times m$ parámetros que pueden memorizar, y un espacio aprendido que —como todo lo aprendido aquí— puede filtrar el futuro si os descuidáis.

Embeddings de datos alternativos y de texto

Analogía. Un embedding de texto preentrenado es un traductor que habéis contratado y que ya habla el idioma con fluidez. No le enseñáis español desde cero con vuestros 4.000 días de trading de titulares: le pasáis la frase y os devuelve un compacto “vector de significado”. Vuestro modelo de abajo solo tiene que aprender qué implica ese significado para las rentabilidades, no qué es el español.

Definición y taxonomía. “Embeddings de datos alternativos” significa en realidad producir una representación vectorial densa de entradas no estructuradas o semiestructuradas:

La idea es uniforme: para cuando llega a la red, todo —ticker, sector, noticias, sentimiento— es un vector denso, y a las capas de abajo les da igual qué columna salió de una tabla de consulta y cuál de un modelo de lenguaje.

Ejemplo resuelto (fuera de vocabulario). Vuestro universo de entrenamiento tiene $K = 3{,}000$ tickers. En trading en vivo aparece un nombre recién salido a bolsa que la tabla de embedding nunca ha visto. Con una consulta en bruto, no hay fila para él: el modelo se cae o lo aplica silenciosamente a basura. El arreglo es reservar una fila extra en el índice $0$ para un token <UNK> (“desconocido”): construir $E \in \mathbb{R}^{(K+1) \times m}$, dirigir todo id no visto a la fila $0$, y entrenar esa fila aplicando aleatoriamente algunos tickers raros a <UNK> durante el entrenamiento para que aprenda un vector sensato de “nombre nuevo genérico”. El mismo truco maneja las palabras fuera de vocabulario en los codificadores de texto.

Cuándo usarlo

Los embeddings de texto preentrenados se ganan el sueldo cuando la señal vive en el lenguaje (el tono de un informe, la novedad de un titular) y vuestro propio conjunto de datos es demasiado pequeño para aprender español desde cero, lo cual es esencialmente siempre en finanzas. Saltaos el codificador pesado cuando una puntuación de sentimiento de una línea ya capture todo aquello sobre lo que vais a actuar; un vector de 1.536 dimensiones alimentando a un modelo con 3.000 días de entrenamiento es una vía rápida al sobreajuste.

Trampas de fuga que los embeddings facilitan

Esta es la sección que importa. Los embeddings son una representación aprendida, y cualquier cosa aprendida puede memorizar el futuro. Cada lección de fuga de Machine Learning para Alfa —preprocesamiento-sobre-datos-completos, supervivencia, anticipación— tiene una versión con forma de embedding que es más fácil de cometer y más difícil de detectar.

Las cinco trampas.

Ejemplo resuelto (anticipación de régimen). Supongamos que etiquetáis cada día con una etiqueta de régimen y la embebéis. Definís “risk-off” comprobando si los siguientes 20 días tuvieron una caída superior al 10%:

$\text{régimen}_t = \begin{cases} \text{risk-off} & \text{si } \min_{1 \le k \le 20}\, r_{t+k}^{\text{cum}} < -0{,}10 \\ \text{risk-on} & \text{en otro caso.} \end{cases}$

Esa etiqueta en el instante $t$ es una función de las rentabilidades desde $t{+}1$ hasta $t{+}20$. Embebedla, dádsela a un modelo que predice $r_{t+1}$, y vuestra “característica” ya contiene la respuesta: el embedding de “risk-off” parecerá espectacularmente predictivo, y con datos en vivo, donde no podéis ver los siguientes 20 días, se evapora. El arreglo: definid el régimen usando solo información disponible en o antes de $t$ (un umbral de volatilidad rezagada, un cruce de medias móviles), y asignadlo de forma causal.

Cuando la fuga es sutil

El caso más desagradable es (e), memorización con datos minúsculos. Con $K = 3{,}000$ tickers, $m = 32$ y solo unos ~1.000 días de historia agrupada, el embedding puede aprender calladamente un mapa de consulta id→rentabilidad-media: un elegante target-encoding ajustado sobre las etiquetas de entrenamiento. Valida mal fuera de muestra y le echaréis la culpa al “cambio de régimen”. La señal delatora: el ajuste en muestra mejora bruscamente con $m$ mientras que fuera de muestra se estanca o se degrada. Reducid $m$, añadid regularización/dropout sobre el embedding, o cuestionaos si tenéis los datos para hacer embedding de esta categoría siquiera.

Cuándo los embeddings se ganan el sueldo

Analogía. Los embeddings son un deporte de equipo. Toda su ventaja está en dejar que las categorías compartan fuerza: un banco aprendiendo de mil días-banco. Si tenéis dos bancos y un fin de semana largo de datos, no hay equipo con el que compartir; solo estáis memorizando. Los embeddings premian un estadio abarrotado, no uno vacío.

La decisión, hecha precisa. Inclinaos por un embedding cuando se cumplan ambas cosas: (1) la cardinalidad es alta ($K$ en los cientos-a-miles), así que el one-hot es un derroche y la estructura de similitud merece la pena aprenderse; y (2) tenéis un panel agrupado grande —muchas entidades $\times$ muchos periodos— para que el embedding tenga suficientes ejemplos por factor latente para aprender estructura en vez de ids. Evitadlo cuando los datos sean minúsculos (memoriza), cuando la cardinalidad sea baja (un encoding ordinal o de objetivo, o simplemente un one-hot, es más sencillo), o cuando un árbol sirva.

Cuándo usarlo: el compromiso

El intercambio del embedding es poder expresivo y estructura compartida comprado con parámetros, opacidad y una nueva superficie para la fuga. Aceptáis el trato cuando la alta cardinalidad y un panel agrupado profundo hacen que la estructura compartida sea real y aprendible. Lo rechazáis cuando los datos no pueden financiar los parámetros, o cuando un árbol os da el 95% del beneficio con el 5% de los tiros al pie.

Repaso