Técnicas que reducen el número de variables consideradas encontrando representaciones de menor dimensión (proyecciones o codificaciones) que preservan la estructura esencial, la varianza o la información predictiva de datos de alta dimensión.

Principio

Aprovechar redundancia, correlaciones o estructura de variedad para representar datos en menos coordenadas mediante transformaciones lineales (ACP), aprendizaje de variedades no lineales (t-SNE, Isomap) o codificadores aprendidos (autoencoders), equilibrando fidelidad de reconstrucción, interpretabilidad y rendimiento en tareas posteriores.

Demostración

Aplicar análisis de componentes principales a datos de expresión génica de alta dimensión para extraer ejes principales que expliquen el 90 % de la varianza para visualización y clustering; entrenar un autoencoder para comprimir parches de imagen en un código latente de baja dimensión para clasificación posterior.

Aplicación incorrecta

Usar una técnica lineal como ACP en datos que yacen sobre una variedad no lineal e interpretar los ejes principales como factores causales, o descartar dimensiones que contienen señales predictivas raras pero críticas.

Consecuencia

Reduce almacenamiento y cómputo, mitiga la maldición de la dimensionalidad, mejora la visualización y a veces la generalización cuando la representación reducida captura la estructura relevante para la tarea.

Inversión

Expansión de características o lifting (añadir términos polinómicos, interacciones o características aleatorias) aumenta deliberadamente la dimensionalidad para hacer la estructura linealmente separable o para aumentar la capacidad del modelo.

Límite

Se refiere a transformaciones de variables medidas en representaciones de menor dimensión; se distingue de la selección de características (que elige subconjuntos) y del descubrimiento causal; la eficacia depende del tamaño de la muestra relativo a la dimensionalidad intrínseca.

Tensión semántica

Existe tensión entre reducción de dimensionalidad (que transforma o comprime características) y selección de características (que conserva coordenadas originales): la primera cambia la representación mientras la segunda mantiene la interpretabilidad y las restricciones posteriores.

Síntesis

La reducción de dimensionalidad identifica representaciones compactas proyectando o codificando datos de alta dimensión sobre estructuras de menor dimensión que preservan varianza, geometría o contenido predictivo, facilitando el cálculo y la interpretación, con precaución sobre la elección del método y la pérdida de información.