¿Cuántos componentes principales tomar?

No hay una respuesta correcta, está en algún lugar entre 1 y n.

Piense en un componente principal como una calle en una ciudad que nunca ha visitado antes. ¿Cuántas calles debes tomar para conocer el pueblo?

Bueno, obviamente deberías visitar la calle principal (el primer componente), y tal vez algunas de las otras calles grandes también. ¿Necesita visitar cada calle para conocer la ciudad lo suficientemente bien? Probablemente no.

Para conocer la ciudad a la perfección, debe visitar todos los calle. Pero, ¿y si pudieras visitar, digamos 10 de las 50 calles, y tener un 95% de comprensión de la ciudad? ¿Es suficiente?

Básicamente, debe seleccionar suficientes componentes para explicar lo suficiente de la varianza con la que se sienta cómodo.

Hay una serie de heurísticas para eso.

Por ejemplo, tomando los primeros vectores propios de k que capturan al menos el 85% de la varianza total.

Sin embargo, para una alta dimensionalidad, estas heurísticas generalmente no son muy buenas.

Como otros dijeron, no hace daño trazar la varianza explicada.

Si utiliza PCA como paso de preprocesamiento para una tarea de aprendizaje supervisado, debe validar de forma cruzada toda la canalización de procesamiento de datos y tratar el número de dimensión PCA como un hiperparámetro para seleccionar mediante una búsqueda de cuadrícula en la puntuación supervisada final (por ejemplo, puntuación F1 para la clasificación o RMSE para la regresión).

Si la búsqueda de cuadrícula validada cruzada en todo el conjunto de datos es demasiado costosa, pruebe con 2 submuestras, p. ej. uno con el 1% de los datos y el segundo con el 10% y ver si viene con el mismo valor óptimo para las dimensiones de PCA.

Dependiendo de su situación, puede ser interesante definir el error relativo máximo permitido proyectando sus datos en las dimensiones ndim.

Ilustraré esto con un pequeño ejemplo de matlab. Simplemente omita el código si no está interesado en él.

Primero generaré una matriz aleatoria de n muestras (filas) y p entidades que contienen exactamente 100 componentes principales distintos de cero.

n = 200;
p = 119;
data = zeros(n, p);
for i = 1:100
  data = data + rand(n, 1)*rand(1, p);
end

La imagen se verá similar a:

Para esta imagen de ejemplo, se puede calcular el error relativo realizado proyectando los datos de entrada a ndim dimensiones de la siguiente manera:

[coeff,score] = pca(data,'Economy',true);

relativeError = zeros(p, 1);
for ndim=1:p
    reconstructed = repmat(mean(data,1),n,1) + score(:,1:ndim)*coeff(:,1:ndim)';
    residuals = data - reconstructed;
    relativeError(ndim) = max(max(residuals./data));
end

Trazar el error relativo en función del número de dimensiones (componentes principales) resulta en el siguiente gráfico:

Basado en este gráfico, puede decidir cuántos componentes principales debe tener en cuenta. En esta imagen teórica tomando 100 componentes da como resultado una representación exacta de la imagen. Por lo tanto, tomar más de 100 elementos es inútil. Si desea, por ejemplo, un error máximo del 5%, debe tomar aproximadamente 40 componentes principales.

Descargo de responsabilidad : Los valores obtenidos solo son válidos para mis datos artificiales. Por lo tanto, no utilice los valores propuestos ciegamente en su situación, sino realice el mismo análisis y realice un intercambio entre el error que comete y el número de componentes que necesita.

Código referencia

• algoritmo Iterativo se basa en el código fuente de pcares
• A StackOverflow post acerca de pcares

Recomiendo encarecidamente el siguiente artículo de Gavish y Donoho: El Umbral Duro Óptimo para Valores Singulares es 4 / sqrt(3).

Publiqué un resumen más largo de esto en Crossvalided (stats.stackexchange.com). Brevemente, obtienen un procedimiento óptimo en el límite de matrices muy grandes. El procedimiento es muy simple, no requiere ningún parámetro ajustado a mano, y parece funcionar muy bien en la práctica.

Tienen un buen suplemento de código aquí: https://purl.stanford.edu/vg705qn9070