{"id":20928,"date":"2022-08-19T08:48:13","date_gmt":"2022-08-19T06:48:13","guid":{"rendered":"https:\/\/www.hiberus.com\/crecemos-contigo\/?p=20928"},"modified":"2024-06-04T14:23:36","modified_gmt":"2024-06-04T12:23:36","slug":"analisis-de-componentes-principales","status":"publish","type":"post","link":"https:\/\/www.hiberus.com\/crecemos-contigo\/analisis-de-componentes-principales\/","title":{"rendered":"\u00bfQu\u00e9 es el An\u00e1lisis de Componentes Principales y c\u00f3mo reducir el tama\u00f1o de una base de datos?"},"content":{"rendered":"

En esta publicaci\u00f3n vamos a mostrar c\u00f3mo se implementar\u00eda una de las t\u00e9cnicas m\u00e1s conocidas para reducir el tama\u00f1o de una base de datos con variables num\u00e9ricas en el entorno de Google Cloud<\/a>, el An\u00e1lisis de Componentes Principales<\/strong>.<\/p>\n

Los Data Scientist estamos acostumbrados a realizar labores de limpieza y preparaci\u00f3n de las bases de datos con las que trabajamos, siendo el paso del procesamiento de los datos<\/strong><\/a> (o Data Preparation, seg\u00fan la reconocida metodolog\u00eda CRISP-DM) el primordial en cualquier proceso de mundo data.<\/p>\n

\u00bfQu\u00e9 es el An\u00e1lisis de Componentes Principales?<\/h2>\n

El An\u00e1lisis de Componentes Principales (ACP) \u2013 o en su versi\u00f3n inglesa, Principal Component Analysis (PCA) – es un m\u00e9todo estad\u00edstico cuya utilidad radica en la reducci\u00f3n de la dimensionalidad de la base de datos (BDD) con la que estamos trabajando. Esta t\u00e9cnica se utiliza cuando queremos simplificar la base de datos<\/strong>, ya sea para elegir un menor n\u00famero de predictores<\/strong> para pronosticar una variable objetivo, o para comprender una BDD<\/strong> de una forma m\u00e1s simple.<\/p>\n

Este caso ser\u00eda aplicable para cualquier problema que tengamos con un dataset y se recomendar\u00eda analizar las variables disponibles antes de utilizar algoritmos de clustering (Kmeans, jer\u00e1rquico, DBSCAN\u2026).<\/p>\n

La t\u00e9cnica PCA forma parte de los algoritmos de aprendizaje no supervisado de Machine Learning, y se utilizar\u00eda solo con aquellas variables num\u00e9ricas<\/strong> disponibles.<\/p>\n

C\u00f3mo usar un PCA<\/h2>\n

Para poder utilizar PCA, se requiere del uso de \u00e1lgebra lineal, algo que la mayor\u00eda de los softwares como R y Python tienen implementado en sus librer\u00edas. En el caso que nos ocupa, Google Cloud Platform nos permite realizar PCA en BigQuery<\/strong> mediante unas sencillas consultas gracias a la potencia de BigQuery Machine Learning (Bigquery ML<\/strong>).<\/p>\n

Explicaci\u00f3n matem\u00e1tica de un An\u00e1lisis de Componentes Principales<\/h3>\n

Matem\u00e1ticamente se necesitar\u00edan vectores propios(eigenvectors) y valores propios (eigenvalues) de la matriz de correlaciones o de la matriz de varianzas-covarianzas de las variables. Los eigenvectors de una matriz son todos aquellos vectores que, al multiplicarlos por dicha matriz, resultan en el mismo vector o en un m\u00faltiplo entero del mismo. Los eigenvalues son el resultado de multiplicar la matriz por cada eigenvector. En definitiva, a todo eigenvector le corresponde un eigenvalue y viceversa<\/strong>.<\/p>\n

Los eigenvalues y el comportamiento de variables<\/h4>\n

Con los eigenvalues obtendr\u00edamos la proporci\u00f3n de varianza explicada por cada Componente. Sabiendo que la suma de los eigenvalues es el total de varianza explicada, se busca siempre maximizar este % con la suma de los componentes. Es importante que en este proceso se seleccionen solo aquellos componentes qu\u00e9 m\u00e1s aporten al total de varianza explicada. Normalmente se aconseja llegar al menos al 80% del total de varianza explicada. Llegar al 80% significa reducci\u00f3n de dimensionalidad y del conjunto de datos original.<\/p>\n

Con los eigenvectors analizar\u00edamos c\u00f3mo se comportan las variables en los distintos componentes y aportariamos una definici\u00f3n a los mismos. Cabe decir que la definici\u00f3n de los componentes en base a los eigenvectors se vuelve m\u00e1s dif\u00edcil cuanto menores son los eigenvalues, es decir, cuanto menos explique el componente concreto.<\/p>\n

\u00bfC\u00f3mo se implementa PCA en Google BigQuery<\/a>?<\/h2>\n

Para llevar a cabo este experimento en Google Cloud, se ha utilizado el proyecto de BigQuery gratuito bigquery-public-data, del cual hemos utilizado la tabla natality perteneciente al dataset samples.<\/p>\n

Disponibilidad del dato<\/h3>\n

La tabla natality contiene las caracter\u00edsticas de una gran cantidad de nacimientos, combinando variables continuas (a\u00f1o, peso, edad de los progenitores\u2026) y variables discretas (ubicaci\u00f3n, raza del beb\u00e9 y los padres\u2026)<\/p>\n

\"\"<\/p>\n

Supongamos que nuestro objetivo es determinar si el sexo del reci\u00e9n nacido (variable is_male) viene motivado por alguna causa explicable con los datos disponibles.
\nPlanteamos que el sexo depende de la edad de los padres, el peso, las semanas de gestaci\u00f3n y los hijos totales de la madre<\/strong>. Para ello vamos a crear una tabla ad hoc con estas variables en nuestro dataset de pruebas:<\/p>\n

\"\"<\/p>\n

Obs\u00e9rvese que, como en cualquier caso real, tenemos variables con m\u00e1s de una celda en NULL.<\/p>\n

Creaci\u00f3n del modelo de An\u00e1lisis de Componentes Principales<\/h3>\n

Una vez que tengamos el dataset listo, el siguiente paso ser\u00e1 realizar el PCA. El algoritmo, como es del tipo unsupervised learning, necesitar\u00e1 de sus propios datos para darnos los resultados. Es esencial excluir la variable objetivo (end\u00f3gena), is_male, por dos motivos: es de tipo factor, por lo que no podr\u00eda aplic\u00e1rsele PCA, y adem\u00e1s, por ser la variable objeto de estudio. No hay que olvidar que el objetivo es reducir la dimensionalidad de las variables explicativas, no tocar\u00edamos la dependiente, la target que querremos predecir.
\nCon la diferencia clara entre target y features , para extraer el conocimiento con PCA solo requerimos de unas simples queries que aprovechan la potencia de BigQuery ML como la que tenemos a continuaci\u00f3n:<\/p>\n

\"\"<\/p>\n

 <\/p>\n

An\u00e1lisis Query del PCA<\/b><\/h4>\n
Nombrar modelo<\/h5>\n

Lo primero que debemos hacer es nombrar el modelo en el dataset en el que queremos que este se localice, para ello sigue el esquema dataset.modelo<\/em><\/strong> tras el comando CREATE MODEL.<\/strong><\/p>\n

Tipo de modelo<\/h5>\n

Como segundo paso, habr\u00eda que incluir las opciones del modelo usando la funci\u00f3n OPTIONS()<\/strong>, donde figurar\u00e1n el tipo de modelo (MODEL_TYPE),<\/strong> que deber\u00e1 tener el valor \u2018PCA\u2019 y el n\u00famero de componentes principales (NUM_PRINCIPAL_COMPONENTS)<\/strong>, que ser\u00e1 un n\u00famero discrecional en funci\u00f3n de cu\u00e1nto nos interese buscar para hacer m\u00e1s o menos sencillo nuestro posterior an\u00e1lisis y reducci\u00f3n de la base de datos.<\/p>\n