{"id":20602,"date":"2022-03-23T16:03:33","date_gmt":"2022-03-23T14:03:33","guid":{"rendered":"https:\/\/www.hiberus.com\/crecemos-contigo\/?p=20602"},"modified":"2023-12-14T23:00:07","modified_gmt":"2023-12-14T22:00:07","slug":"formatos-de-archivos-en-google-cloud-storage-y-su-explotacion-en-bigquery","status":"publish","type":"post","link":"https:\/\/www.hiberus.com\/crecemos-contigo\/formatos-de-archivos-en-google-cloud-storage-y-su-explotacion-en-bigquery\/","title":{"rendered":"Formatos de archivos en Google Cloud Storage y su explotaci\u00f3n en BigQuery"},"content":{"rendered":"

Debido a la fuerza que est\u00e1 cogiendo el Big Data,<\/a> el uso de las nubes p\u00fablicas se ha convertido en un hecho fundamental a la hora de gestionar la informaci\u00f3n con mayor eficiencia. Si bien existen numerosas empresas grandes que ofrecen servicios destinados a este cometido, nos centraremos en el creado por Google para este an\u00e1lisis.<\/p>\n

Qu\u00e9 es Google Cloud Platform<\/h2>\n

Antes que nada, Google Cloud Platform es la nube p\u00fablica<\/a> de Google que nos proporciona herramientas y servicios para trabajar temas de Machine Learning<\/a>, Networking, Cloud Computing<\/a>, Big Data o Storage, entre otras. \u00c9sta permite a los desarrolladores poder trabajar de una manera m\u00e1s eficiente mientras que asegura una reducci\u00f3n en los gastos de capital<\/a> para las empresas. Esto hace que sea una de las mejores plataformas Cloud para explotar y procesar grandes cantidades de datos sin necesidad de disponer de grandes cantidades de capital.<\/p>\n

En este art\u00edculo nos centraremos en los servicios de anal\u00edtica y almacenamiento de datos<\/strong> y se tratar\u00e1 de explicar los diferentes formatos que se pueden almacenar en Google Cloud Storage (Storage) <\/em>y su posterior paso a BigQuery (BigData)<\/em>.<\/p>\n

\"\" \"\"<\/p>\n

Sobre el servicio de almacenamiento Google Cloud Storage<\/h3>\n

En primer lugar, Google Cloud Storage es un servicio de almacenamiento de alta durabilidad que, a su vez, se puede extender a cuatro tipos de almacenamiento dependiendo su coste y la frecuencia de uso. No obstante, la principal caracter\u00edstica, y en la que nos centraremos, es la capacidad que tiene para almacenar datos de archivos estructurados o semiestructurados, ya sea en formato JSON, AVRO, Parquet o CSV.<\/p>\n

Ahora bien, estos formatos que ser\u00e1n analizados se pueden distinguir por la orientaci\u00f3n de su almacenamiento. Esto es, ya sea por columnas (Parquet) o por filas (JSON, CSV y AVRO).<\/p>\n

Parquet<\/h3>\n

Comencemos por Parquet<\/a>. \u00c9ste es un formato de archivo gratuito y Open Source basado en el almacenamiento orientado a columnas, lo que permite ahorrar espacio de almacenamiento y asegurar que su compresi\u00f3n sea eficiente. Esto hace que las consultas busquen valores en columnas, en vez de por filas lo que contribuye a que se agilicen las b\u00fasquedas que tiendan a usar columnas enteras. Adem\u00e1s, admite modelo de datos anidados, lo que supone una importante ventaja sobre otros formatos columnares como ORC.<\/p>\n

Apache Avro<\/h3>\n

Apache Avro<\/a>, por su parte, es un formato que utiliza JSON para definir los tipos de datos y que es capaz de serializar los datos en un formato binario, lo que lo hace m\u00e1s compacto y eficiente. El hecho de que Avro presente el esquema con el que se han escrito los datos, permite mejorar el rendimiento de escritura de los mismos, consiguiendo que la serializaci\u00f3n sea m\u00e1s r\u00e1pida y viable.<\/p>\n

Si comparamos los distintos formatos para cargar datos en BigQuery, Avro tiene ventajas sobre otros formatos como CSV y JSON. En primer lugar, Avro, al presentar un formato binario, permite cargar los datos de manera m\u00e1s r\u00e1pida, no es necesaria la escritura o la serializaci\u00f3n y es m\u00e1s f\u00e1cil analizar dado que no hay problemas de codificaci\u00f3n.<\/p>\n

CSV y JSON<\/h3>\n

En cuanto a los formatos CSV y JSON, hemos visto que son los peores en comparaci\u00f3n con los otros dos; sin embargo, vemos que, si los comprimimos, se reducen en mayor proporci\u00f3n que Avro y Parquet. Adem\u00e1s, presentan ciertas limitaciones en comparaci\u00f3n con el resto de los formatos. Por un lado, los archivos CSV no admiten datos anidados. Sin embargo, una capacidad que est\u00e1 actualmente en preview es el poder ingestar campos de tipo JSON desde un CSV<\/a>.<\/p>\n

Con JSON, por su parte, los datos tendr\u00e1n que estar delimitados por saltos de l\u00ednea. Adem\u00e1s, BigQuery no admite diccionarios anidados en JSON debido a la falta de informaci\u00f3n de esquema y a la necesidad de pasar los n\u00fameros a string, si \u00e9stos quedan fuera del rango [-253<\/sup>+1, 253<\/sup>-1].<\/p>\n

Tanto para JSON como CSV, al utilizar la compresi\u00f3n gzip, BigQuery no es capaz de leer los datos en paralelo. Adem\u00e1s, cargar archivos comprimidos ser\u00e1 un proceso m\u00e1s lento que subirlos sin comprimir. Aunado a esto, el tama\u00f1o m\u00e1ximo de un archivo gzip no podr\u00e1 superar los 4 GB. Por otra parte, para los formatos de tiempo como DATE o TIMESTAMP, ser\u00e1 necesario utilizar un separador de gui\u00f3n.<\/p>\n

Tal y como hemos visto, dependiendo del tipo de formato el tama\u00f1o de los archivos ser\u00e1 uno u otro.<\/p>\n

Haciendo una comparativa de almacenamiento<\/h2>\n

Se ha realizado un estudio, cogiendo registros de un dataset p\u00fablico bigquery-public-data.chicago_crime.crime (8 STRING 8 INTEGER 4 FLOAT 2 BOOLEAN)<\/em> tomando 5.000, 100.000 y 1.000.000 de registros y se ha comparado el tama\u00f1o de los archivos dependiendo del tipo de formato en el que se guarda. Estos son los tama\u00f1os en MBs que hemos obtenido.<\/p>\n\n\n\n\n\n\n\n\n\n\n\n\n\n
\u00a0<\/strong><\/td>\n5000 rows<\/strong><\/td>\n100000 rows<\/strong><\/td>\n1000000 rows<\/strong><\/td>\n<\/tr>\n
AVRO<\/strong><\/td>\n0,9809 MB<\/td>\n18,1 MB<\/td>\n179,2 MB<\/td>\n<\/tr>\n
AVRO DEFLATE<\/strong><\/td>\n0,4016 MB<\/td>\n6,4 MB<\/td>\n76 MB<\/td>\n<\/tr>\n
AVRO SNAPPY<\/strong><\/td>\n0,5313 MB<\/td>\n8,5 MB<\/td>\n98,3 MB<\/td>\n<\/tr>\n
PARQUET<\/strong><\/td>\n0,5603 MB<\/td>\n7,4 MB<\/td>\n81,1 MB<\/td>\n<\/tr>\n
PARQUET GZIP<\/strong><\/td>\n0,3013 MB<\/td>\n4,2 MB<\/td>\n42,6 MB<\/td>\n<\/tr>\n
PARQUET SNAPPY<\/strong><\/td>\n0,3954 MB<\/td>\n5,5 MB<\/td>\n57,9 MB<\/td>\n<\/tr>\n
JSON<\/strong><\/td>\n2,6 MB<\/td>\n50,1 MB<\/td>\n489,1 MB<\/td>\n<\/tr>\n
JSON GZIP<\/strong><\/td>\n0,3376 MB<\/td>\n5,5 MB<\/td>\n64,3 MB<\/td>\n<\/tr>\n
CSV<\/strong><\/td>\n1,2 MB<\/td>\n22,5 MB<\/td>\n223,4 MB<\/td>\n<\/tr>\n
CSV GZIP<\/strong><\/td>\n0,2797 MB<\/td>\n4,5 MB<\/td>\n53,4 MB<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

5000 ROWS<\/strong><\/p>\n

\"\"\"\"<\/p>\n

100.000 ROWS<\/strong><\/p>\n

\"\"\"\"<\/p>\n

1.000.000 ROWS<\/strong><\/p>\n

\"\"\"\"<\/p>\n

Como podemos ver, los formatos CSV y JSON crecen mucho m\u00e1s r\u00e1pido de tama\u00f1o a medida que aumentan los registros y, tal y como se ve, PARQUET ser\u00eda la mejor opci\u00f3n que existe, principalmente por su almacenamiento columnar, lo que reduce considerablemente su tama\u00f1o.<\/p>\n

Por su parte, si nos fijamos en los formatos comprimidos, se comprueba que los tama\u00f1os se reducen considerablemente, sobre todo en los formatos JSON y CSV equilibr\u00e1ndose entre los distintos formatos.<\/p>\n

Con el fin de darle una visi\u00f3n m\u00e1s empresarial, vamos a analizar los costes que supondr\u00eda a nivel de empresa. En Google Cloud Storage, existen 4 tipos de almacenamiento<\/a> cuyas caracter\u00edsticas dependen del coste y de su cantidad de uso. Estos son el Standard, Nearline, Coldline y Archive. Respectivamente, las duraciones m\u00ednimas de estos tipos almacenamiento son 0, 30, 90 y 365 d\u00edas.<\/p>\n

A continuaci\u00f3n, se muestran los costes por tipo de almacenamiento para la Ubicaci\u00f3n UE (Multirregional) en GB\/mes.<\/p>\n\n\n\n\n
Ubicaci\u00f3n<\/td>\nStandard Storage<\/td>\nNearline Storage<\/td>\nColdline Storage<\/td>\nArchive Storage<\/td>\n<\/tr>\n
UE (Multirreg)<\/td>\n$0.026<\/td>\n$0.010<\/td>\n$0.007<\/td>\n$0.004<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Una vez que tenemos los precios de almacenamiento en Google Cloud Storage y los tama\u00f1os de los diferentes formatos, se va a realizar una estimaci\u00f3n de los costes que supondr\u00eda cada formato.<\/p>\n

Supongamos el caso hipot\u00e9tico de incorporar al d\u00eda 5.000.000 de registros con 22 campos como en el ejemplo anterior y utilizando el Standard Storage, podr\u00edamos extraer los siguientes datos.<\/p>\n\n\n\n\n\n\n\n\n\n\n\n\n\n
FORMATO<\/strong><\/td>\nTAMA\u00d1O \/ D\u00cdA<\/strong><\/td>\nPRECIO MES<\/strong><\/td>\n<\/tr>\n
AVRO<\/td>\n896 MB<\/td>\n$0,68<\/td>\n<\/tr>\n
AVRO DEFLATE<\/td>\n380 MB<\/td>\n$0,29<\/td>\n<\/tr>\n
AVRO SNAPPY<\/td>\n491,5 MB<\/td>\n$0,37<\/td>\n<\/tr>\n
PARQUET<\/td>\n405,5 MB<\/td>\n$0,31<\/td>\n<\/tr>\n
PARQUET GZIP<\/td>\n213 MB<\/td>\n$0,16<\/td>\n<\/tr>\n
PARQUET SNAPPY<\/td>\n289,5 MB<\/td>\n$0,22<\/td>\n<\/tr>\n
JSON<\/td>\n2445,5 MB<\/td>\n$1,86<\/td>\n<\/tr>\n
JSON GZIP<\/td>\n321,5 MB<\/td>\n$0,24<\/td>\n<\/tr>\n
CSV<\/td>\n1117 MB<\/td>\n$0,85<\/td>\n<\/tr>\n
CSV GZIP<\/td>\n267 MB<\/td>\n$0,20<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

A simple vista, los costos para un mes no parecen muy elevados, pero se pueden sacar varias conclusiones como que, entre los formatos sin comprimir, el uso de PARQUET supondr\u00eda disminuir los costos en un tercio en comparaci\u00f3n con archivos CSV y hasta 4 veces con los archivos JSON.<\/p>\n

Est\u00e1 claro que los formatos comprimidos van a tener un coste menor; sin embargo, pueden tener otro tipo de desventajas como un mayor tiempo de carga de los datos o comprobar que algunos entornos, como Apache Spark, pudieran soportar esos formatos.<\/p>\n

 <\/p>\n

En Hiberus contamos con una unidad especializada en servicios de\u00a0Data & Analytics<\/a><\/strong>\u00a0formada por un equipo de profesionales con amplio expertise en en tecnolog\u00eda, an\u00e1lisis de datos e innovaci\u00f3n. Somos expertos en Big Data, Machine Learning, Business Intelligence 2.0, y Business Intelligence y Analytics tradicional. Descubre todo lo que podemos hacer por ti.<\/p>\n

\n
\n
\n
\n

\u00bfQuieres m\u00e1s informaci\u00f3n sobre nuestros servicios de Data & Analytics?<\/p>\n

Contacta con nuestro equipo de expertos en Data & Analytics<\/p>\n <\/div>\n

\n \n
\n

<\/p>

    <\/ul><\/div>\n
    \n
    \n<\/fieldset>\n
    \n\t
    \n\t\t
    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t\t

    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t<\/div>\n\t

    \n\t\t
    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t\t

    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t<\/div>\n\t

    \n\t\t
    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t<\/div>\n\t

    \n\t\t
    \n\t\t\t