Next Tech

Servicios de Google Cloud para almacenamiento

6 Mins de lectura

Google Cloud ofrece muchos servicios diferentes que cubren las necesidades de los datos y aplicaciones Big Data. Todos estos servicios tienen sus pros y sus contras, por lo que se hará un estudio de las características que definen cada servicio para saber cuál es el mejor servicio de almacenamiento en cada momento.

A continuación, se explicará para qué sirve cada uno de estos servicios, los beneficios que contiene y el coste de cada servicio.

google cloud platform

1. Storage

storage

1.1. Cloud Storage

Cloud Storage ofrece un servicio de almacenamiento de objetos de alta durabilidad que se puede escalar hasta exabytes de datos. Proporciona un acceso instantáneo a los datos desde cualquier servicio.

cloud storage

Características de Cloud Storage:

  • Almacenamiento persistente.
  • Se trata de un área de ensayo para otros servicios.
  • Almacenamiento en clases.
  • Siempre se tiene el control de acceso al proyecto, se define como Bucket.
  • Permite almacenamiento tanto en streaming como en batch.
  • Cloud Storage soporta el versionado.
  • Soporta múltiples opciones de encriptación.

Este servicio se puede extender a su vez en cuatro tipos de almacenamiento determinados por la cantidad de uso y coste.

  1. Standard storage: este tipo de almacenamiento es usado con frecuencia cuando se pretende realizar consultas de manera activa o en un breve periodo de tiempo. Este modo es el más usado ya que se trata de un servicio bastante barato y de cómodo uso.
  2. Nearline storage: este tipo de almacenamiento es de bajo coste y con gran durabilidad para un almacenamiento el cual se consulta con poca frecuencia. Este servicio se debe usar cuando la duración del almacenamiento sea superior a 30 días y la disponibilidad no sea un detalle a tener en cuenta.
  3. Coldline storage: este tipo de almacenamiento es usado cuando la disponibilidad sea muy inferior a los otros 2 tipos y la duración del almacenamiento sea como mínimo 90 días.
  4. Archive storage: este tipo de almacenamiento es el servicio más duradero y de menor coste si se desea archivar datos o realizar copias de seguridad que se van a consultar con una frecuencia nula, es decir, el almacenamiento mínimo para este tipo de servicio debe ser de 365 días.

La característica más destacable de Cloud Storage es la capacidad de almacenar cualquier tipo de archivo, CSV, JSON, AVRO, hasta imágenes.

También cabe destacar que este servicio presenta una estructura de ficheros similar a Windows, pero la realidad es que por detrás no existe una estructura de ficheros y carpetas, sino que Google lo denomina objetos, y no es más que una ruta directa de un bucket a un fichero.

Precio:

El precio se basa en la cantidad de datos almacenados, los recursos de red, cantidad de operaciones de operaciones sobre esos datos. Es decir, cuanto mayor sea el peso del archivo y cuantos más accesos se haga al mismo mayor será el precio. Este tipo de almacenamiento suele llamarse Cold, ya que no se realizan muchas operaciones. El precio estándar es de 1GB de datos almacenados.

Conclusión:

Si se va a realizar un almacenamiento de datos histórico, datos sin estructurar o bien se desea crear un datalake para un proyecto, las mejores prácticas de Google recomiendan usar Cloud Storage.

1.2. Cloud SQL

Se trata de un servicio de almacenamiento de bases de datos relacionales como son MYSQL, POSTGRES y SQL SERVER. Esta solución tiene conexión con prácticamente cualquier aplicación y desde cualquier parte.

Cloud SQL realiza conmutaciones por error y crea copias de seguridad y réplicas, lo que permite que la base de datos sea segura, de alta disponibilidad y flexible para ofrecer un gran rendimiento.

cloud SQL

Características de Cloud SQL:

  • Soporta la mayoría de sentencias, funciones disparadores y vistas de mysql.
  • No soporta funciones de usuario, esquema de replicación, sentencias y funciones de archivos y plugin.
  • Rápido, se puede conectar la instancia de Cloud SQL en la misma región que tenga la App Engine o Compute Engine con un gran ancho de banda.
  • Para la parte de seguridad Cloud SQL reside de forma segura en Google data centers

Precio:

El precio varía en función del tipo de base de datos que se utilice, la cantidad de almacenamiento, memoria y CPU que se quiera utilizar.

Conclusión:

Si los datos están estructurados, pero no tenemos que realizar el proceso de análisis de estos datos, se trata de datos relacionales y sobre todo el almacenamiento no requiere de más de 10TB, las mejores prácticas de Google recomiendan el uso de Cloud SQL.

1.3. Cloud BigTable

BigTable se trata de una base de datos tipo NOSQL, Google recomienda usar este tipo de base de datos para tecnologías de anuncios, finanzas o IOT. Esta base de datos está destinada a un alto rendimiento y su estructura está basada en Hbase.

google cloud bigtable

Características de BigTable:

  • Latencia constante por debajo de los 10 ms.
  • Alto rendimiento.
  • Acceso diseñado para optimizar el rango de celdas mediante key prefixes.
  • Esquema definido
  • Control de acceso
  • Diseño de rendimiento
  • Escoger entre HDD y SSD
  • Bueno para un almacenamiento columnar
  • Serveless

Precio:

Cloud Bigtable es un servicio de base de datos NoSQL rápido, totalmente gestionado y con enorme escalabilidad. El precio varía dependiendo del almacenamiento que se use, si es SSD será bastante más caro que usar HDD, aunque la velocidad también varía proporcionalmente al precio.

Conclusiones:

Si los datos son estructurados, necesitan un análisis y se requiere una latencia baja, las mejores prácticas de Google recomiendan usar Cloud BigTable.

1.4. Cloud Spanner

Cloud Spanner es el primer servicio de base de datos escalable de categoría empresarial con fuerte consistencia y distribuido por todo el mundo que se ha creado específicamente para la nube. Así, combina las ventajas de la estructura de las bases de datos relacionales con la escalabilidad horizontal de las no relacionales.

cloud spanner

Características de Cloud Spanner:

  • Global.
  • Totalmente administrado.
  • Base de datos relacional con consistencia transaccional.
  • Se tiene que definir el esquema para cada base de datos y se debe especificar los tipos de datos de cada columna en cada tabla.

Precio:

Los precios son sencillos y predecibles, se cobra por el número de nodos de la instancia, la cantidad de almacenamiento que usen las tablas y la cantidad de ancho de banda de la red utilizada.

Conclusiones:

Si los datos son estructurados, no necesitan análisis, son relacionales y aquí viene la diferencia con cloudSQL, necesita escalabilidad horizontal y el almacenamiento es de más de 10 TB as mejores prácticas de Google recomiendan usar Cloud Spanner.

1.5. BigQuery

BigQuery es un almacén de datos en la nube de bajo coste, gran escalabilidad y sin servidor diseñador para tomar decisiones. Permite almacenar y consultar conjuntos de datos masivos.

Características de BigQuery:

  • Almacenamiento de petabytes.
  • Familiarizado con bases de datos relacionales
  • Estructura en forma de tabla con lenguaje SQL
  • Integrado con todos los servicios de GCP
  • No soporta transacciones en OLAP
  • Máximo número de celdas es 10MB

Precio:

Se paga por separado la información almacenada y el número de consultas por GB. Se puede pagar por terabyte o por coste mensual dependiendo de las preferencias.

Conclusión:

Si tus datos son estructurados, necesitas analizarlos y visualizarlos en dashboards con poca latencia, Google recomienda que uses bigQuery.

Este es el caso más sencillo de ver ya que solo hay que pensar si se necesita visualización y análisis o no.

Tabla comparativa

Cloud Storage Big Table Big Query
 

–       Almacenamiento persistente.

–       Almacenamiento en clases.

–       Estructura en carpetas llamados buckets

–       Almacenamiento tanto en streaming como en batch.

–       Almacenamiento de datos sin estructurar

 

 

–       Base de datos NOSQL.

–       Basado en Hbase

–       HDD o SDD

–       Ingesta frecuente

–       Grandes volúmenes de datos (IoT)

–       Almacenamiento columnar

–       Nivel de Petabytes

–       Base de datos SQL

–       Consulta OLAP

–       Uso para visualización y almacenado

Spanner SQL
 

–       Global.

–       Totalmente administrado.

–      Base de datos relacional con consistencia transaccional.

–      Definición de esquema para cada base de datos y tipo de columna.

 

 

–      Soporta todo tipo de sentencia mySQL.

–      No soporta funciones de usuario,replicación o plugins.

–      Rápido y con gran ancho de banda.

–      Seguro en Google DataCenter.

Hiberus cuenta con una unidad especializada en Data & Analytics formada por un equipo de profesionales con amplio expertise en tecnología, análisis de datos e innovación.  Desde esta unidad se ofrecen soluciones integrales de consultoría estadística y análisis de datos con especialización por áreas de conocimiento.

Ponte en contacto con nosotros y estaremos encantados de ayudarte.

2 posts

Sobre el autor
Data Engineer en Hiberus
Artículos

EXPERTOS EN ANÁLISIS DE DATOS CON GOOGLE CLOUD

Somos partners de Google Cloud en la especialidad de Data Analytics y Machine Learning. ística y análisis de datos con especialización por áreas de conocimiento.

¿Te ayudamos?

Artículos relacionados
Next Tech

Herramientas para el tratamiento de duplicación de datos

5 Mins de lectura
El reconocimiento de duplicados consiste en la identificación de registros referentes a una misma entidad sin la ayuda de identificadores unívocos. Este…
Next TechSomosHiberusTurismo

Caso de éxito Segittur: Sistema de Inteligencia Turística con Microsoft Azure

3 Mins de lectura
La Sociedad Mercantil Estatal para la Gestión de la Innovación y las Tecnologías Turísticas, SEGITTUR, dependiente del Ministerio de Industria, Comercio y…
Next Tech

Ventajas de migrar de NAV a Dynamics 365 Business Central

5 Mins de lectura
Microsoft Dynamics 365 Business Central es más que un cambio de denominación comercial del ERP de Microsoft conocido anteriormente Navision o NAV,…

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *