{"id":22941,"date":"2023-01-17T11:00:38","date_gmt":"2023-01-17T09:00:38","guid":{"rendered":"https:\/\/www.hiberus.com\/crecemos-contigo\/?p=22941"},"modified":"2023-12-14T22:59:30","modified_gmt":"2023-12-14T21:59:30","slug":"que-es-dataform","status":"publish","type":"post","link":"https:\/\/www.hiberus.com\/crecemos-contigo\/que-es-dataform\/","title":{"rendered":"\u00bfQu\u00e9 es Dataform?"},"content":{"rendered":"

Actualmente, aprovechar los datos es un requisito clave para el \u00e9xito de las organizaciones. Sin embargo, para satisfacer las necesidades de datos a gran escala, los equipos tienen que enfrentarse a grandes retos de escalabilidad, agilidad y colaboraci\u00f3n. Hoy hablamos de Dataform<\/strong>, una herramienta de modelamiento de datos que puede resultar interesante para empresas con grandes cantidades de datos estructurados que se plantean flujos de transformaci\u00f3n a partir de SQL.<\/p>\n

\u00bfQu\u00e9 es Dataform?<\/h2>\n

Dataform<\/strong> es una plataforma de datos donde todo un equipo puede trabajar en conjunto para construir una \u00fanica fuente de datos para su compa\u00f1\u00eda<\/strong>. Se trata de una herramienta ELT<\/strong>, lo que supone un cambio sobre el concepto habitual ETL.<\/p>\n

En este caso, es necesario realizar una carga de datos en BigQuery<\/a> para poder llevar a cabo las transformaciones sobre unas tablas preliminar y generar las tablas finales, por lo que tambi\u00e9n suele definirse como ELTL, ya que se realiza un proceso final de carga de datos nuevamente.<\/p>\n

Esta tecnolog\u00eda tiene basada su infraestructura en el motor de BigQuery<\/strong>, lo que quiere decir que todo lo que soporte BigQuery, Dataform puede soportarlo.<\/p>\n

\"\"<\/p>\n

Ventajas y desventajas de Dataform<\/h2>\n

Dataform tiene una infinidad de beneficios como es la capacidad de procesar grandes cantidades de datos con un coste relativamente gratuito<\/strong>, ya que Dataform tambi\u00e9n basa su coste en BigQuery y BiQquery tiene una capa gratuita de 1 Tera procesado al mes.<\/p>\n

Por otro lado, tambi\u00e9n tiene una parte negativa y es que no se pueden leer o transformar datos que no est\u00e9n integrados en BigQuery<\/strong>, por ejemplo, cloud storage. Para poder leer datos de cloud storage se debe crear una tabla nativa o externa en BigQuery que apunte a un bucket de storage.<\/p>\n

Dataform tiene un lenguaje propio llamado SQLX<\/strong>. Este lenguaje es id\u00e9ntico al SQL que permite crear queries customizadas. Gracias a estas queries customizadas es posible a\u00f1adir dependencias entre tablas y poder realizar una labor de orquestaci\u00f3n dentro de la propia herramienta.<\/p>\n

\"\"<\/p>\n

Como se puede apreciar en la siguiente imagen, que la tabla test 1 se ejecute depende de que la tabla test 2 haya finalizado con \u00e9xito. En caso de que la tabla test 2 no finalice con \u00e9xito, toda la ejecuci\u00f3n de detendr\u00e1 autom\u00e1ticamente. Gracias a esto se puede detectar un fallo a la mayor brevedad posible y evitar un gasto de dinero absurdo, ya que se debe recordar que esta herramienta est\u00e1 basada en BigQuery y su coste es por Tera escaneado.<\/p>\n

\"\"<\/p>\n

Por \u00faltimo, como se puede apreciar en esta imagen, la tabla test 1 depende de la buena ejecuci\u00f3n de la tabla test 2. Por \u00faltimo, para que se carguen los datos en la tabla final de producci\u00f3n debe pasar la assertion, lo que quiere decir que se debe cumplir una validaci\u00f3n de datos o incluso tipo de datos. Si esta validaci\u00f3n no se cumple, la tabla final no ser\u00e1 generada, por lo que no habr\u00e1 un impacto en producci\u00f3n.<\/p>\n

\u00bfQu\u00e9 equipo puede usar Dataform?<\/h2>\n

Esta herramienta es capaz de integrar a los tres tipos de posiciones<\/strong> que hay en el mundo del dato en una misma plataforma<\/strong>.<\/p>\n

El lenguaje SQLX es capaz de ofrecer una ayuda a los analistas de datos<\/strong> para crear, testear y desplegar sus modelos de datos y reglas de negocio al modelo final, puesto que se caracteriza por ofrecer diferentes entornos de desarrollo. Tambi\u00e9n ofrece un tipo de fichero encargado de validar todas estas tablas finales.<\/p>\n

Viendo que el SQL no es suficiente para poder realizar una limpieza total del dato, Dataform incluye el lenguaje Javascript para poder ayudar a los ingenieros de<\/strong> datos<\/strong> en toda la fase de limpieza y transformaci\u00f3n del dato.<\/p>\n

Por \u00faltimo, gracias a que estaba basado en BigQuery se puedes aprovechar todas las funcionalidades de BigQuery como es su potente BigQueryML. Por lo tanto, es una herramienta muy importante para los cient\u00edficos de datos.<\/strong><\/p>\n

\"\"<\/p>\n

\u00bfC\u00f3mo se integra con git?<\/h2>\n

Como se acaba de comentar, Dataform ofrece una infinidad de beneficios para todos los equipos de desarrollo. Por otro lado, es posible realizar buenas pr\u00e1cticas de integraci\u00f3n continua gracias a su conexi\u00f3n con git y diferentes entornos de desarrollo<\/strong>.<\/p>\n

\"\"<\/p>\n

Dataform proporciona diferentes ramas y entornos, de forma que existen m\u00faltiples maneras de desplegar y realizar ejecuciones aisladas sin afectar a tablas o datasets de diferentes equipos o entornos.<\/p>\n

\"\"<\/p>\n

\u00bfEs posible realizar ejecuciones programadas?<\/h2>\n

Dataform tiene un apartado donde es posible realizar ejecuciones horarias, diarias, semanales, mensuales y hasta anuales<\/strong>. Como se puede apreciar en la imagen anterior, tiene un par\u00e1metro llamado cron<\/strong> en el que, si est\u00e1 activo, es posible realizar esa configuraci\u00f3n t\u00edpica de crontab.<\/p>\n

Pr\u00f3ximos pasos con Dataform<\/h2>\n

Google Cloud ha comprado esta herramienta y la tiene integrada en su ecosistema dentro de BigQuery.<\/p>\n

\"\"<\/p>\n

Dentro de este repositorio se pueden crear diferentes entornos de desarrollo<\/strong> similares a lo comentado anteriormente.<\/p>\n

\"\"<\/p>\n

Como se puede apreciar en la siguiente imagen, la estructura de ficheros y carpetas<\/strong> es id\u00e9ntica a la versi\u00f3n legacy de dataform, por lo que la migraci\u00f3n a Google Cloud ser\u00e1 lo m\u00e1s sencilla posible:<\/p>\n

\"\"<\/p>\n

Google sigue haciendo mejoras e implementado nuevas aplicaciones a esta tecnolog\u00eda que sin duda dar\u00e1 mucho que hablar en los pr\u00f3ximos meses y que se puede tener la certeza que ser\u00e1 un gran competidor con DBT.<\/p>\n

Hiberus cuenta con una unidad especializada en Data & Analytics<\/strong><\/a> formada por un equipo de profesionales con amplia experiencia en tecnolog\u00eda, an\u00e1lisis de datos e innovaci\u00f3n<\/strong>. Desde esta unidad llevamos a cabo proyectos de transformaci\u00f3n digital con la tecnolog\u00eda de datos m\u00e1s innovadora. \u00a1Ponte en contacto con nosotros y estaremos encantados de ayudarte!<\/p>\n

\"behind<\/a><\/p>\n

 <\/p>\n

\n
\n
\n
\n

\u00bfQuieres m\u00e1s informaci\u00f3n sobre nuestros servicios de Data & Analytics?<\/p>\n

Contacta con nuestro equipo de expertos en Data & Analytics<\/p>\n <\/div>\n

\n \n
\n

<\/p>

    <\/ul><\/div>\n
    \n
    \n<\/fieldset>\n
    \n\t
    \n\t\t
    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t\t

    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t<\/div>\n\t

    \n\t\t
    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t\t

    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t<\/div>\n\t

    \n\t\t
    \n\t\t\t

    <\/span>\n\t\t\t<\/p>\n\t\t<\/div>\n\t<\/div>\n\t

    \n\t\t
    \n\t\t\t