Objetivo del cliente
Tradisa es un proveedor integral de servicios logísticos multimodales que opera en toda Europa para el sector de la automoción y otros sectores industriales.
Su objetivo era dotar a su empresa de datos de mayor calidad, en lugar de limitarse a aumentar el volumen de datos. Uno de sus principales problemas era la calidad de los datos. Necesitaban crear una «fuente única de verdad» (data warehouse) y consolidar, centralizar y depurar toda la información extraída de diversas fuentes.
- Sector: Logística
- Tipo de solución:Data warehouse .
- Tech stack: Azure, Databricks
Cómo lo afrontamos
Propusimos crear un sistema de gestión de proyectos ( data warehouse ) en Azure para cumplir sus objetivos. Trabajamos con sprints de dos semanas. En cada sprint surgían nuevos requisitos.
Para llevar a cabo la implementación, seguimos los siguientes pasos:
- Datos extraídos de diversas fuentes mediante Azure Data Factory.
- Datos transformados con Azure Databricks.
- Se han descargado todos los datos en una zona de descarga sin procesar.
- Datos preparados en el área de transformación.
- Se han creado transformaciones para trasladar los datos al área de consumo.
Se utilizó Azure DevOps para automatizar las implementaciones entre los entornos de desarrollo, pruebas y producción.
Para crear el Data Warehouse, hemos seguido las mejores prácticas, entre las que se incluyen:
- Implementación de un almacenamiento de datos sin procesar inmutable.
- Gestión del ciclo de vida, desde el almacenamiento en caliente hasta el almacenamiento en frío.
- Formatos de archivo optimizados, como Parquet.
- Partición para mejorar el rendimiento.
- Capas ELT independientes para garantizar la resiliencia.
- Fácil recarga.
- Claves sustitutivas para sistemas de generación de informes.
- Código y procesos bien documentados.
- Flexibilidad para modificar las cargas y añadir nuevas fuentes.
- Detección de supresiones a partir de las fuentes.
Adónde nos llevó
Nuestro equipo aplicó un enfoque de implementación ágil e iterativo para desarrollar la nueva arquitectura de « data warehouse » de Tradisa en Azure. Trabajamos en sprints de dos semanas para extraer datos de las fuentes, transformarlos y cargarlos en el data warehouse. Esto nos permitió ampliar continuamente la funcionalidad y cumplir con los requisitos de Tradisa. Configuramos entornos de desarrollo, pruebas y producción para gestionar el ciclo de vida del desarrollo utilizando Azure DevOps para las implementaciones de CI/CD.
A lo largo del proyecto, nos centramos en supervisar y optimizar los flujos de datos para garantizar un alto rendimiento y reducir los tiempos de carga y transformación de los datos. También implementamos controles de calidad para las implementaciones en producción.
El bajo coste del almacenamiento en la nube nos permitió conservar los datos sin procesar intactos para garantizar la resiliencia del sistema en caso de que fuera necesario. El uso de herramientas en la nube redujo los costes de mantenimiento y los gastos generales de funcionamiento, al tiempo que permitió ampliar rápidamente los recursos en caso de necesidad.
Objetivo del cliente
Tradisa es un proveedor integral de servicios logísticos multimodales que opera en toda Europa para el sector de la automoción y otros sectores industriales.
Su objetivo era dotar a su empresa de datos de mayor calidad, en lugar de limitarse a aumentar el volumen de datos. Uno de sus principales problemas era la calidad de los datos. Necesitaban crear una «fuente única de verdad» (data warehouse) y consolidar, centralizar y depurar toda la información extraída de diversas fuentes.
- Sector: Logística
- Tipo de solución:Data warehouse .
- Tech stack: Azure, Databricks
Cómo lo afrontamos
Propusimos crear un sistema de gestión de proyectos ( data warehouse ) en Azure para cumplir sus objetivos. Trabajamos con sprints de dos semanas. En cada sprint surgían nuevos requisitos.
Para llevar a cabo la implementación, seguimos los siguientes pasos:
- Datos extraídos de diversas fuentes mediante Azure Data Factory.
- Datos transformados con Azure Databricks.
- Se han descargado todos los datos en una zona de descarga sin procesar.
- Datos preparados en el área de transformación.
- Se han creado transformaciones para trasladar los datos al área de consumo.
Se utilizó Azure DevOps para automatizar las implementaciones entre los entornos de desarrollo, pruebas y producción.
Para crear el Data Warehouse, hemos seguido las mejores prácticas, entre las que se incluyen:
- Implementación de un almacenamiento de datos sin procesar inmutable.
- Gestión del ciclo de vida, desde el almacenamiento en caliente hasta el almacenamiento en frío.
- Formatos de archivo optimizados, como Parquet.
- Partición para mejorar el rendimiento.
- Capas ELT independientes para garantizar la resiliencia.
- Fácil recarga.
- Claves sustitutivas para sistemas de generación de informes.
- Código y procesos bien documentados.
- Flexibilidad para modificar las cargas y añadir nuevas fuentes.
- Detección de supresiones a partir de las fuentes.
Cómo cambiar toda una estrategia de datos
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por muy poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
Aquel que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay un camino fácil. Aquel que te da el empujón o las herramientas necesarias para que asciendas y seas tú mismo, aquel que alcanza las cimas que te propones de una forma sana, sostenible y llena de energía. Y, sobre todo, aquel que se hace a un lado cuando sabe que no te está ayudando o que no podrá darte lo que necesitas.
No sé si servirá de algo, pero, de alguna manera, vi en Internet una explicación visual del problema en el ámbito de los datos y la tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y, por último, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por muy poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
Aquella persona que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay caminos fáciles. Aquella que te da el empujón o las herramientas para que escales y seas tú mismo, y que te permite alcanzar las cimas que te propones de una forma saludable, sostenible y llena de energía.
Objetivo del cliente
Tradisa es un proveedor integral de servicios logísticos multimodales que opera en toda Europa para el sector de la automoción y otros sectores industriales.
Su objetivo era dotar a su empresa de datos de mayor calidad, en lugar de limitarse a aumentar el volumen de datos. Uno de sus principales problemas era la calidad de los datos. Necesitaban crear una «fuente única de verdad» (data warehouse) y consolidar, centralizar y depurar toda la información extraída de diversas fuentes.
- Sector: Logística
- Tipo de solución:Data warehouse .
- Tech stack: Azure, Databricks
Cómo lo afrontamos
Propusimos crear un sistema de gestión de proyectos ( data warehouse ) en Azure para cumplir sus objetivos. Trabajamos con sprints de dos semanas. En cada sprint surgían nuevos requisitos.
Para llevar a cabo la implementación, seguimos los siguientes pasos:
- Datos extraídos de diversas fuentes mediante Azure Data Factory.
- Datos transformados con Azure Databricks.
- Se han descargado todos los datos en una zona de descarga sin procesar.
- Datos preparados en el área de transformación.
- Se han creado transformaciones para trasladar los datos al área de consumo.
Se utilizó Azure DevOps para automatizar las implementaciones entre los entornos de desarrollo, pruebas y producción.
Para crear el Data Warehouse, hemos seguido las mejores prácticas, entre las que se incluyen:
- Implementación de un almacenamiento de datos sin procesar inmutable.
- Gestión del ciclo de vida, desde el almacenamiento en caliente hasta el almacenamiento en frío.
- Formatos de archivo optimizados, como Parquet.
- Partición para mejorar el rendimiento.
- Capas ELT independientes para garantizar la resiliencia.
- Fácil recarga.
- Claves sustitutivas para sistemas de generación de informes.
- Código y procesos bien documentados.
- Flexibilidad para modificar las cargas y añadir nuevas fuentes.
- Detección de supresiones a partir de las fuentes.
Cómo cambiar toda una estrategia de datos
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por muy poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
Aquel que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay un camino fácil. Aquel que te da el empujón o las herramientas necesarias para que asciendas y seas tú mismo, aquel que alcanza las cimas que te propones de una forma sana, sostenible y llena de energía. Y, sobre todo, aquel que se hace a un lado cuando sabe que no te está ayudando o que no podrá darte lo que necesitas.
No sé si servirá de algo, pero, de alguna manera, vi en Internet una explicación visual del problema en el ámbito de los datos y la tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y, por último, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por muy poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
Aquella persona que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay caminos fáciles. Aquella que te da el empujón o las herramientas para que escales y seas tú mismo, y que te permite alcanzar las cimas que te propones de una forma saludable, sostenible y llena de energía.
.png){kind=logo}
.png){kind=small}