Propósito del cliente
Tradisa es un proveedor integral de servicios logísticos multimodales que opera en toda Europa para el sector de la automoción y otros sectores industriales.
Su objetivo era llenar su negocio con mejores datos en lugar de sólo con más datos. Uno de sus principales problemas era la calidad de los datos. Necesitaban generar una única fuente de verdad (data warehouse) y consolidar, centralizar y limpiar toda la información extraída de diversas fuentes.
¿Cómo lo afrontamos?
Propusimos construir un data warehouse en Azure para cumplir sus objetivos. Trabajamos con sprints de 2 semanas. En cada sprint había nuevos requisitos.
Para realizar la implementación, seguimos los siguientes pasos:
- Datos extraídos de fuentes utilizando Azure Data Factory.
- Datos transformados con Azure Databricks.
- Aterrizaje de todos los datos en una zona de aterrizaje en bruto.
- Datos preparadosen el área de transformación.
- Construcción de transformaciones para mover datos al área de consumo.
Azure Devops se utilizó para automatizar los despliegues entre los entornos de desarrollo, prueba y producción.
Para crear el data warehouse, seguimos las mejores prácticas, entre ellas:
- Implantación del almacenamiento inmutable de datos brutos.
- Gestión del ciclo de vida del almacenamiento en caliente al frío.
- Formatos de archivo optimizados como Parquet.
- Particionamiento para mejorar el rendimiento.
- Capas ELT independientes para mayor resistencia.
- Capacidad de recarga fácil.
- Claves sustitutas para los sistemas de reporte.
- Código y procesos bien documentados.
- Flexibilidad para cambiar las cargas y añadir nuevas fuentes.
- Detección de supresión de fuentes.
¿A dónde nos ha llevado?
Nuestro equipo ejecutó un enfoque de implementación ágil e iterativo para construir la nueva arquitectura del data warehouse de Tradisa en Azure. Trabajamos en sprints de 2 semanas para extraer datos de las fuentes, transformarlos y cargarlos en el almacén de datos. Esto nos permitió ampliar continuamente la funcionalidad y satisfacer los requisitos de Tradisa. Configuramos entornos de desarrollo, prueba y producción para gestionar el ciclo de vida del desarrollo utilizando Azure DevOps para despliegues CI/CD.
A lo largo del proyecto, nos centramos en supervisar y optimizar los flujos de datos para garantizar un alto rendimiento y reducir los tiempos de carga y transformación de datos. También implementamos controles de calidad para los despliegues en producción.
El bajo coste del almacenamiento en la nube nos permitió mantener intactos los datos brutos para la resiliencia del sistema en caso necesario. El uso de herramientas en la nube redujo los costes de mantenimiento y los gastos generales de funcionamiento, al tiempo que permitió escalar rápidamente los recursos en caso necesario.
Propósito del cliente
Tradisa es un proveedor integral de servicios logísticos multimodales que opera en toda Europa para el sector de la automoción y otros sectores industriales.
Su objetivo era llenar su negocio con mejores datos en lugar de sólo con más datos. Uno de sus principales problemas era la calidad de los datos. Necesitaban generar una única fuente de verdad (data warehouse) y consolidar, centralizar y limpiar toda la información extraída de diversas fuentes.
¿Cómo lo afrontamos?
Propusimos construir un data warehouse en Azure para cumplir sus objetivos. Trabajamos con sprints de 2 semanas. En cada sprint había nuevos requisitos.
Para realizar la implementación, seguimos los siguientes pasos:
- Datos extraídos de fuentes utilizando Azure Data Factory.
- Datos transformados con Azure Databricks.
- Aterrizaje de todos los datos en una zona de aterrizaje en bruto.
- Datos preparadosen el área de transformación.
- Construcción de transformaciones para mover datos al área de consumo.
Azure Devops se utilizó para automatizar los despliegues entre los entornos de desarrollo, prueba y producción.
Para crear el data warehouse, seguimos las mejores prácticas, entre ellas:
- Implantación del almacenamiento inmutable de datos brutos.
- Gestión del ciclo de vida del almacenamiento en caliente al frío.
- Formatos de archivo optimizados como Parquet.
- Particionamiento para mejorar el rendimiento.
- Capas ELT independientes para mayor resistencia.
- Capacidad de recarga fácil.
- Claves sustitutas para los sistemas de reporte.
- Código y procesos bien documentados.
- Flexibilidad para cambiar las cargas y añadir nuevas fuentes.
- Detección de supresión de fuentes.
Cómo cambiar toda una estrategia de datos
Imagino a 8wires como ese socio sincero y honesto que te saca de todo ese ruido y te ayuda a centrarte en lo importante, por poco sexy que sea, para lograr un gran objetivo a largo plazo.
El que te acompaña en los momentos duros y te ayuda en las decisiones difíciles, sabiendo que no hay camino fácil. El que te da el empujón o las herramientas para que escales y seas tú mismo el que alcance las cumbres que te propongas de forma sana, sostenible y enérgica. Y sobre todo, el que se aparta cuando sabe que no te ayuda o que no podrá darte lo que necesitas.
No sé si es útil, pero de alguna manera vi en la web una explicación visual del problema en el mundo de los datos/tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y finalmente, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Imagino a 8wires como ese socio sincero y honesto que te saca de todo ese ruido y te ayuda a centrarte en lo importante, por poco sexy que sea, para lograr un gran objetivo a largo plazo.
El que te acompaña en los momentos duros y te ayuda en las decisiones difíciles, sabiendo que no hay camino fácil. El que te da el empujón o las herramientas para que escales y seas tú mismo el que alcance las cumbres que te propongas de forma sana, sostenible y enérgica.
Propósito del cliente
Tradisa es un proveedor integral de servicios logísticos multimodales que opera en toda Europa para el sector de la automoción y otros sectores industriales.
Su objetivo era llenar su negocio con mejores datos en lugar de sólo con más datos. Uno de sus principales problemas era la calidad de los datos. Necesitaban generar una única fuente de verdad (data warehouse) y consolidar, centralizar y limpiar toda la información extraída de diversas fuentes.
¿Cómo lo afrontamos?
Propusimos construir un data warehouse en Azure para cumplir sus objetivos. Trabajamos con sprints de 2 semanas. En cada sprint había nuevos requisitos.
Para realizar la implementación, seguimos los siguientes pasos:
- Datos extraídos de fuentes utilizando Azure Data Factory.
- Datos transformados con Azure Databricks.
- Aterrizaje de todos los datos en una zona de aterrizaje en bruto.
- Datos preparadosen el área de transformación.
- Construcción de transformaciones para mover datos al área de consumo.
Azure Devops se utilizó para automatizar los despliegues entre los entornos de desarrollo, prueba y producción.
Para crear el data warehouse, seguimos las mejores prácticas, entre ellas:
- Implantación del almacenamiento inmutable de datos brutos.
- Gestión del ciclo de vida del almacenamiento en caliente al frío.
- Formatos de archivo optimizados como Parquet.
- Particionamiento para mejorar el rendimiento.
- Capas ELT independientes para mayor resistencia.
- Capacidad de recarga fácil.
- Claves sustitutas para los sistemas de reporte.
- Código y procesos bien documentados.
- Flexibilidad para cambiar las cargas y añadir nuevas fuentes.
- Detección de supresión de fuentes.
Cómo cambiar toda una estrategia de datos
Imagino a 8wires como ese socio sincero y honesto que te saca de todo ese ruido y te ayuda a centrarte en lo importante, por poco sexy que sea, para lograr un gran objetivo a largo plazo.
El que te acompaña en los momentos duros y te ayuda en las decisiones difíciles, sabiendo que no hay camino fácil. El que te da el empujón o las herramientas para que escales y seas tú mismo el que alcance las cumbres que te propongas de forma sana, sostenible y enérgica. Y sobre todo, el que se aparta cuando sabe que no te ayuda o que no podrá darte lo que necesitas.
No sé si es útil, pero de alguna manera vi en la web una explicación visual del problema en el mundo de los datos/tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y finalmente, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Imagino a 8wires como ese socio sincero y honesto que te saca de todo ese ruido y te ayuda a centrarte en lo importante, por poco sexy que sea, para lograr un gran objetivo a largo plazo.
El que te acompaña en los momentos duros y te ayuda en las decisiones difíciles, sabiendo que no hay camino fácil. El que te da el empujón o las herramientas para que escales y seas tú mismo el que alcance las cumbres que te propongas de forma sana, sostenible y enérgica.
