Logotipo de Zenital
Acerca deServiciosProyectosBlogFormación
Contáctanos
Comunidad
Contáctanos
Icono del menú tipo «hamburguesa»

La calidad de los datos es lo primero: migración de un marco de validación de datos

El reto
Lo que hicimos
Lo que hemos conseguido
Icono de una cruz

La calidad de los datos es lo primero: migración de un marco de validación de datos

El retoLo que hicimosLo que conseguimos

Un proceso para llevar a cabo una transición segura del flujo de calidad de datos en una arquitectura compleja

‍

El reto

Isdin, una empresa farmacéutica española con presencia internacional, necesitaba centralizar la validación de datos procedentes de varios países y equipos. Utilizaban Soda, pero esto suponía unos costes considerables. El objetivo era encontrar la herramienta adecuada para centralizar los controles de calidad, detectar errores rápidamente y generar alertas que permitieran actuar.

‍

  • Sector:Farmacéutico
  • Tipo de solución: Calidad de los datos
  • Tech stack: Soda , Grandes esperanzas, Google Cloud Platform

‍

Lo que hicimos

En primer lugar, evaluamos el enfoque y propusimos alternativas. Nuestra recomendación fue trasladar su proceso de control de calidad de datos a Great Expectations, debido a sus capacidades de control de versiones.

A continuación, nuestro equipo:

  • Validamos la migración con una prueba de concepto en un tiempo récord: pusimos en marcha una prueba de concepto para evaluar y trasladar los controles necesarios. Durante el proceso, implementamos los controles dentro del plazo previsto y programamos una ejecución paralela en la que ambas herramientas funcionaron simultáneamente para evitar riesgos, con excelentes resultados.
  • Hemos incorporado la nueva herramienta en la plataforma de Google Cloud del cliente ( tech stack): hemos integrado Great Expectations en el entorno de Google Cloud Platform de Isdin.
  • Redireccionamiento de las alertas para ofrecer contextos más completos: las alertas que antes se visualizaban en Soda y se enviaban a través de Slack ahora llegan directamente a GCP, lo que proporciona metadatos más completos y una automatización más rápida.
  • Inicio de la producción: A medida que «Grandes esperanzas» entra en fase de producción, las canalizaciones de Soda siguen en funcionamiento durante un tiempo limitado para garantizar una mayor seguridad durante la transición.

‍

Lo que hemos conseguido

  • Marco de calidad de datos centralizado y coherente: esto reduce el riesgo de errores y fomenta la confianza en los análisis futuros.
  • Alertas más claras para actuar con mayor rapidez: las alertas en Slack ahora incluyen más información contextual, por lo que el equipo puede tomar medidas bien meditas en función del tipo de error.
  • Optimización de costes: la transición a Great Expectations redujo el coste total del servicio Soda.
  • Migración de bajo riesgo: la ejecución en paralelo garantizó la coherencia y una transición segura.

‍

© 2023 zenital. Todos los derechos reservados.
Icono de LinkedIn
Logotipo de Zenital
Estudio de ingeniería de datos desde 2016
Pau Claris, 100, 6.ª planta · 08009 Barcelona

Empresa

Acerca deServiciosProyectosRecursosComunidadContáctanos

Aviso legal

Aviso legalPolítica de privacidadPolítica de cookiesPolítica de redes sociales