Un proceso para llevar a cabo una transición segura del flujo de calidad de datos en una arquitectura compleja
El reto
Isdin, una empresa farmacéutica española con presencia internacional, necesitaba centralizar la validación de datos procedentes de varios países y equipos. Utilizaban Soda, pero esto suponía unos costes considerables. El objetivo era encontrar la herramienta adecuada para centralizar los controles de calidad, detectar errores rápidamente y generar alertas que permitieran actuar.
- Sector:Farmacéutico
- Tipo de solución: Calidad de los datos
- Tech stack: Soda , Grandes esperanzas, Google Cloud Platform
Lo que hicimos
En primer lugar, evaluamos el enfoque y propusimos alternativas. Nuestra recomendación fue trasladar su proceso de control de calidad de datos a Great Expectations, debido a sus capacidades de control de versiones.
A continuación, nuestro equipo:
- Validamos la migración con una prueba de concepto en un tiempo récord: pusimos en marcha una prueba de concepto para evaluar y trasladar los controles necesarios. Durante el proceso, implementamos los controles dentro del plazo previsto y programamos una ejecución paralela en la que ambas herramientas funcionaron simultáneamente para evitar riesgos, con excelentes resultados.
- Hemos incorporado la nueva herramienta en la plataforma de Google Cloud del cliente ( tech stack): hemos integrado Great Expectations en el entorno de Google Cloud Platform de Isdin.
- Redireccionamiento de las alertas para ofrecer contextos más completos: las alertas que antes se visualizaban en Soda y se enviaban a través de Slack ahora llegan directamente a GCP, lo que proporciona metadatos más completos y una automatización más rápida.
- Inicio de la producción: A medida que «Grandes esperanzas» entra en fase de producción, las canalizaciones de Soda siguen en funcionamiento durante un tiempo limitado para garantizar una mayor seguridad durante la transición.
Lo que hemos conseguido
- Marco de calidad de datos centralizado y coherente: esto reduce el riesgo de errores y fomenta la confianza en los análisis futuros.
- Alertas más claras para actuar con mayor rapidez: las alertas en Slack ahora incluyen más información contextual, por lo que el equipo puede tomar medidas bien meditas en función del tipo de error.
- Optimización de costes: la transición a Great Expectations redujo el coste total del servicio Soda.
- Migración de bajo riesgo: la ejecución en paralelo garantizó la coherencia y una transición segura.

.png)