Un proceso para llevar a cabo una transición segura del flujo de calidad de datos en una arquitectura compleja
El reto
Isdin, una empresa farmacéutica española con presencia internacional, necesitaba centralizar la validación de datos procedentes de distintos países y equipos. Utilizaban Soda, pero esto generaba unos costes considerables. El objetivo era encontrar la herramienta adecuada para centralizar los controles de calidad, detectar errores rápidamente y generar alertas que permitieran actuar.
- Sector:Farmacéutico
- Tipo de solución: Calidad de los datos
- Tech stack: Soda , Great Expectations, Google Cloud Platform
Lo que hicimos
En primer lugar, evaluamos el enfoque y propusimos alternativas. Nuestra recomendación fue trasladar su proceso de control de calidad de datos a Great Expectations, debido a sus capacidades de control de versiones.
A continuación, nuestro equipo:
- Validamos la migración con una prueba de concepto en un tiempo récord: pusimos en marcha una prueba de concepto para evaluar y trasladar los controles necesarios. Durante el proceso, implementamos los controles dentro del plazo previsto y programamos una ejecución paralela en la que ambas herramientas funcionaron simultáneamente para evitar riesgos, con excelentes resultados.
- Incorporamos la nueva herramienta al tech stack del cliente: integramos Great Expectations en el entorno de Google Cloud Platform de Isdin.
- Redireccionamiento de alertas para ofrecer más contexto: las alertas que antes se visualizaban en Soda y se enviaban a través de Slack ahora llegan directamente a GCP, lo que proporciona más metadatos y una automatización más rápida.
- Inicio de la producción: A medida que «Great Expectations» entra en fase de producción, las canalizaciones de Soda seguirán activas durante un tiempo limitado para garantizar una mayor seguridad durante la transición.
Lo que hemos conseguido
- Marco de calidad de datos centralizado y coherente: esto reduce el riesgo de errores y fomenta la confianza en los análisis futuros.
- Alertas más claras para actuar con mayor rapidez: las alertas en Slack ahora incluyen más información contextual, lo que permite al equipo tomar medidas adecuadas en función del tipo de error.
- Optimización de costes: el cambio a Great Expectations redujo el coste total del servicio Soda.
- Migración de bajo riesgo: la ejecución en paralelo garantizó la coherencia y una transición segura.
Un proceso para llevar a cabo una transición segura del flujo de calidad de datos en una arquitectura compleja
El reto
Isdin, una empresa farmacéutica española con presencia internacional, necesitaba centralizar la validación de datos procedentes de distintos países y equipos. Utilizaban Soda, pero esto generaba unos costes considerables. El objetivo era encontrar la herramienta adecuada para centralizar los controles de calidad, detectar errores rápidamente y generar alertas que permitieran actuar.
- Sector:Farmacéutico
- Tipo de solución: Calidad de los datos
- Tech stack: Soda , Great Expectations, Google Cloud Platform
Lo que hicimos
En primer lugar, evaluamos el enfoque y propusimos alternativas. Nuestra recomendación fue trasladar su proceso de control de calidad de datos a Great Expectations, debido a sus capacidades de control de versiones.
A continuación, nuestro equipo:
- Validamos la migración con una prueba de concepto en un tiempo récord: pusimos en marcha una prueba de concepto para evaluar y trasladar los controles necesarios. Durante el proceso, implementamos los controles dentro del plazo previsto y programamos una ejecución paralela en la que ambas herramientas funcionaron simultáneamente para evitar riesgos, con excelentes resultados.
- Incorporamos la nueva herramienta al tech stack del cliente: integramos Great Expectations en el entorno de Google Cloud Platform de Isdin.
- Redireccionamiento de alertas para ofrecer más contexto: las alertas que antes se visualizaban en Soda y se enviaban a través de Slack ahora llegan directamente a GCP, lo que proporciona más metadatos y una automatización más rápida.
- Inicio de la producción: A medida que «Great Expectations» entra en fase de producción, las canalizaciones de Soda seguirán activas durante un tiempo limitado para garantizar una mayor seguridad durante la transición.
Cómo cambiar toda una estrategia de datos
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
El que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay caminos fáciles. El que te da el empujón o las herramientas para que escalas y seas tú mismo el que alcanza las cimas que te propones de una manera sana, sostenible y enérgica. Y, sobre todo, el que se aparta cuando sabe que no te está ayudando o que no podrá darte lo que necesitas.
No sé si servirá de algo, pero vi en Internet una explicación visual del problema en el ámbito de los datos y la tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y, por último, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
El que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay caminos fáciles. El que te da el empujón o las herramientas para que escalas y seas tú mismo el que alcanza las cimas que te propones de una manera sana, sostenible y enérgica.
Un proceso para llevar a cabo una transición segura del flujo de calidad de datos en una arquitectura compleja
El reto
Isdin, una empresa farmacéutica española con presencia internacional, necesitaba centralizar la validación de datos procedentes de distintos países y equipos. Utilizaban Soda, pero esto generaba unos costes considerables. El objetivo era encontrar la herramienta adecuada para centralizar los controles de calidad, detectar errores rápidamente y generar alertas que permitieran actuar.
- Sector:Farmacéutico
- Tipo de solución: Calidad de los datos
- Tech stack: Soda , Great Expectations, Google Cloud Platform
Lo que hicimos
En primer lugar, evaluamos el enfoque y propusimos alternativas. Nuestra recomendación fue trasladar su proceso de control de calidad de datos a Great Expectations, debido a sus capacidades de control de versiones.
A continuación, nuestro equipo:
- Validamos la migración con una prueba de concepto en un tiempo récord: pusimos en marcha una prueba de concepto para evaluar y trasladar los controles necesarios. Durante el proceso, implementamos los controles dentro del plazo previsto y programamos una ejecución paralela en la que ambas herramientas funcionaron simultáneamente para evitar riesgos, con excelentes resultados.
- Incorporamos la nueva herramienta al tech stack del cliente: integramos Great Expectations en el entorno de Google Cloud Platform de Isdin.
- Redireccionamiento de alertas para ofrecer más contexto: las alertas que antes se visualizaban en Soda y se enviaban a través de Slack ahora llegan directamente a GCP, lo que proporciona más metadatos y una automatización más rápida.
- Inicio de la producción: A medida que «Great Expectations» entra en fase de producción, las canalizaciones de Soda seguirán activas durante un tiempo limitado para garantizar una mayor seguridad durante la transición.
Cómo cambiar toda una estrategia de datos
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
El que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay caminos fáciles. El que te da el empujón o las herramientas para que escalas y seas tú mismo el que alcanza las cimas que te propones de una manera sana, sostenible y enérgica. Y, sobre todo, el que se aparta cuando sabe que no te está ayudando o que no podrá darte lo que necesitas.
No sé si servirá de algo, pero vi en Internet una explicación visual del problema en el ámbito de los datos y la tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y, por último, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
El que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay caminos fáciles. El que te da el empujón o las herramientas para que escalas y seas tú mismo el que alcanza las cimas que te propones de una manera sana, sostenible y enérgica.
.png){kind=small}