Propósito del cliente
Volotea es una aerolínea española de bajo coste fundada en 2011. Llega a más de 100 aeropuertos y tiene bases en 19 capitales europeas de tamaño medio. Volotea opera aproximadamente 70.000 vuelos al año.
La empresa tomó la decisión de migrar su nube de Azure a AWS. Volotea se enfrentaba a un crecimiento exponencial de datos y fuentes, lo que daba lugar a una arquitectura de datos compleja y costosa de mantener. Con múltiples sistemas generando datos de forma independiente, no existía una visión unificada ni gobernanza sobre la información. Además, los costes de infraestructura se dispararon debido a la replicación innecesaria de datos y a procesos ineficientes.
Para resolver estos problemas, se propuso lo siguiente:
- Rediseñar la arquitectura de datos centrándose en organizar los flujos de información, reducir las duplicaciones y mejorar los procesos.
- Implantar un almacén de datos en la nube utilizando tecnologías sin servidor para reducir costes.
- Centralizar todos los datos en un data lake y eliminar los silos.
- Crear procesos ETL para obtener control y trazabilidad sobre la manipulación de datos.
Como la empresa ya había decidido migrar las nubes de Azure a AWS, aprovechamos la migración para reestructurar también la arquitectura de datos en la nueva nube.
¿Cómo lo afrontamos?
Analizamos sus sistemas y herramientas. A partir de nuestros hallazgos, diseñamos una nueva arquitectura de datos en la nube basada en Amazon S3 para el almacenamiento, AWS Glue para ETL y Amazon Redshift Serverless para el almacén de datos. Los datos fluyen a través de una serie de etapas desde diferentes fuentes hacia el almacén de datos, que se compone de tablas Delta externas en S3. Esto permite a Redshift Serverless aprovechar los datos de S3 mediante Spectrum.
Los datos del almacén de datos pueden ser consumidos por los usuarios, las herramientas de BI y otras aplicaciones como los modelos de aprendizaje automático. Las tablas de metadatos aportan flexibilidad, comprensión y facilidad de mantenimiento a las canalizaciones de datos.
Los pasos clave en el flujo de datos son:
- Extracción de fuentes de datos en archivos Parquet en un bucket de aterrizaje S3.
- Estructuración, mecanografía y limpieza de datos en el área de preparación.
- Carga de datos transformados en tablas de consumo y vistas.
- Orquestación de servicios y automatización de procesos con AWS Step Functions.
¿A dónde nos ha llevado?
Con esta nueva arquitectura, la empresa logró:
- Una visión unificada de la información para mejorar el análisis y la toma de decisiones.
- Reducción significativa de los costes de infraestructura.
- Fácil ampliación a medida que crece el volumen de datos.
En resumen, la reestructuración de la arquitectura de datos está resultando un éxito, aportando un valor sostenible a la empresa. Actualmente estamos ampliando el proceso a otras áreas de la empresa.
Propósito del cliente
Volotea es una aerolínea española de bajo coste fundada en 2011. Llega a más de 100 aeropuertos y tiene bases en 19 capitales europeas de tamaño medio. Volotea opera aproximadamente 70.000 vuelos al año.
La empresa tomó la decisión de migrar su nube de Azure a AWS. Volotea se enfrentaba a un crecimiento exponencial de datos y fuentes, lo que daba lugar a una arquitectura de datos compleja y costosa de mantener. Con múltiples sistemas generando datos de forma independiente, no existía una visión unificada ni gobernanza sobre la información. Además, los costes de infraestructura se dispararon debido a la replicación innecesaria de datos y a procesos ineficientes.
Para resolver estos problemas, se propuso lo siguiente:
- Rediseñar la arquitectura de datos centrándose en organizar los flujos de información, reducir las duplicaciones y mejorar los procesos.
- Implantar un almacén de datos en la nube utilizando tecnologías sin servidor para reducir costes.
- Centralizar todos los datos en un data lake y eliminar los silos.
- Crear procesos ETL para obtener control y trazabilidad sobre la manipulación de datos.
Como la empresa ya había decidido migrar las nubes de Azure a AWS, aprovechamos la migración para reestructurar también la arquitectura de datos en la nueva nube.
¿Cómo lo afrontamos?
Analizamos sus sistemas y herramientas. A partir de nuestros hallazgos, diseñamos una nueva arquitectura de datos en la nube basada en Amazon S3 para el almacenamiento, AWS Glue para ETL y Amazon Redshift Serverless para el almacén de datos. Los datos fluyen a través de una serie de etapas desde diferentes fuentes hacia el almacén de datos, que se compone de tablas Delta externas en S3. Esto permite a Redshift Serverless aprovechar los datos de S3 mediante Spectrum.
Los datos del almacén de datos pueden ser consumidos por los usuarios, las herramientas de BI y otras aplicaciones como los modelos de aprendizaje automático. Las tablas de metadatos aportan flexibilidad, comprensión y facilidad de mantenimiento a las canalizaciones de datos.
Los pasos clave en el flujo de datos son:
- Extracción de fuentes de datos en archivos Parquet en un bucket de aterrizaje S3.
- Estructuración, mecanografía y limpieza de datos en el área de preparación.
- Carga de datos transformados en tablas de consumo y vistas.
- Orquestación de servicios y automatización de procesos con AWS Step Functions.
Cómo cambiar toda una estrategia de datos
Imagino a 8wires como ese socio sincero y honesto que te saca de todo ese ruido y te ayuda a centrarte en lo importante, por poco sexy que sea, para lograr un gran objetivo a largo plazo.
El que te acompaña en los momentos duros y te ayuda en las decisiones difíciles, sabiendo que no hay camino fácil. El que te da el empujón o las herramientas para que escales y seas tú mismo el que alcance las cumbres que te propongas de forma sana, sostenible y enérgica. Y sobre todo, el que se aparta cuando sabe que no te ayuda o que no podrá darte lo que necesitas.
No sé si es útil, pero de alguna manera vi en la web una explicación visual del problema en el mundo de los datos/tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y finalmente, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Imagino a 8wires como ese socio sincero y honesto que te saca de todo ese ruido y te ayuda a centrarte en lo importante, por poco sexy que sea, para lograr un gran objetivo a largo plazo.
El que te acompaña en los momentos duros y te ayuda en las decisiones difíciles, sabiendo que no hay camino fácil. El que te da el empujón o las herramientas para que escales y seas tú mismo el que alcance las cumbres que te propongas de forma sana, sostenible y enérgica.
Propósito del cliente
Volotea es una aerolínea española de bajo coste fundada en 2011. Llega a más de 100 aeropuertos y tiene bases en 19 capitales europeas de tamaño medio. Volotea opera aproximadamente 70.000 vuelos al año.
La empresa tomó la decisión de migrar su nube de Azure a AWS. Volotea se enfrentaba a un crecimiento exponencial de datos y fuentes, lo que daba lugar a una arquitectura de datos compleja y costosa de mantener. Con múltiples sistemas generando datos de forma independiente, no existía una visión unificada ni gobernanza sobre la información. Además, los costes de infraestructura se dispararon debido a la replicación innecesaria de datos y a procesos ineficientes.
Para resolver estos problemas, se propuso lo siguiente:
- Rediseñar la arquitectura de datos centrándose en organizar los flujos de información, reducir las duplicaciones y mejorar los procesos.
- Implantar un almacén de datos en la nube utilizando tecnologías sin servidor para reducir costes.
- Centralizar todos los datos en un data lake y eliminar los silos.
- Crear procesos ETL para obtener control y trazabilidad sobre la manipulación de datos.
Como la empresa ya había decidido migrar las nubes de Azure a AWS, aprovechamos la migración para reestructurar también la arquitectura de datos en la nueva nube.
¿Cómo lo afrontamos?
Analizamos sus sistemas y herramientas. A partir de nuestros hallazgos, diseñamos una nueva arquitectura de datos en la nube basada en Amazon S3 para el almacenamiento, AWS Glue para ETL y Amazon Redshift Serverless para el almacén de datos. Los datos fluyen a través de una serie de etapas desde diferentes fuentes hacia el almacén de datos, que se compone de tablas Delta externas en S3. Esto permite a Redshift Serverless aprovechar los datos de S3 mediante Spectrum.
Los datos del almacén de datos pueden ser consumidos por los usuarios, las herramientas de BI y otras aplicaciones como los modelos de aprendizaje automático. Las tablas de metadatos aportan flexibilidad, comprensión y facilidad de mantenimiento a las canalizaciones de datos.
Los pasos clave en el flujo de datos son:
- Extracción de fuentes de datos en archivos Parquet en un bucket de aterrizaje S3.
- Estructuración, mecanografía y limpieza de datos en el área de preparación.
- Carga de datos transformados en tablas de consumo y vistas.
- Orquestación de servicios y automatización de procesos con AWS Step Functions.
Cómo cambiar toda una estrategia de datos
Imagino a 8wires como ese socio sincero y honesto que te saca de todo ese ruido y te ayuda a centrarte en lo importante, por poco sexy que sea, para lograr un gran objetivo a largo plazo.
El que te acompaña en los momentos duros y te ayuda en las decisiones difíciles, sabiendo que no hay camino fácil. El que te da el empujón o las herramientas para que escales y seas tú mismo el que alcance las cumbres que te propongas de forma sana, sostenible y enérgica. Y sobre todo, el que se aparta cuando sabe que no te ayuda o que no podrá darte lo que necesitas.
No sé si es útil, pero de alguna manera vi en la web una explicación visual del problema en el mundo de los datos/tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y finalmente, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Imagino a 8wires como ese socio sincero y honesto que te saca de todo ese ruido y te ayuda a centrarte en lo importante, por poco sexy que sea, para lograr un gran objetivo a largo plazo.
El que te acompaña en los momentos duros y te ayuda en las decisiones difíciles, sabiendo que no hay camino fácil. El que te da el empujón o las herramientas para que escales y seas tú mismo el que alcance las cumbres que te propongas de forma sana, sostenible y enérgica.
