Propòsit del client
Volotea és una aerolínia espanyola de baix cost fundada el 2011. Arriba a més de 100 aeroports i té bases a 19 capitals mitjanes europees. Volotea opera aproximadament 70.000 vols a l'any.
La companyia va prendre la decisió de migrar el seu núvol d'Azure a AWS. Volotea s'enfrontava a un creixement exponencial en dades i fonts, resultant en una arquitectura de dades complexa i costosa de mantenir. Amb múltiples sistemes que generaven dades de manera independent, no hi havia una visió unificada ni una governança sobre la informació. A més, els costos d'infraestructura es van disparar a causa de la replicació innecessària de dades i els processos ineficients.
Per solucionar aquestes qüestions, es va proposar el següent:
- Redissenyar l'arquitectura de dades amb un enfocament en l'organització dels fluxos d'informació, la reducció de duplicacions i la millora dels processos.
- Implementar un data warehouse al núvol utilitzant tecnologies serverless per reduir costos.
- Centralitzar totes les dades en un data lake i eliminar silos.
- Crear processos ETL per guanyar control i traçabilitat sobre la manipulació de dades.
Com que l'empresa ja havia decidit migrar del núvol d'Azure a AWS, vam aprofitar la migració per també reestructurar l'arquitectura de dades en el nou núvol.
Com ho afrontem?
Vam analitzar els seus sistemes i eines. Basant-nos en les nostres troballes, vam dissenyar una nova arquitectura de dades basada en Amazon S3 per a emmagatzematge, AWS Glue per a ETL i Amazon Redshift Serverless per al magatzem de dades. Les dades flueixen a través d'una sèrie d'etapes de diferents fonts al magatzem de dades, que es compon de taules Delta externes a S3. Això permet a Redshift Serverless aprofitar les dades S3 mitjançant Spectrum.
Les dades del magatzem de dades poden ser consumides pels usuaris, eines de BI i altres aplicacions, com ara models d'aprenentatge automàtic. Les taules de metadades proporcionen flexibilitat, comprensió i facilitat de manteniment per els data pipelines.
Els passos clau en el flux de dades són:
- Extracció de fonts de dades en fitxers Parquet en un S3 landing bucket.
- Estructuració, mecanografia i neteja de dades a l'àrea de staging.
- Càrrega de dades transformades en taules i vistes de consum.
- Orquestració de serveis i automatització de processos amb funcions AWS Step.
On ens ha portat?
Amb aquesta nova arquitectura, l'empresa ha aconseguit:
- Una visió unificada de la informació per millorar l'anàlisi i la presa de decisions.
- Reducció significativa dels costos d'infraestructura.
- Escalat fàcil a mesura que creixen els volums de dades.
En resum, la reestructuració de l'arquitectura de dades està demostrant ser un èxit, aportant valor sostenible al negoci. Actualment, estem estenent el procés a altres àrees del negoci.
Propòsit del client
Volotea és una aerolínia espanyola de baix cost fundada el 2011. Arriba a més de 100 aeroports i té bases a 19 capitals mitjanes europees. Volotea opera aproximadament 70.000 vols a l'any.
La companyia va prendre la decisió de migrar el seu núvol d'Azure a AWS. Volotea s'enfrontava a un creixement exponencial en dades i fonts, resultant en una arquitectura de dades complexa i costosa de mantenir. Amb múltiples sistemes que generaven dades de manera independent, no hi havia una visió unificada ni una governança sobre la informació. A més, els costos d'infraestructura es van disparar a causa de la replicació innecessària de dades i els processos ineficients.
Per solucionar aquestes qüestions, es va proposar el següent:
- Redissenyar l'arquitectura de dades amb un enfocament en l'organització dels fluxos d'informació, la reducció de duplicacions i la millora dels processos.
- Implementar un data warehouse al núvol utilitzant tecnologies serverless per reduir costos.
- Centralitzar totes les dades en un data lake i eliminar silos.
- Crear processos ETL per guanyar control i traçabilitat sobre la manipulació de dades.
Com que l'empresa ja havia decidit migrar del núvol d'Azure a AWS, vam aprofitar la migració per també reestructurar l'arquitectura de dades en el nou núvol.
Com ho afrontem?
Vam analitzar els seus sistemes i eines. Basant-nos en les nostres troballes, vam dissenyar una nova arquitectura de dades basada en Amazon S3 per a emmagatzematge, AWS Glue per a ETL i Amazon Redshift Serverless per al magatzem de dades. Les dades flueixen a través d'una sèrie d'etapes de diferents fonts al magatzem de dades, que es compon de taules Delta externes a S3. Això permet a Redshift Serverless aprofitar les dades S3 mitjançant Spectrum.
Les dades del magatzem de dades poden ser consumides pels usuaris, eines de BI i altres aplicacions, com ara models d'aprenentatge automàtic. Les taules de metadades proporcionen flexibilitat, comprensió i facilitat de manteniment per els data pipelines.
Els passos clau en el flux de dades són:
- Extracció de fonts de dades en fitxers Parquet en un S3 landing bucket.
- Estructuració, mecanografia i neteja de dades a l'àrea de staging.
- Càrrega de dades transformades en taules i vistes de consum.
- Orquestració de serveis i automatització de processos amb funcions AWS Step.
Com canviar tota una estratègia de dades
M'imagino 8wires com aquest soci sincer i honest que et treu de tot aquest soroll i t'ajuda a centrar-te en el que és important, per poc atractiu que sigui, aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
M'imagino 8wires com aquest soci sincer i honest que et treu de tot aquest soroll i t'ajuda a centrar-te en el que és important, per poc atractiu que sigui, aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica.
Propòsit del client
Volotea és una aerolínia espanyola de baix cost fundada el 2011. Arriba a més de 100 aeroports i té bases a 19 capitals mitjanes europees. Volotea opera aproximadament 70.000 vols a l'any.
La companyia va prendre la decisió de migrar el seu núvol d'Azure a AWS. Volotea s'enfrontava a un creixement exponencial en dades i fonts, resultant en una arquitectura de dades complexa i costosa de mantenir. Amb múltiples sistemes que generaven dades de manera independent, no hi havia una visió unificada ni una governança sobre la informació. A més, els costos d'infraestructura es van disparar a causa de la replicació innecessària de dades i els processos ineficients.
Per solucionar aquestes qüestions, es va proposar el següent:
- Redissenyar l'arquitectura de dades amb un enfocament en l'organització dels fluxos d'informació, la reducció de duplicacions i la millora dels processos.
- Implementar un data warehouse al núvol utilitzant tecnologies serverless per reduir costos.
- Centralitzar totes les dades en un data lake i eliminar silos.
- Crear processos ETL per guanyar control i traçabilitat sobre la manipulació de dades.
Com que l'empresa ja havia decidit migrar del núvol d'Azure a AWS, vam aprofitar la migració per també reestructurar l'arquitectura de dades en el nou núvol.
Com ho afrontem?
Vam analitzar els seus sistemes i eines. Basant-nos en les nostres troballes, vam dissenyar una nova arquitectura de dades basada en Amazon S3 per a emmagatzematge, AWS Glue per a ETL i Amazon Redshift Serverless per al magatzem de dades. Les dades flueixen a través d'una sèrie d'etapes de diferents fonts al magatzem de dades, que es compon de taules Delta externes a S3. Això permet a Redshift Serverless aprofitar les dades S3 mitjançant Spectrum.
Les dades del magatzem de dades poden ser consumides pels usuaris, eines de BI i altres aplicacions, com ara models d'aprenentatge automàtic. Les taules de metadades proporcionen flexibilitat, comprensió i facilitat de manteniment per els data pipelines.
Els passos clau en el flux de dades són:
- Extracció de fonts de dades en fitxers Parquet en un S3 landing bucket.
- Estructuració, mecanografia i neteja de dades a l'àrea de staging.
- Càrrega de dades transformades en taules i vistes de consum.
- Orquestració de serveis i automatització de processos amb funcions AWS Step.
Com canviar tota una estratègia de dades
M'imagino 8wires com aquest soci sincer i honest que et treu de tot aquest soroll i t'ajuda a centrar-te en el que és important, per poc atractiu que sigui, aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
M'imagino 8wires com aquest soci sincer i honest que et treu de tot aquest soroll i t'ajuda a centrar-te en el que és important, per poc atractiu que sigui, aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica.
