Propòsit del client
Tradisa és un proveïdor integral de serveis logístics multimodals amb operacions a tot Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en lloc de només més dades. Un dels seus principals problemes va ser la qualitat de les dades. Necessitaven generar una única font de veritat (data warehouse) i consolidar, centralitzar i netejar tota la seva informació que s'extreia de diverses fonts.
Com ho afrontem?
Vam proposar construir un data warehouse en Azure per complir els seus objectius. Vam treballar amb esprints de 2 setmanes. A cada esprint hi havia nous requisits.
Per fer la implementació, vam seguir els següents passos:
- Dades extretes de fonts que utilitzen Azure Data Factory.
- Transformed data amb Azure Databricks.
- Aterratge de totes les dades en una zona d'aterratge en brut.
- Dades preparadesen àrea de transformació.
- Transformacions construïdes per traslladar dades a la zona de consum.
L'Azure Devops es va utilitzar per automatitzar desplegaments entre entorns de desenvolupament, prova i producció.
Per crear el Data Warehouse, hem seguit les millors pràctiques , com ara:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge calent fins al fred.
- Formats d'arxiu optimitzats com Parquet.
- Particionat per rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcil.
- Claus substitutòries per als sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'esborrat de fonts.
On ens ha portat?
El nostre equip va executar un enfocament d'implementació àgil i iterativa per construir la nova arquitectura de data warehouse de Tradisa a Azure. Vam treballar en esprints de 2 setmanes per extreure dades de fonts, transformar-les i carregar-les al magatzem de dades. Això ens va permetre ampliar contínuament la funcionalitat i satisfer els requisits de Tradisa. Configurem entorns de desenvolupament, proves i producció per administrar el cicle de vida del desenvolupament mitjançant l'Azure DevOps per a implementacions de CI/CD.
Al llarg del projecte, ens vam centrar en monitoritzar i optimitzar els fluxos de dades per garantir un alt rendiment i reduir els temps de càrrega i transformació de dades. També vam implementar controls de qualitat per a desplegaments a producció.
El baix cost de l'emmagatzematge en el núvol ens va permetre mantenir intactes les dades en brut per a la resiliència del sistema en cas de necessitat. L'ús d'eines en el núvol va reduir els costos de manteniment i les despeses generals d'operació, alhora que va permetre una ràpida escalada de recursos en cas de necessitat.
Propòsit del client
Tradisa és un proveïdor integral de serveis logístics multimodals amb operacions a tot Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en lloc de només més dades. Un dels seus principals problemes va ser la qualitat de les dades. Necessitaven generar una única font de veritat (data warehouse) i consolidar, centralitzar i netejar tota la seva informació que s'extreia de diverses fonts.
Com ho afrontem?
Vam proposar construir un data warehouse en Azure per complir els seus objectius. Vam treballar amb esprints de 2 setmanes. A cada esprint hi havia nous requisits.
Per fer la implementació, vam seguir els següents passos:
- Dades extretes de fonts que utilitzen Azure Data Factory.
- Transformed data amb Azure Databricks.
- Aterratge de totes les dades en una zona d'aterratge en brut.
- Dades preparadesen àrea de transformació.
- Transformacions construïdes per traslladar dades a la zona de consum.
L'Azure Devops es va utilitzar per automatitzar desplegaments entre entorns de desenvolupament, prova i producció.
Per crear el Data Warehouse, hem seguit les millors pràctiques , com ara:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge calent fins al fred.
- Formats d'arxiu optimitzats com Parquet.
- Particionat per rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcil.
- Claus substitutòries per als sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'esborrat de fonts.
Com canviar tota una estratègia de dades
M'imagino 8wires com aquest soci sincer i honest que et treu de tot aquest soroll i t'ajuda a centrar-te en el que és important, per poc atractiu que sigui, aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
M'imagino 8wires com aquest soci sincer i honest que et treu de tot aquest soroll i t'ajuda a centrar-te en el que és important, per poc atractiu que sigui, aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica.
Propòsit del client
Tradisa és un proveïdor integral de serveis logístics multimodals amb operacions a tot Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en lloc de només més dades. Un dels seus principals problemes va ser la qualitat de les dades. Necessitaven generar una única font de veritat (data warehouse) i consolidar, centralitzar i netejar tota la seva informació que s'extreia de diverses fonts.
Com ho afrontem?
Vam proposar construir un data warehouse en Azure per complir els seus objectius. Vam treballar amb esprints de 2 setmanes. A cada esprint hi havia nous requisits.
Per fer la implementació, vam seguir els següents passos:
- Dades extretes de fonts que utilitzen Azure Data Factory.
- Transformed data amb Azure Databricks.
- Aterratge de totes les dades en una zona d'aterratge en brut.
- Dades preparadesen àrea de transformació.
- Transformacions construïdes per traslladar dades a la zona de consum.
L'Azure Devops es va utilitzar per automatitzar desplegaments entre entorns de desenvolupament, prova i producció.
Per crear el Data Warehouse, hem seguit les millors pràctiques , com ara:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge calent fins al fred.
- Formats d'arxiu optimitzats com Parquet.
- Particionat per rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcil.
- Claus substitutòries per als sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'esborrat de fonts.
Com canviar tota una estratègia de dades
M'imagino 8wires com aquest soci sincer i honest que et treu de tot aquest soroll i t'ajuda a centrar-te en el que és important, per poc atractiu que sigui, aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
M'imagino 8wires com aquest soci sincer i honest que et treu de tot aquest soroll i t'ajuda a centrar-te en el que és important, per poc atractiu que sigui, aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica.
