Propòsit del client
Tradisa és un proveïdor integral de serveis logístics multimodals amb operacions a tot Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en comptes de només més dades. Un dels seus principals problemes era la qualitat de les dades . Necessitaven generar una única font de veritat ( data warehouse ) i consolidar, centralitzar i netejar tota la informació extreta de diverses fonts.
- Indústria: Logística
- Tipus de solució: Data warehouse .
- Tech stack : Azure, Databricks
Com ho afrontem?
Vam proposar construir un data warehouse a Azure per assolir els seus objectius. Vam treballar amb sprints de 2 setmanes. A cada sprint hi havia nous requisits.
Per fer la implementació, vam seguir els següents passos:
- Dades extretes de fonts que utilitzen Azure Data Factory.
- Transformed data amb Azure Databricks.
- Aterratge de totes les dades en una zona d'aterratge en brut.
- Dades preparadesen àrea de transformació.
- Transformacions construïdes per traslladar dades a la zona de consum.
L'Azure Devops es va utilitzar per automatitzar desplegaments entre entorns de desenvolupament, prova i producció.
Per crear el Data Warehouse , vam seguir les millors pràctiques, incloent-hi:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge calent fins al fred.
- Formats d'arxiu optimitzats com Parquet.
- Particionat per rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcil.
- Claus substitutòries per als sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'esborrat de fonts.
On ens ha portat?
El nostre equip va executar un enfocament d'implementació àgil i iteratiu per construir el nou projecte de Tradisa. data warehouse arquitectura a Azure. Vam treballar en sprints de 2 setmanes per extreure dades de les fonts, transformar-les i carregar-les a data warehouse Això ens va permetre ampliar contínuament la funcionalitat i complir els requisits de Tradisa. Vam configurar entorns de desenvolupament, proves i producció per gestionar el cicle de vida del desenvolupament mitjançant Azure DevOps per a implementacions de CI/CD.
Al llarg del projecte, ens vam centrar en monitoritzar i optimitzar els fluxos de dades per garantir un alt rendiment i reduir els temps de càrrega i transformació de dades. També vam implementar controls de qualitat per a desplegaments a producció.
El baix cost de l'emmagatzematge en el núvol ens va permetre mantenir intactes les dades en brut per a la resiliència del sistema en cas de necessitat. L'ús d'eines en el núvol va reduir els costos de manteniment i les despeses generals d'operació, alhora que va permetre una ràpida escalada de recursos en cas de necessitat.
Propòsit del client
Tradisa és un proveïdor integral de serveis logístics multimodals amb operacions a tot Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en comptes de només més dades. Un dels seus principals problemes era la qualitat de les dades . Necessitaven generar una única font de veritat ( data warehouse ) i consolidar, centralitzar i netejar tota la informació extreta de diverses fonts.
- Indústria: Logística
- Tipus de solució: Data warehouse .
- Tech stack : Azure, Databricks
Com ho afrontem?
Vam proposar construir un data warehouse a Azure per assolir els seus objectius. Vam treballar amb sprints de 2 setmanes. A cada sprint hi havia nous requisits.
Per fer la implementació, vam seguir els següents passos:
- Dades extretes de fonts que utilitzen Azure Data Factory.
- Transformed data amb Azure Databricks.
- Aterratge de totes les dades en una zona d'aterratge en brut.
- Dades preparadesen àrea de transformació.
- Transformacions construïdes per traslladar dades a la zona de consum.
L'Azure Devops es va utilitzar per automatitzar desplegaments entre entorns de desenvolupament, prova i producció.
Per crear el Data Warehouse , vam seguir les millors pràctiques, incloent-hi:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge calent fins al fred.
- Formats d'arxiu optimitzats com Parquet.
- Particionat per rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcil.
- Claus substitutòries per als sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'esborrat de fonts.
Com canviar tota una estratègia de dades
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
Aquell que t'acompanya en els moments difícils i t'ajuda a prendre les decisions difícils, sabent que no hi ha cap camí fàcil. Aquell que et dóna l'empenta o les eines perquè pugis i siguis tu mateix, aquell que arriba als cims que et proposes d'una manera sana, sostenible i energètica.
Propòsit del client
Tradisa és un proveïdor integral de serveis logístics multimodals amb operacions a tot Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en comptes de només més dades. Un dels seus principals problemes era la qualitat de les dades . Necessitaven generar una única font de veritat ( data warehouse ) i consolidar, centralitzar i netejar tota la informació extreta de diverses fonts.
- Indústria: Logística
- Tipus de solució: Data warehouse .
- Tech stack : Azure, Databricks
Com ho afrontem?
Vam proposar construir un data warehouse a Azure per assolir els seus objectius. Vam treballar amb sprints de 2 setmanes. A cada sprint hi havia nous requisits.
Per fer la implementació, vam seguir els següents passos:
- Dades extretes de fonts que utilitzen Azure Data Factory.
- Transformed data amb Azure Databricks.
- Aterratge de totes les dades en una zona d'aterratge en brut.
- Dades preparadesen àrea de transformació.
- Transformacions construïdes per traslladar dades a la zona de consum.
L'Azure Devops es va utilitzar per automatitzar desplegaments entre entorns de desenvolupament, prova i producció.
Per crear el Data Warehouse , vam seguir les millors pràctiques, incloent-hi:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge calent fins al fred.
- Formats d'arxiu optimitzats com Parquet.
- Particionat per rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcil.
- Claus substitutòries per als sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'esborrat de fonts.
Com canviar tota una estratègia de dades
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
Aquell que t'acompanya en els moments difícils i t'ajuda a prendre les decisions difícils, sabent que no hi ha cap camí fàcil. Aquell que et dóna l'empenta o les eines perquè pugis i siguis tu mateix, aquell que arriba als cims que et proposes d'una manera sana, sostenible i energètica.
.png){kind=logo}
.png){kind=small}
