Propòsit del client
Tradisa és un proveïdor integral de serveis de logística multimodal amb operacions a tota Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en comptes de només més dades. Un dels seus principals problemes era la qualitat de les dades . Necessitaven generar una única font de veritat ( data warehouse ) i consolidar, centralitzar i netejar tota la informació extreta de diverses fonts.
- Indústria: Logística
- Tipus de solució: Data warehouse .
- Tech stack : Azure, Databricks
Com ho afrontem?
Vam proposar construir un data warehouse a Azure per assolir els seus objectius. Vam treballar amb sprints de 2 setmanes. A cada sprint hi havia nous requisits.
Per dur a terme la implementació, vam seguir els passos següents:
- S'han extret dades de les fonts mitjançant l'Azure Data Factory .
- Dades transformades amb Azure Databricks .
- He aterrat totes les dades en una zona d'aterratge en brut.
- Dades agrupades a l'àrea de transformació.
- Transformacions creades per moure dades a l'àrea de consum .
Azure Devops s'ha utilitzat per automatitzar les implementacions entre entorns de desenvolupament, proves i producció.
Per crear el Data Warehouse , vam seguir les millors pràctiques, incloent-hi:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge en calent fins al en fred.
- Formats de fitxer optimitzats com Parquet.
- Partició per al rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcils.
- Claus substitutives per a sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'eliminacions de fonts.
On ens ha portat?
El nostre equip va executar un enfocament d'implementació àgil i iteratiu per construir el nou projecte de Tradisa. data warehouse arquitectura a Azure. Vam treballar en sprints de 2 setmanes per extreure dades de les fonts, transformar-les i carregar-les a data warehouse Això ens va permetre ampliar contínuament la funcionalitat i complir els requisits de Tradisa. Vam configurar entorns de desenvolupament, proves i producció per gestionar el cicle de vida del desenvolupament mitjançant Azure DevOps per a implementacions de CI/CD.
Al llarg del projecte, ens vam centrar en la supervisió i l'optimització dels fluxos de dades per garantir un alt rendiment i reduir els temps de càrrega i transformació de dades . També vam implementar controls de qualitat per a les implementacions a producció.
El baix cost de l'emmagatzematge al núvol ens va permetre mantenir les dades en brut intactes per a la resiliència del sistema si calia. L'ús d' eines al núvol va reduir els costos de manteniment i les despeses generals operatives, alhora que va permetre un escalat ràpid dels recursos si calia.
Propòsit del client
Tradisa és un proveïdor integral de serveis de logística multimodal amb operacions a tota Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en comptes de només més dades. Un dels seus principals problemes era la qualitat de les dades . Necessitaven generar una única font de veritat ( data warehouse ) i consolidar, centralitzar i netejar tota la informació extreta de diverses fonts.
- Indústria: Logística
- Tipus de solució: Data warehouse .
- Tech stack : Azure, Databricks
Com ho afrontem?
Vam proposar construir un data warehouse a Azure per assolir els seus objectius. Vam treballar amb sprints de 2 setmanes. A cada sprint hi havia nous requisits.
Per dur a terme la implementació, vam seguir els passos següents:
- S'han extret dades de les fonts mitjançant l'Azure Data Factory .
- Dades transformades amb Azure Databricks .
- He aterrat totes les dades en una zona d'aterratge en brut.
- Dades agrupades a l'àrea de transformació.
- Transformacions creades per moure dades a l'àrea de consum .
Azure Devops s'ha utilitzat per automatitzar les implementacions entre entorns de desenvolupament, proves i producció.
Per crear el Data Warehouse , vam seguir les millors pràctiques, incloent-hi:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge en calent fins al en fred.
- Formats de fitxer optimitzats com Parquet.
- Partició per al rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcils.
- Claus substitutives per a sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'eliminacions de fonts.
Com canviar tota una estratègia de dades
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
Aquell que t'acompanya en els moments difícils i t'ajuda a prendre les decisions difícils, sabent que no hi ha cap camí fàcil. Aquell que et dóna l'empenta o les eines perquè pugis i siguis tu mateix, aquell que arriba als cims que et proposes d'una manera sana, sostenible i energètica.
Propòsit del client
Tradisa és un proveïdor integral de serveis de logística multimodal amb operacions a tota Europa per al sector de l'automoció i altres sectors industrials.
El seu objectiu era omplir el seu negoci amb millors dades en comptes de només més dades. Un dels seus principals problemes era la qualitat de les dades . Necessitaven generar una única font de veritat ( data warehouse ) i consolidar, centralitzar i netejar tota la informació extreta de diverses fonts.
- Indústria: Logística
- Tipus de solució: Data warehouse .
- Tech stack : Azure, Databricks
Com ho afrontem?
Vam proposar construir un data warehouse a Azure per assolir els seus objectius. Vam treballar amb sprints de 2 setmanes. A cada sprint hi havia nous requisits.
Per dur a terme la implementació, vam seguir els passos següents:
- S'han extret dades de les fonts mitjançant l'Azure Data Factory .
- Dades transformades amb Azure Databricks .
- He aterrat totes les dades en una zona d'aterratge en brut.
- Dades agrupades a l'àrea de transformació.
- Transformacions creades per moure dades a l'àrea de consum .
Azure Devops s'ha utilitzat per automatitzar les implementacions entre entorns de desenvolupament, proves i producció.
Per crear el Data Warehouse , vam seguir les millors pràctiques, incloent-hi:
- Implementació d'emmagatzematge immutable de dades en brut.
- Gestió del cicle de vida des de l'emmagatzematge en calent fins al en fred.
- Formats de fitxer optimitzats com Parquet.
- Partició per al rendiment.
- Capes ELT independents per a la resiliència.
- Capacitats de recàrrega fàcils.
- Claus substitutives per a sistemes d'informes.
- Codi i processos ben documentats.
- Flexibilitat per canviar càrregues i afegir noves fonts.
- Detecció d'eliminacions de fonts.
Com canviar tota una estratègia de dades
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
Aquell que t'acompanya en els moments difícils i t'ajuda a prendre les decisions difícils, sabent que no hi ha cap camí fàcil. Aquell que et dóna l'empenta o les eines perquè pugis i siguis tu mateix, aquell que arriba als cims que et proposes d'una manera sana, sostenible i energètica.
.png){kind=logo}
.png){kind=small}