Un procés de transició segura d'un flux de qualitat de dades per a una arquitectura complexa
El repte
Isdin , una empresa farmacèutica espanyola global, necessitava centralitzar la validació de dades per a la informació procedent de múltiples països i equips. Feien servir Soda, però això generava costos considerables. L'objectiu era trobar l'eina adequada per centralitzar els controls de qualitat, detectar errors ràpidament i generar alertes accionables.
- Indústria: Farmacèutica
- Tipus de solució: Qualitat de dades
- Tech stack : Soda, Great Expectations, Google Cloud Platform
El que vam fer
Primer, vam fer una avaluació comparativa de l'enfocament i vam proposar alternatives. La nostra recomanació va ser traslladar el seu procés de qualitat de dades a Great Expectations, per les seves capacitats de control de versions.
Aleshores, el nostre equip:
- Vam validar la migració amb una prova de concepte en un temps rècord: vam iniciar una prova de concepte per estimar i portar les comprovacions necessàries. Durant el procés, vam implementar les comprovacions dins del període previst i vam programar una execució paral·lela on ambdues eines van operar al costat de l'altre per evitar riscos, amb resultats sòlids.
- Integració de la nova eina a la tech stack del client: Integració de Great Expectations amb l'entorn Google Cloud Platform d'Isdin.
- Alertes redirigides per a contextos més rics: les alertes que abans es veien a Soda i s'enviaven a través de Slack ara arriben directament a GCP, proporcionant metadades més riques i una automatització més ràpida.
- Introducció a la producció: A mesura que Great Expectations va entrar en producció, els oleoductes continuen a Soda durant un temps limitat per proporcionar més seguretat durant la transició.
Què vam aconseguir
- Marc de qualitat de dades centralitzat i coherent: això redueix el risc d'errors i genera confiança en les anàlisis futures.
- Alertes més clares per a accions més ràpides: les alertes a Slack ara contenen un context més ric, de manera que l'equip pot prendre mesures deliberades en funció del tipus d'error.
- Optimització de costos: el canvi a Great Expectations va reduir el cost total del servei de refrescos.
- Migració de baix risc: l'execució paral·lela va garantir la coherència i una transició segura.
Un procés de transició segura d'un flux de qualitat de dades per a una arquitectura complexa
El repte
Isdin , una empresa farmacèutica espanyola global, necessitava centralitzar la validació de dades per a la informació procedent de múltiples països i equips. Feien servir Soda, però això generava costos considerables. L'objectiu era trobar l'eina adequada per centralitzar els controls de qualitat, detectar errors ràpidament i generar alertes accionables.
- Indústria: Farmacèutica
- Tipus de solució: Qualitat de dades
- Tech stack : Soda, Great Expectations, Google Cloud Platform
El que vam fer
Primer, vam fer una avaluació comparativa de l'enfocament i vam proposar alternatives. La nostra recomanació va ser traslladar el seu procés de qualitat de dades a Great Expectations, per les seves capacitats de control de versions.
Aleshores, el nostre equip:
- Vam validar la migració amb una prova de concepte en un temps rècord: vam iniciar una prova de concepte per estimar i portar les comprovacions necessàries. Durant el procés, vam implementar les comprovacions dins del període previst i vam programar una execució paral·lela on ambdues eines van operar al costat de l'altre per evitar riscos, amb resultats sòlids.
- Integració de la nova eina a la tech stack del client: Integració de Great Expectations amb l'entorn Google Cloud Platform d'Isdin.
- Alertes redirigides per a contextos més rics: les alertes que abans es veien a Soda i s'enviaven a través de Slack ara arriben directament a GCP, proporcionant metadades més riques i una automatització més ràpida.
- Introducció a la producció: A mesura que Great Expectations va entrar en producció, els oleoductes continuen a Soda durant un temps limitat per proporcionar més seguretat durant la transició.
Com canviar tota una estratègia de dades
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
Aquell que t'acompanya en els moments difícils i t'ajuda a prendre les decisions difícils, sabent que no hi ha cap camí fàcil. Aquell que et dóna l'empenta o les eines perquè pugis i siguis tu mateix, aquell que arriba als cims que et proposes d'una manera sana, sostenible i energètica.
Un procés de transició segura d'un flux de qualitat de dades per a una arquitectura complexa
El repte
Isdin , una empresa farmacèutica espanyola global, necessitava centralitzar la validació de dades per a la informació procedent de múltiples països i equips. Feien servir Soda, però això generava costos considerables. L'objectiu era trobar l'eina adequada per centralitzar els controls de qualitat, detectar errors ràpidament i generar alertes accionables.
- Indústria: Farmacèutica
- Tipus de solució: Qualitat de dades
- Tech stack : Soda, Great Expectations, Google Cloud Platform
El que vam fer
Primer, vam fer una avaluació comparativa de l'enfocament i vam proposar alternatives. La nostra recomanació va ser traslladar el seu procés de qualitat de dades a Great Expectations, per les seves capacitats de control de versions.
Aleshores, el nostre equip:
- Vam validar la migració amb una prova de concepte en un temps rècord: vam iniciar una prova de concepte per estimar i portar les comprovacions necessàries. Durant el procés, vam implementar les comprovacions dins del període previst i vam programar una execució paral·lela on ambdues eines van operar al costat de l'altre per evitar riscos, amb resultats sòlids.
- Integració de la nova eina a la tech stack del client: Integració de Great Expectations amb l'entorn Google Cloud Platform d'Isdin.
- Alertes redirigides per a contextos més rics: les alertes que abans es veien a Soda i s'enviaven a través de Slack ara arriben directament a GCP, proporcionant metadades més riques i una automatització més ràpida.
- Introducció a la producció: A mesura que Great Expectations va entrar en producció, els oleoductes continuen a Soda durant un temps limitat per proporcionar més seguretat durant la transició.
Com canviar tota una estratègia de dades
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
La que t'acompanya en els moments difícils i t'ajuda en les decisions difícils, sabent que no hi ha un camí fàcil. La que et dóna l'empenta o les eines perquè pugis i siguis tu mateix qui arribi als cims que proposis de manera saludable, sostenible i energètica. I sobretot, aquell que fa un pas al costat quan sap que no t'està ajudant o que no et podrà donar el que necessites.
No sé si és útil, però d'alguna manera vaig veure a la web una explicació visual del problema en el món de les dades/tecnologia (no sé si amb aquesta metàfora) abans de mostrar com és treballar amb nosaltres i finalment, una altra explicació visual del resultat.
Com un pont sobre aigües turbulentes
Imagino 8wires com aquell soci sincer i honest que et treu de tot aquest soroll i t'ajuda a concentrar-te en allò que és important, per poc atractiu que sigui, per aconseguir un gran objectiu a llarg termini.
Aquell que t'acompanya en els moments difícils i t'ajuda a prendre les decisions difícils, sabent que no hi ha cap camí fàcil. Aquell que et dóna l'empenta o les eines perquè pugis i siguis tu mateix, aquell que arriba als cims que et proposes d'una manera sana, sostenible i energètica.
.png){kind=small}