Data lineage - architecture on prem'

Dans les environnements les plus exigeants en matière de sécurité (banque, assurance, etc.), {openAudit} peut être déployé directement dans l’environnement du Client, qu’il soit On-Premise ou dans un tenant Cloud du choix du Client.

L’architecture repose sur une VM dédiée hébergeant les différents composants de collecte, de traitement et d’exposition du data lineage.

Point clé : l’ensemble des traitements, métadonnées et référentiels restent hébergés dans l’environnement du Client. Aucun composant SaaS externe n’est requis.

Principes techniques

VM dédiée hébergée chez le Client.
Collecteurs conteneurisés par technologie.
Comptes de service dédiés.
Chiffrement des mots de passe après première utilisation.
Production de fichiers CSV standardisés.
Parsing et consolidation par oA.Job.
Référentiel technique oA.mdb (DuckDB).
Exposition via le portail Web Mosaïc.
Les logs d’audit pouvant contenir des informations sensibles peuvent être anonymisés avant traitement.

Bon à savoir : ce data lineage peut alimenter une solution tierce, typiquement un data catalogue nécessitant d’adresser plus précisément les sujets de data lineage.

Collecte des métadonnées

Les métadonnées sont collectées au moyen de conteneurs spécialisés par technologie. Ces composants se connectent aux bases de données, plateformes ETL/ELT, outils de data visualisation et bases d’audit via des comptes de service dédiés. Les mots de passe sont chiffrés après leur première utilisation.

Les collecteurs produisent des fichiers CSV standardisés contenant les métadonnées nécessaires à la reconstruction du lineage. Ces fichiers peuvent être contrôlés et validés par le Client avant traitement.

Lorsque des logs d’audit sont exploités, ceux-ci peuvent être anonymisés au moyen d’un conteneur dédié avant leur intégration dans le référentiel.

Traitement

Les fichiers sont ensuite transmis au serveur oA.Job, chargé du parsing et de la consolidation des métadonnées. Les résultats sont stockés dans la base columnar oA.mdb (DuckDB), qui constitue le référentiel technique utilisé par le portail Web Mosaïc.

Ce référentiel peut faire l’objet d’un dump au format souhaité par le client pour opérer des analyses spécifiques : le référentiel est extrêmement riche et différentes requêtes sont mises à disposition pour en faciliter l’exploration.

Exposition

Le data lineage est consultable via le portail Web propriétaire Mosaïc, hébergé sur la VM dédiée.

Cartographie globale des flux

Reconstruction automatique des dépendances entre bases de données, traitements ETL/ELT et usages dans les outils de data visualisation.

Usage typique : analyse d’impact avant modification d’une table ou d’un indicateur métier.

Analyse des usages

Croisement du data lineage avec les logs d’audit afin d’identifier les objets réellement utilisés et les branches non consommées.

Résultat : identification rapide des flux inutilisés et opportunités de simplification.

Data Lineage de détail

Navigation dans le data lineage jusqu’au niveau champ avec visualisation des transformations (drill through).

Point clé : descendre instantanément dans le code qui préside aux transformations pour identifier et fixer un problème dans un flux.

Data Lineage dans les dashboards

Traçabilité complète entre les données sources, les règles de gestion et la cellule du dashboard. Les données sources des dashboards sont rattachées au data lineage dès leurs alimentations, pour une analyse d’impact de bout en bout.