Data lineage - les principes de la conteneurisation des connecteurs

L’architecture {openAudit} repose sur des composants conteneurisés déployés dans l’environnement du Client.

Chaque composant est spécialisé pour une technologie donnée et assure la collecte des métadonnées nécessaires à la reconstruction du data lineage : bases de données, plateformes ETL/ELT, outils de data visualisation et bases d’audit.

Les extracteurs produisent des fichiers CSV standardisés contenant les métadonnées collectées. Ces fichiers peuvent être contrôlés par le Client avant leur transfert vers les composants centraux de traitement.

Lorsqu’une anonymisation est requise, un conteneur dédié est inséré dans la chaîne de collecte afin de remplacer les chaînes de caractères, constantes SQL et autres informations sensibles par des variables avant la production des fichiers d’échange.

Point clé : les extracteurs et les anonymiseurs sont découplés des moteurs de traitement. Chaque composant peut être déployé et mis à jour indépendamment.

Principes techniques

• Un conteneur dédié par technologie.
• Collecte des métadonnées au plus près des systèmes analysés.
• Anonymisation optionnelle avant transfert.
• Production de fichiers CSV standardisés.
• Compatibilité Docker, Podman.
• Déploiement On-Premise, SaaS ou hybride.
• Mise à jour indépendante des composants.

Extraction

Les extracteurs se connectent aux technologies analysées à l’aide de comptes de service dédiés.

Les métadonnées collectées concernent :

• Les bases de données.
• Les plateformes ETL / ELT.
• Les outils de datavisualisation.
• Les bases d’audit.
• Le scheduleur.

Chaque extracteur produit un format de sortie homogène indépendamment de la technologie analysée.

Anonymisation

Un conteneur d’anonymisation peut être positionné entre la collecte et le transfert des métadonnées.

Les éléments suivants peuvent être remplacés par des variables techniques :

• Chaînes de caractères.
• Paramètres applicatifs.
• Valeurs littérales.

L’objectif est de conserver les dépendances techniques tout en supprimant les informations sensibles.

Point clé : l’anonymisation intervient avant la génération des fichiers transférés.

Fichiers d’échange

Les composants produisent des fichiers CSV standardisés contenant :

• Les objets techniques.
• Les dépendances.
• Les transformations.
• Les informations d’usage lorsque celles-ci sont disponibles.

Ces fichiers peuvent être archivés, contrôlés ou validés par le Client avant leur transfert.

Traitement

Les fichiers produits sont exploités par les composants centraux de {openAudit} pour :

• Reconstruire les dépendances.
• Consolider les métadonnées.
• Intégrer les usages issus des logs d’audit.
• Et produire le data lineage.

Résultat : une chaîne de collecte homogène, indépendante des technologies analysées et des modes de déploiement.