Data lineage - alimentation des data catalogues tiers pour exposer son data lineage technique
{openAudit} permet la consultation du data lineage via son portail Web Mosaïc, mais les métadonnées consolidées peuvent également être publiées vers différents data catalogues du marché qui présentent souvent de fortes limitations pour ce qui concerne le data lineage. L’intérêt est de n’avoir qu’un outil pour une data governance optimale.
Le data lineage est reconstruit dans le référentiel technique {openAudit}, puis exposé vers les catalogues de données via des connecteurs dédiés.
Cette architecture permet de dissocier les mécanismes de collecte et de reconstruction du data lineage de la couche d’exposition utilisée par les équipes de gouvernance.
Point clé : le référentiel technique reste indépendant du catalogue cible. Les mécanismes de collecte et de reconstruction du lineage (et de connexion) ne dépendent pas du data catalogue utilisé.
Architecture
Les métadonnées collectées sont consolidées dans la base de données colomnar oA.mdb après traitement par le moteur oA.Job.
Le référentiel central contient notamment :
- Le data lineage au champ.
- Les usages.
- Les informations de gouvernance associées le cas échéant.
Les catalogues sont ensuite alimentés à partir de ce référentiel unique via des connecteurs d’exposition indépendants des solutions de data catalogue.
Connecteurs d’exposition
Les connecteurs assurent :
- La publication automatisée du lineage.
- Les synchronisations continues.
- La gestion des restrictions.
- Le support des différents Workspaces.
L’exposition du data lineage peut être complète ou partielle selon les capacités d’affichage du catalogue cible, sachant que le data lineage produit en amont est, lui, disponible au champ.
Résultat : les catalogues ne consomment que les métadonnées consolidées et non les sources techniques d’origine.
Catalogues supportés
Les connecteurs disponibles permettent à ce jour d’alimenter les data catalogues suivants :
- DataGalaxy
- Zeenea
- Collibra
Gestion des usages
Lorsque les logs d’audit sont disponibles, les usages observés sont intégrés au référentiel technique puis exposés vers le catalogue.
Les utilisateurs peuvent ainsi distinguer :
- Les flux “vivants”, consommés par des outils ou requêtés.
- Les flux et donc les objets non consommés (souvent plus de 80 % de l’ensemble).
Usage typique : enrichir le data catalogue avec des informations d’usage afin d’identifier les objets candidats à la rationalisation ou au décommissionnement.
