Data lineage - protocoles de connexion aux différentes technologies analytiques

L’acquisition des métadonnées repose sur les interfaces natives exposées par les technologies analysées par {openAudit}.

Selon les plateformes, les collectes utilisent des protocoles de base de données, des API REST, des SDK, des référentiels techniques ou des exports standardisés.

Point clé : les collecteurs utilisent les mécanismes officiellement exposés par les éditeurs (JDBC, ODBC, API REST, SDK, référentiels techniques, exports).

Principes techniques

• Comptes de service dédiés.
• Accès limité aux métadonnées.
• Compatibilité On-Premise, Cloud et hybride.
• Utilisation des interfaces natives des plateformes.
• Chiffrement des mots de passe après première utilisation.

Bases de données

Les bases relationnelles sont analysées via :

• JDBC.
• ODBC.
• Connecteurs propriétaires.

Les collectes portent sur :

• Schémas.
• Tables.
• Vues.
• Procédures stockées.
• Statistiques d’usage (lorsque analysés).

ETL / ELT

Les plateformes ETL/ELT sont analysées via :

• Référentiels techniques.
• API d’administration.
• Exports XML ou JSON.

Les métadonnées collectées permettent de reconstruire :

• Les jobs.
• Les transformations.
• Les dépendances.
• Les flux de données.

Outils de Data Visualisation

Les outils de data visualisation sont analysés via :

• SDK.
• API REST.
• Référentiels internes.

Les collectes portent sur :

• Les sources de données.
• Les couches sémantiques.
• Les dashboards.
• Les règles de gestion.

Ces informations permettent de prolonger le data lineage jusqu’à la couche de restitution.

Usage typique : faire du data lineage dans les sources et le relier au data lineage dans la couche de data visualisation, jusqu’à la cellule du dashboard.

Environnements sécurisés

Les collectes peuvent être supervisées de façon sécurisée via :

• VMware Horizon.
• OpenOTP (double authentification).
• Bastion d’administration.
• Journalisation et traçabilité des opérations.

Les accès restent limités aux composants nécessaires à la collecte des métadonnées.

Pour information : même mécanisme de collecte en environnement Cloud, On-Premise ou hybride.