Plateforme de fiabilité des données pour l’IA

Architecture de la plateforme Data Mobilité Parisienne
Sources supervisées Collecteurs lecture seule PostgreSQL observability Règles & incidents Streamlit
4 pipelines actifs
500 exécutions suivies
20 actifs de données
14 liens de lineage

Défis techniques résolus

  • Normaliser des systèmes sources hétérogènes dans un modèle commun sans injecter leur logique métier dans le cœur de la plateforme.
  • Garantir des collectes idempotentes et isolées, avec des comptes dédiés limités aux seules tables de métadonnées contractuelles.
  • Séparer strictement les faits mesurés, les contrôles déterministes et les explications IA optionnelles afin de conserver une supervision auditable.
  • Déployer une stack compacte sur un VPS partagé : limites CPU et mémoire par service, HTTPS Nginx et services internes non publiés.

Résultats et valeur métier

  • Vue unique des pipelines Mobility, France Travail et La Bonne Alternance.
  • 500 exécutions historisées, 20 actifs observés et 14 dépendances dbt disponibles dans l’interface.
  • Remédiation contrôlée d’un modèle dbt Mobility, validée par 50 tests ciblés avant collecte.
  • Socle réutilisable pour raccorder d’autres pipelines par contrat, sans modifier l’interface.

Description du POC

Proof of concept d’observabilité multi-pipelines. La plateforme centralise des métadonnées d’exécution, des contrôles de qualité, des incidents et un lineage structurel, sans absorber les données métier des systèmes supervisés. Elle permet de qualifier la fiabilité de données avant leur usage analytique ou IA.

Infrastructure :
Déployée en HTTPS sur VPS OVH Cloud avec Docker Compose, PostgreSQL, FastAPI, Streamlit et Nginx. Les collecteurs rejoignent uniquement les réseaux Docker internes des systèmes sources avec des comptes PostgreSQL limités à la lecture des tables contractuelles.

Stack Technique

Dashboards disponibles

  • Portefeuille unifié de pipelines et état de leur dernière exécution
  • Contrôles de qualité déterministes et incidents traçables
  • Détail des actifs de données et lineage dbt structurel
  • Connecteurs indépendants à privilèges minimaux et collecte idempotente

Compte de démonstration en lecture seule

Identifiant :
Mot de passe :

Voir la démonstration Consulter le code source