La donnée brute ne vaut rien tant qu’elle n’est pas transformée, fiabilisée et mise à disposition des équipes qui en ont besoin. C’est exactement le problème que règle un pipeline de données bien conçu : orchestrer chaque étape de traitement, de la source jusqu’au reporting, sans couture et sans intervention manuelle.
Avec Microsoft Fabric, cette orchestration prend une nouvelle dimension. La plateforme SaaS unifiée de Microsoft centralise en un seul environnement l’ingestion, la transformation, la modélisation sémantique et la restitution dans Power BI — là où il fallait autrefois assembler Azure Data Factory, Azure Databricks, Synapse et Power BI comme autant de briques distinctes. Si vous voulez comprendre ce qu’est Microsoft Fabric et comment la plateforme se positionne dans le paysage Microsoft BI, notre présentation complète de Microsoft Fabric est un bon point de départ.
Dans cet article, nous détaillons comment construire un pipeline de données opérationnel dans Fabric : les composants à mobiliser, la logique d’architecture en médaillon (Bronze / Silver / Gold), les activités d’orchestration disponibles et la façon dont tout cela s’enchaîne dans une chaîne de traitement complète.
1. Les composants clés d'un pipeline Microsoft Fabric
Microsoft Fabric regroupe plusieurs composants qui interviennent à différentes étapes du cycle de vie de la donnée. Avant de construire un pipeline, il est essentiel de comprendre à quoi sert chacun d’eux.
Data Pipeline : c’est l’orchestrateur central. Il planifie, enchaîne et supervise les workflows de données selon un pattern ELT (Extract, Load, Transform). Le pipeline ne transforme pas les données lui-même — il coordonne les composants qui le font.
Dataflow Gen 2 : composant low-code d’ingestion et de transformation basé sur Power Query (M). Il permet aux équipes moins techniques d’intégrer des sources sans écrire de code, avec persistance directe dans OneLake.
Notebook Spark : moteur de calcul distribué pour les transformations avancées. Il supporte PySpark, Spark SQL, Scala et R — indispensable dès que les volumes de données ou la complexité des transformations dépassent ce que le Dataflow Gen 2 peut absorber.
Lakehouse : couche de stockage analytique unifiée, basée sur le format ouvert Delta Lake. C’est ici que les données transitent entre les différentes couches de traitement. Si vous hésitez encore entre Lakehouse et Warehouse dans Fabric, notre article Lakehouse vs Warehouse dans Microsoft Fabric clarifie les cas d’usage de chacun.
Power BI : couche de modélisation sémantique et de restitution. Le pipeline alimente et actualise automatiquement le modèle sémantique, que les équipes métier interrogent ensuite via des rapports et des tableaux de bord.
2. L'architecture en médaillon : structurer la donnée par niveaux de qualité
Le modèle de référence dans Microsoft Fabric pour organiser un Lakehouse est l’architecture en médaillon. Elle structure les données en trois couches successives, chacune correspondant à un niveau de transformation et de qualité croissant.
Les trois Lakehouses Bronze, Silver et Gold tels qu’ils apparaissent dans l’espace de travail Microsoft Fabric.
Bronze — Raw Data : les données brutes, non transformées, sont stockées dès leur ingestion dans cette première couche. Le format Delta (natif dans Fabric) garantit la traçabilité et l’historisation : on conserve chaque version de la donnée, ce qui permet de rejouer un traitement en cas d’erreur aval.
Silver — Cleansed Layer : les données sont nettoyées et standardisées à cette étape — typage, suppression des valeurs nulles, déduplication, normalisation des formats. La couche Silver est exploitable techniquement, mais pas encore modélisée pour les usages métier.
Gold — Business Level : les données sont agrégées, enrichies et modélisées pour répondre aux questions métier. C’est cette couche que Power BI consomme pour alimenter les rapports et tableaux de bord — les données y sont prêtes à l’emploi, sans traitement supplémentaire côté BI.
Chaque couche contient ses propres tables Delta, ce qui permet de suivre et contrôler la qualité des données à chaque étape de la chaîne. En cas de problème détecté dans la couche Gold, on peut remonter jusqu’au Bronze sans perte d’information.
💡 Vous souhaitez aller plus loin sur Microsoft Fabric ?
Retrouvez tous nos articles Microsoft BI : Power BI, Microsoft Fabric, Azure Data Factory — des contenus techniques rédigés par les consultants DeciVision pour vous aider à progresser.
Voir tous nos articles Microsoft BI →3. Le pipeline Fabric : rôle, activités et configuration
Le Data Pipeline de Microsoft Fabric est l’orchestrateur qui relie tous ces composants. Son rôle n’est pas de transformer les données directement, mais de coordonner les exécutions, gérer les dépendances entre les tâches et déclencher les bons composants dans le bon ordre.
Les activités de mouvement de données
Ces activités gèrent l’ingestion et l’extraction :
- Copy Data : ingestion multi-sources — bases de données relationnelles, fichiers plats, APIs, services cloud. C’est l’activité d’entrée la plus couramment utilisée pour alimenter la couche Bronze.
- Lookup : récupération de métadonnées depuis une source (paramètres de configuration, listes de référence).
- Get Metadata : inspection des fichiers avant traitement (existence, taille, schéma) — utile pour conditionner l’exécution du pipeline à la présence d’un fichier attendu.
- Delete : suppression contrôlée de fichiers ou de données selon des règles définies.
Les activités de contrôle de flux
Ces activités rendent le pipeline dynamique et capable de s’adapter à des situations variées sans intervention manuelle :
- If Condition : exécution conditionnelle selon le résultat d’une expression — par exemple, déclencher un traitement différent si un fichier source est vide ou incomplet.
- ForEach : traitement itératif sur une liste d’éléments — parcourir un ensemble de fichiers, de tables ou de partitions pour les traiter les uns après les autres (ou en parallèle, selon la configuration).
- Variables : paramétrage dynamique du pipeline — les variables permettent de stocker des valeurs à réutiliser dans plusieurs activités.
- Retry / Error handling : gestion des échecs avec tentatives automatiques et branchements en cas d’erreur — essentiel pour garantir la résilience d’un pipeline en production.
La configuration d’une activité
Lorsque vous ajoutez une activité dans un pipeline, vous configurez ses propriétés principales : nom, description, durée maximale d’exécution (TimeOut) et nombre de tentatives en cas d’échec. Les activités de contrôle de flux permettent d’ajouter des conditions logiques, des boucles et une gestion des erreurs directement dans l’interface graphique — sans écrire de code d’orchestration.
4. Vue globale : un pipeline de traitement complet de l'ingestion au reporting
Voici comment s’enchaînent concrètement les étapes dans un pipeline Microsoft Fabric de bout en bout.
Étape 1 — Récupération des données : le pipeline se connecte aux sources (bases de données, fichiers plats, APIs ou services cloud) via l’activité Copy Data. Cette étape n’applique aucune transformation — l’objectif est de rapatrier les données le plus fidèlement possible.
Étape 2 — Ingestion dans le Lakehouse (Bronze) : les données brutes sont stockées dans la couche Bronze du Lakehouse au format Delta. Aucune modification du contenu à cette étape — on préserve la donnée source telle quelle pour garantir la traçabilité et la capacité à rejouer le traitement.
Étape 3 — Traitement et structuration (Silver) : un Notebook Spark (PySpark ou Spark SQL) prend le relais pour nettoyer, valider et structurer les données. C’est ici que se traitent les doublons, les nulls, les erreurs de typage et les incohérences de format. Le résultat est écrit dans la couche Silver du Lakehouse.
Étape 4 — Mise à jour du modèle sémantique (Gold) : les données Silver sont agrégées et modélisées pour répondre aux besoins métier, puis écrites dans la couche Gold. Le pipeline déclenche ensuite l’actualisation du modèle sémantique Power BI pour que les tableaux de bord reflètent immédiatement les données les plus récentes.
Étape 5 — Notification d’exécution : une notification est envoyée automatiquement à la fin de l’exécution — succès ou échec — avec les détails de l’exécution. Cette étape, souvent négligée dans les premières implémentations, est indispensable pour assurer le suivi opérationnel d’un pipeline en production.
5. Déclenchement et planification du pipeline
Une fois le pipeline construit et testé, deux modes d’exécution sont disponibles.
Lancement manuel : utile en phase de développement, pour valider chaque étape avant de passer en production. L’interface de Fabric permet de déclencher le pipeline en un clic et de suivre l’exécution en temps réel.
Planification automatique : le pipeline peut être configuré pour s’exécuter à intervalles réguliers — toutes les heures, chaque nuit, chaque semaine — selon les contraintes de fraîcheur des données attendues par les équipes métier.
Conclusion de l’expert
Un pipeline de données Microsoft Fabric n’est pas qu’un enchaînement de tâches automatisées — c’est une architecture de confiance pour la donnée. L’architecture en médaillon garantit que chaque couche de traitement est traçable et reproductible. Le pattern ELT de Fabric allège les sources en déportant la transformation au sein de la plateforme. Et les mécanismes intégrés de monitoring et de notification font de cette orchestration quelque chose qu’on peut réellement opérer en production, pas seulement démontrer en proof of concept.
Ce qui change par rapport à une architecture plus ancienne avec Azure Data Factory seul ou Synapse, c’est l’unification : les notebooks Spark, le stockage OneLake, le modèle sémantique Power BI et l’orchestrateur sont dans le même environnement, avec un référentiel de droits et de monitoring commun. Moins de tuyauterie entre les services, moins de points de défaillance.
Si vous construisez ou faites évoluer votre architecture data, Microsoft Fabric mérite une évaluation sérieuse — pas comme une migration à faire pour suivre la roadmap Microsoft, mais comme un socle qui simplifie réellement la chaîne de traitement de bout en bout.
💡 Votre équipe data envisage Microsoft Fabric ?
DeciVision accompagne les entreprises dans la conception et l'implémentation de pipelines de données sur Microsoft Fabric…
Parler à un expert Microsoft Fabric →
