Dans une équipe numérique, l’Architecte data décide comment les données doivent être organisées, protégées et rendues accessibles. Le Data engineer construit les systèmes qui les collectent, les transforment et les mettent à disposition.
Ces métiers collaborent étroitement, mais leur périmètre diffère par l’échelle des décisions et le degré de responsabilité. Une entreprise fictive, Atelier Nord, permettra de suivre leurs choix depuis la définition de l’Architecture des données jusqu’aux traitements quotidiens.
A retenir :
- Architecte data : cohérence globale, standards et arbitrages techniques
- Data engineer : pipelines fiables, transformations et qualité opérationnelle
- Collaboration continue entre conception, développement et exploitation
- Responsabilités croissantes du Niveau junior au Niveau senior
Architecte data ou Data engineer : des responsabilités distinctes
Cette différence de périmètre apparaît dès qu’Atelier Nord veut réunir les données de ses ventes en ligne et de ses magasins. L’Architecte data établit les principes communs, tandis que le Data engineer les traduit en solutions exécutables.
Architecture des données : cadrer les choix structurants
Dans ce projet, l’Architecte data commence par définir les sources, les usages attendus et les règles de circulation. Il examine notamment la sécurité, les coûts, la conservation et les dépendances entre applications.
Selon DAMA International, la gestion des données couvre plusieurs domaines liés, dont l’architecture, la qualité et la gouvernance. Cette vision aide à éviter une décision isolée qui compliquerait ensuite le travail des équipes.
À Atelier Nord, le rôle consiste par exemple à choisir où les données de commande seront conservées et qui pourra les consulter. Il fixe aussi les conventions communes, sans nécessairement écrire chaque traitement technique.
Ingénierie des données : construire et exploiter les flux
Une fois les orientations établies, le Data engineer développe les Pipelines ETL/ELT qui déplacent et transforment les informations. Il vérifie leur fonctionnement, traite les erreurs et documente les dépendances utiles à l’exploitation.
Selon les recommandations de conception de Google Cloud, les choix d’architecture doivent tenir compte des besoins de fiabilité, de sécurité et d’exploitation. Le Data engineer applique ces exigences aux outils retenus et signale les contraintes rencontrées.
La répartition reste souple dans une petite équipe : une même personne peut contribuer aux deux dimensions. La responsabilité principale se lit toutefois dans la nature de ses décisions, comme le montre ce tableau.
Repères des responsabilités data :
| Dimension | Architecte data | Data engineer |
|---|---|---|
| Échelle | Systèmes et principes communs | Flux et composants techniques |
| Décision courante | Standards et choix structurants | Implémentation et fonctionnement |
| Livrable fréquent | Schémas et règles d’architecture | Pipelines et traitements automatisés |
| Préoccupation centrale | Cohérence à long terme | Fiabilité des données livrées |
Le cadrage architectural prend donc sa valeur lorsqu’il se traduit en systèmes exploitables ; la question suivante porte sur les choix techniques quotidiens.
Du schéma aux Pipelines ETL/ELT : organiser la collaboration
Une fois les responsabilités clarifiées, les deux métiers doivent arbitrer ensemble les outils et les priorités. Chez Atelier Nord, le choix des Plateformes cloud dépend autant des compétences disponibles que des exigences de traitement.
Modélisation des données et gouvernance au quotidien
La Modélisation des données décrit les relations entre les informations et leur sens pour l’entreprise. L’Architecte data veille à ce que les définitions restent cohérentes, tandis que le Data engineer les applique dans les transformations et les entrepôts.
Selon le cadre AWS Well-Architected, la conception d’un système cloud implique des compromis entre plusieurs objectifs, notamment la sécurité, la fiabilité et les coûts. L’équipe doit donc documenter ses arbitrages plutôt que choisir un outil par habitude.
La Gouvernance des données rend ces règles concrètes : responsables identifiés, accès adaptés et définitions partagées. Sans ce cadre, deux équipes peuvent calculer différemment un indicateur pourtant présenté sous le même nom.
Choisir une plateforme selon les usages
Pour Atelier Nord, les données de vente arrivent par lots, alors que certains indicateurs doivent être actualisés rapidement. L’équipe compare alors les solutions selon la fréquence, le volume, les compétences nécessaires et les contraintes de confidentialité.
Ce tableau présente des critères de décision, non un classement de fournisseurs. Les besoins réels et les capacités de l’organisation déterminent le choix final.
Critères de choix des plateformes :
| Critère | Question à examiner | Conséquence pratique |
|---|---|---|
| Fréquence | Les données arrivent-elles en continu ou par lots ? | Influence l’organisation des traitements |
| Compétences | L’équipe maîtrise-t-elle les outils envisagés ? | Conditionne l’autonomie opérationnelle |
| Confidentialité | Quelles données exigent des accès restreints ? | Oriente les règles de protection |
| Exploitation | Qui surveille les erreurs et les coûts ? | Précise les responsabilités de suivi |
Quand ces critères sont explicités, les désaccords deviennent plus faciles à trancher ; la progression professionnelle détermine ensuite qui porte chaque arbitrage.
Une démonstration des métiers complète utilement ces critères, car les intitulés de poste ne décrivent pas toujours les mêmes missions d’une entreprise à l’autre.
Niveau junior ou Niveau senior : mesurer l’autonomie et l’impact
Ces choix techniques et organisationnels évoluent avec l’expérience des professionnels. Le Niveau junior apprend à livrer des tâches délimitées, tandis que le Niveau senior prend davantage en charge les conséquences de décisions durables.
Progression du Data engineer selon l’expérience
Au Niveau junior, un Data engineer peut corriger un traitement, ajouter un contrôle de qualité ou documenter un flux existant. Son encadrement l’aide à comprendre les règles de sécurité et les effets d’une modification sur les autres systèmes.
Avec l’expérience, il conçoit des pipelines plus complexes, diagnostique les incidents et améliore leur observabilité. Au Niveau senior, il peut aussi guider les choix d’implémentation et accompagner les collègues moins expérimentés.
Élargissement du rôle d’Architecte data
Un Architecte data confirmé relie les décisions techniques aux usages et aux contraintes de plusieurs équipes. Il sait expliquer pourquoi une solution plus simple aujourd’hui peut réduire les coûts de maintenance demain.
Pour choisir entre ces métiers, une personne attirée par la conception transversale peut privilégier l’architecture. Celle qui préfère construire, tester et améliorer des flux opérationnels trouvera davantage de continuité dans l’ingénierie des données.
Repères de progression professionnelle :
- Niveau junior : tâches cadrées, apprentissage des standards et contrôles réguliers
- Niveau intermédiaire : autonomie technique et prise en charge de flux
- Niveau senior : arbitrages, fiabilité collective et accompagnement des équipes
Les frontières varient selon la taille de l’organisation, mais une collaboration efficace repose toujours sur des responsabilités explicites et des échanges réguliers.
Source : DAMA International, « DAMA-DMBOK: Data Management Body of Knowledge » ; Google Cloud, « Architecture Framework » ; Amazon Web Services, « AWS Well-Architected Framework ».