Role overview
Contexte de la missionNous recherchons un Data Engineer IA expérimenté, disposant d?une solide expertise pratique sur Microsoft Fabric, les services de données Azure et les pratiques modernes de data engineering.
Le candidat idéal concevra, optimisera et maintiendra des pipelines de données scalables afin de soutenir des initiatives avancées en analytique et en IA/ML à l?échelle de l?organisation.
Objectifs et livrablesResponsabilités clésData Engineering & ArchitectureConcevoir, développer et maintenir des pipelines de données scalables sur Microsoft Fabric (Data Factory, Dataflows, Lakehouse, Warehouse, OneLake).
Développer des processus robustes d?ingestion, de transformation et d?orchestration des données à l?aide d?Azure Data Factory, Azure Databricks, Azure Synapse et Azure Functions.
Mettre en ?uvre et optimiser des architectures Delta Lake pour des données structurées et non structurées.
Construire des produits de données réutilisables pour supporter les charges de travail en IA, machine learning et analytique.
Intégration IA & Analytique avancéeCollaborer avec les Data Scientists et les ML Engineers pour industrialiser les modèles via Azure Machine Learning, les expériences Data Science de Fabric ou Databricks.
Préparer les jeux de données et réaliser le feature engineering adaptés aux workloads IA.
Automatiser les workflows MLOps, la surveillance des modèles et les pipelines de déploiement.
Gouvernance, Qualité & SécuritéMettre en place des frameworks de qualité des données, d?observabilité, de monitoring et de traçabilité (lineage) à l?aide de Fabric et d?Azure Purview.
Garantir la conformité avec les standards de gouvernance, de protection des données et de sécurité.
Gérer les pipelines CI/CD pour le code data via Azure DevOps ou GitHub.
Collaboration & Engagement des parties prenantesCollaborer avec les analystes métiers, product owners et experts métiers afin de comprendre les besoins et livrer des solutions data à forte valeur ajoutée.
Maintenir la documentation des sources de données, modèles de données, pipelines et bonnes pratiques.
Fournir un accompagnement technique et du mentorat aux développeurs juniors.
Profil candidat:
Compétences et qualifications requisesPlus de 10 ans d?expérience en tant que Data Engineer, AI Engineer ou dans un rôle équivalent.
Forte expérience pratique avec Microsoft Fabric (Lakehouse, Data Engineering, Data Factory, Data Pipelines).
Expertise approfondie des services de données Azure :
Azure Data Factory
Azure Databricks / Spark
Azure Synapse / SQL Pools
Azure Storage (ADLS Gen2)
Azure Functions
Azure Machine Learning
Maîtrise de Python et SQL pour le traitement et la transformation des données.
Expérience dans la conception d?architectures data lakehouse et de pipelines Delta Lake.
Connaissance des pratiques modernes DevOps/MLOps (gestion de versions, tests, déploiement automatisé).
Familiarité avec les frameworks de gouvernance des données via Azure Purview ou la gouvernance Fabric.