Lead Data Engineer Azure Databricks
Il y a 1 jour
Casablanca, Maroc
Arrabet
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Participer au cadrage technique du projet et à l’analyse des sources de données.
Réaliser le Data Mapping entre les données Apollo en couche Silver et les données commerciales existantes en couche Platinum.
Concevoir les règles de transformation et de jointure des données.
Développer les pipelines de transformation sous Databricks / Microsoft Fabric.
Développer les scripts PySpark et SQL nécessaires à la création des tables Platinum Merchandising.
Croiser les données spatio-temporelles Apollo avec les faits de ventes, stocks et démarque.
Mettre en place les modèles de données nécessaires aux analyses Merchandising.
Garantir la qualité, la cohérence et la fiabilité des données produites.
Participer aux tests techniques et à la validation des transformations.
Collaborer avec le Business Analyst et le Data Analyst Power BI pour assurer l’adéquation entre les données produites et les besoins décisionnels.
Contribuer à la documentation technique et au transfert de connaissances.
Maîtrise d’Azure Databricks.
Maîtrise de PySpark et SQL.
Expérience sur Microsoft Fabric.
Bonne maîtrise des architectures Data Lake / Lakehouse et des couches de données.
Expérience en modélisation décisionnelle complexe.
Maîtrise des jointures et transformations de données spatio-temporelles.
Expérience dans la construction de pipelines de données et de tables analytiques.
Bonne compréhension des enjeux de qualité, de performance et de fiabilité des données.
Une expérience dans le Retail / Grande Distribution constitue un atout.
Réaliser le Data Mapping entre les données Apollo en couche Silver et les données commerciales existantes en couche Platinum.
Concevoir les règles de transformation et de jointure des données.
Développer les pipelines de transformation sous Databricks / Microsoft Fabric.
Développer les scripts PySpark et SQL nécessaires à la création des tables Platinum Merchandising.
Croiser les données spatio-temporelles Apollo avec les faits de ventes, stocks et démarque.
Mettre en place les modèles de données nécessaires aux analyses Merchandising.
Garantir la qualité, la cohérence et la fiabilité des données produites.
Participer aux tests techniques et à la validation des transformations.
Collaborer avec le Business Analyst et le Data Analyst Power BI pour assurer l’adéquation entre les données produites et les besoins décisionnels.
Contribuer à la documentation technique et au transfert de connaissances.
Profil
Plus de 5 ans d’expérience en Data Engineering.Maîtrise d’Azure Databricks.
Maîtrise de PySpark et SQL.
Expérience sur Microsoft Fabric.
Bonne maîtrise des architectures Data Lake / Lakehouse et des couches de données.
Expérience en modélisation décisionnelle complexe.
Maîtrise des jointures et transformations de données spatio-temporelles.
Expérience dans la construction de pipelines de données et de tables analytiques.
Bonne compréhension des enjeux de qualité, de performance et de fiabilité des données.
Une expérience dans le Retail / Grande Distribution constitue un atout.