Data Engineer Sénior
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Data Engineer Sénior – Plateforme Cloudera / Big Data (H/F)
Description du poste
Dans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer Sénior spécialisé dans les technologies Cloudera / Big Data.
Vous serez en charge de la conception, de l'industrialisation et de l'optimisation des pipelines de données destinés aux usages analytiques, Business Intelligence, Intelligence Artificielle et Machine Learning. Vous évoluerez dans un environnement distribué à forts enjeux de performance, de qualité, de sécurité et de gouvernance des données.
Vos principales missions
- Concevoir, développer et industrialiser des pipelines de données batch et temps réel à l'aide de PySpark, Apache NiFi, Airflow et Cloudera Data Engineering (CDE).
- Modéliser, maintenir et optimiser les tables analytiques sous Apache Iceberg (partitionnement, évolution des schémas, versioning).
- Optimiser les performances des traitements et des requêtes analytiques sous Impala.
- Mettre en œuvre les contrôles de qualité des données, le monitoring et les bonnes pratiques de gouvernance (catalogue, lineage, sécurité).
- Participer à la mise en place et à l'industrialisation des pipelines MLOps en collaboration avec les équipes Data Science.
- Contribuer à l'amélioration continue des architectures Data et des performances de la plateforme.
- Encadrer et accompagner les Data Engineers juniors en partageant les bonnes pratiques.
- Collaborer étroitement avec les équipes Data Science, BI, Architecture, Sécurité et les équipes métiers dans un environnement Agile.
Environnement technique
- Cloudera CDP (Data Hub, Data Engineering, Data Warehouse, Machine Learning)
- Apache Spark / PySpark
- Impala / Hive
- Apache Iceberg
- Apache NiFi
- Apache Airflow
- Apache Kafka
- Git
- CI/CD
- Apache Ranger / Sentry
- Apache Atlas (Catalogue & Lineage)
Profil recherché
- Diplôme Bac+3 à Bac+5 en Informatique, Big Data, Data Engineering ou équivalent.
- Minimum 3 à 5 ans d'expérience en ingénierie Data sur des plateformes Big Data.
- Excellente maîtrise de l'écosystème Cloudera CDP et des architectures distribuées.
- Solides compétences en développement de pipelines Data, modélisation, orchestration et optimisation des performances.
- Bonne connaissance des concepts de gouvernance, qualité et sécurité des données.
- Expérience des environnements Agile et du travail en équipe pluridisciplinaire.
- Autonomie, rigueur, capacité d'analyse et excellent esprit d'équipe.
Compétences appréciées
- Expérience des pipelines MLOps et de Cloudera Machine Learning.
- Bonne maîtrise des pratiques DevOps et CI/CD appliquées aux projets Data.
- Sens du partage de connaissances et capacité à accompagner des profils juniors.