Big Data QA Engineer
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
- Le poste
Êtes-vous à la recherche d'un nouveau challenge ? Nous vous invitons à rejoindre Eleveight
Nous recherchons pour le compte de notre partenaire opérant dans le secteur d'assurance un Testeur Big Data qui aura comme missions ce qui suit.
- Assurer la qualité, la fiabilité et la cohérence des données sur l’ensemble des pipelines (ingestion, transformation, exposition)
- Concevoir et exécuter des tests de validation des données (complétude, cohérence, précision) sur les couches Bronze, Silver et Gold
- Développer et automatiser des tests dbt (génériques et personnalisés) afin de garantir le respect des règles métier et la conformité des modèles de données
- Créer et maintenir des notebooks Databricks (PySpark) pour le contrôle et la validation des données à grande échelle
- Comparer et réconcilier les données entre différentes sources (SQL Server, BigQuery, GCS, Google Sheets) pour assurer la cohérence des flux
- Mettre en place des reportings de validation et suivre les anomalies afin d’identifier et corriger les écarts de qualité
- Participer à la conception, au développement et à la maintenance des pipelines de données (ETL/ELT)
- Contribuer à la modélisation des données (dbt) et à l’architecture en couches (Bronze / Silver / Gold)
- Automatiser les workflows et les tests via Airflow et Python
- Collaborer avec les équipes Data Engineering et Cloud pour améliorer la performance, la traçabilité et la fiabilité des données
- Investiguer, documenter et résoudre les incidents liés aux données
- Assurer un support niveau 1 et 2 pour qualifier et résoudre les problèmes data
- Définir la stratégie de tests data et rédiger les cahiers de tests
- Documenter les pipelines, transformations et modèles de données pour garantir la traçabilité et la transparence
Profil recherché :
- De formation Bac+5
- Excellente maîtrise de SQL (requêtes complexes, validation et optimisation)
- Expérience avec dbt (développement de modèles + tests data)
- Bonne connaissance des tests de qualité des données (complétude, cohérence, précision)
- Expérience en Python pour l’automatisation des contrôles
- Maîtrise d’environnements Big Data (Databricks, PySpark)
- Bonne compréhension des pipelines ETL/ELT
A propos d'Eleveight :
Eleveight est entreprise de recrutement spécialisé dans les solutions de talents sur mesure pour accompagner les entreprises dans leur transformation.
Nous connectons les meilleurs experts en Change & Transformation, Business Applications et Data & AI avec des projets ambitieux, en offrant des opportunités adaptées à leurs compétences et aspirations.
Grâce à notre approche personnalisée et à notre réseau international, nous assurons un accompagnement de qualité tout au long du processus, garantissant des missions stimulantes et un environnement propice à l’évolution professionnelle.
Rejoignez Eleveight et accédez à des opportunités qui valorisent votre expertise et accélèrent votre carrière.