Consultant Data Engineer (DBT / Spark / Databricks / Python)

ontexte de la mission

Dans le cadre du renforcement de sa plateforme Data, notre client recherche un Consultant Data Engineer afin de concevoir, développer et industrialiser des pipelines de données sur une architecture Cloud moderne. Le consultant interviendra au sein d'une équipe Agile et contribuera à la mise en place de traitements performants, fiables et maintenables, destinés à alimenter les différents usages analytiques et décisionnels.

Missions principalesConcevoir, développer et maintenir des pipelines de données robustes et évolutifs.

Développer et optimiser les transformations de données avec dbt.

Concevoir et maintenir des traitements distribués avec Apache Spark.

Développer des notebooks et des workflows sur Databricks.

Développer des scripts et composants en Python pour l'ingestion, le traitement et l'automatisation des données.

Optimiser les performances des traitements de données et réduire les temps d'exécution.

Mettre en ?uvre les bonnes pratiques de qualité de données, de tests et de documentation.

Participer aux revues de code et à l'amélioration continue des développements.

Collaborer avec les équipes Data, BI, Data Science et métiers afin de répondre aux besoins fonctionnels.

Assurer le support technique et la maintenance des pipelines en production.

Profil candidat:

Profil recherché3 ans d'expérience minimum en Data Engineering.

Solide maîtrise des architectures Data modernes (Data Lake / Lakehouse).

Excellente maîtrise de Python, Spark, Databricks et dbt.

Bonne capacité d'analyse, d'optimisation des performances et de résolution de problèmes.

Autonomie, rigueur et esprit d'équipe.

Capacité à évoluer dans un environnement Agile.

Livrables attendusPipelines de données industrialisés et documentés.

Modèles dbt optimisés et testés.

Jobs Spark performants et maintenables.

Documentation technique et bonnes pratiques.

Participation aux mises en production et au support des traitements Data.