Data Engineer Databricks/AWS

Le Data Engineer supervise et intègre des données de natures diverses provenant de sources multiples ; il vérifie la qualité des données entrant dans le Data Lake, en effectuant notamment des tests, la déduplication et les activités d'assurance qualité associées.

Les principales responsabilités incluent :

Qualification et gestion des données :

Collecte de données structurées et non structurées produites par différentes applications ou provenant de sources externes à l'entité

Intégration des éléments

Structuration des données (sémantique, etc.)

Cartographie des éléments disponibles

Nettoyage des données (élimination des doublons, etc.)

Validation des données

Création éventuelle du référentiel de données

La plateforme de données permet à tous les domaines producteurs de données de mettre à disposition des données brutes ou retravaillées dans un Data Lake. Cette plateforme gère notamment les fonctionnalités et les données relevant du périmètre métier « Relation Réseau ». Elle permet :

L'intégration et l'assurance qualité des données brutes reçues des distributeurs

La mise à disposition de données GRD exploitables pour tous les besoins du segment et de l'organisation (qu'il s'agisse de besoins opérationnels ou analytiques issus de tous les domaines métiers)

Principales missions :

Maîtrise des outils Databricks (création de jobs, clusters, notebooks) et capacité à effectuer des requêtes SQL efficaces

Maintien en conditions opérationnelles de la plateforme de production (analyse et correction d'incidents et d'anomalies)

Développement de jobs d'ingestion et de transformation de données en Python avec Spark pour traiter de grands volumes de données

Apport d'une vision à long terme, tant sur le plan opérationnel que stratégique pour la plateforme de données

Soutien et promotion des meilleures pratiques

Participation aux ateliers de conception technique et fonctionnelle

Rédaction et mise à jour de la documentation technique

Profil candidat:

SQL

Niveaux d'expérience Python V3 Confirmé

Niveaux d'expérience Pyspark Confirmé

Databricks (unity catalog, workflow, job, notebook) Confirmé

AWS (Lambda, ECS, Step Function) confirmé