Data engineer

Dans le cadre du développement de ses systèmes d'information Épargne Salariale et Retraite,

les Bénéficiaires doivent recourir à une prestation externe pour fournir assistance à la

modernisation de la plateforme BI.

1. OBJET DE LA PRESTATION

Dans le cadre du projet de modernisation de la plateforme BI, la prestation consistera à mettre

en place des solutions répondant aux besoins couverts par l?existant et permettant de proposer

de nouveaux services. Cette solution devra utiliser les outils validés et mis à disposition par le

groupe.

La mission sera pilotée par l?équipe Coeur-Data au sein de la R&D Epargne salariale et retraite. Le data engineer devra intervenir en collaboration avec l?équipe de 5 personnes ainsi qu?avec les clients et les équipes transverses du client.

Exemple d?applications du domaine d?intervention :

Architecture : Définition de l?organisation du Lakehouse dans le S3

Chargement : Utilisation de pipelines spark, pyspark et python

Ordonnancement : Dagster

Restitution : Mise à disposition de la donnée brut + création de rapports sur un outil de dataviz

à définir sur la base du LakeHouse

L?objectif principal de la prestation sera la mise à disposition de data structurées à

destination de l?équipe marketing . Dans ce cadre, il conviendra de réaliser :

Le développement d?une solution de collecte de données

Le développement d?un système de stockage de la donnée

La documentation des développements

La réalisation de tests unitaires

La mise en place d?un suivi des traitements

L?assistance à la recette par la MOA / les utilisateurs

Des comptes rendus aux pilotes sur l?avancement du projet et les blocages rencontrés

Des études avec les équipes transverses du client

2. ENVIRONNEMENT FONCTIONNEL DE LA PRESTATION

La prestation se déroulera au sein du service IT en charge de la Maintenance applicative

3. ENVIRONNEMENT TECHNIQUE DE LA PRESTATION

Langages de programmation : Python, Spark, Pyspark, SQL

Outil de gestion de version : Git

Intégration continue : JENKINS

Ticketing : JIRA

Documentation : Confluence

Poste de travail Windows 10 avec WSL (Windows Subsystem for Linux)

Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19

Outils de la plateforme cible : Dagster, Trino, S3

4. RESULTATS ATTENDUS / LIVRABLES

Respect du planning détaillé validé

Estimation des charges MOE

Mise en ?uvre des solutions développées

Programme testé et prêt à la recette par les utilisateurs / MOA

Tests unitaires des développements effectués

Suivi d?avancement des tâches du projet en cours

Documentation technique

Amélioration continue des processus de développements

5. PRE-REQUIS ET/OU ELEMENTS INDISPENSABLES

Python, Spark appliqué à la data

Machine learning appliqué à la donnée (scikit-learn, feature engineering)

Relationnel pour les échanges avec le métier

Outils Informatica

Outils LLM/GenAI pour l'accès et l'exploration de la donnée

Profil candidat:

Nous recherchons un expert en gestion de données, si possible sur Dagster mais sinon sur Airflow. Une bonne connaissance de python, pyspark est essentielle.