Data Engineer AWS H/F (IT) / Freelance

ContexteDans le cadre du développement d'une plateforme Data internationale hébergée sur AWS, nous recherchons un(e) Consultant(e) Data Engineering AWS afin de renforcer une équipe en charge de l'industrialisation des pipelines de données.

La plateforme a pour objectif de répondre aux besoins analytiques d'équipes internationales et locales en garantissant une gouvernance centralisée tout en permettant des adaptations spécifiques selon les entités. L'environnement technique repose principalement sur AWS (S3, Glue, Redshift) avec Power BI comme solution de restitution des données.

Les premières données ont déjà été migrées vers le Cloud et l'équipe poursuit aujourd'hui l'industrialisation des traitements autour de plusieurs axes :

Intégration de nouvelles sources de données ;

Amélioration continue de la qualité des données ;

Optimisation de l'accessibilité et de la disponibilité des données pour les utilisateurs métiers.

Vous intégrerez une équipe Data Factory organisée autour des pôles Plateforme, Data Engineering et BI & Data Quality, dans un environnement Agile et collaboratif.

MissionsEn tant que Consultant Data Engineering AWS, vous participerez à la conception, au développement et à la maintenance des pipelines de transformation de données sur AWS.

À ce titre, vos principales responsabilités seront :

Développer des jobs ETL AWS Glue en Python et PySpark ;

Maintenir, faire évoluer et optimiser les pipelines de données existants ainsi que les composants génériques associés ;

Participer à la modélisation des données en fonction des besoins analytiques ;

Contribuer à l'amélioration continue de la qualité du code, des bonnes pratiques de développement et de la documentation technique ;

Mettre en place et améliorer les mécanismes de supervision, de gestion des erreurs et de monitoring des traitements ;

Collaborer avec les différentes équipes techniques afin de garantir la fiabilité et la performance de la plateforme Data.

Environnement techniqueAWS Glue

Python

PySpark

Amazon S3

AWS Lambda

AWS Step Functions

AWS IAM

Amazon CloudWatch

Amazon Redshift

Power BI

Compétences appréciéesExpérience des pipelines CI/CD appliqués aux projets Data ;

Bonne maîtrise de SQL ;

Connaissance des bonnes pratiques d'industrialisation des traitements de données.

Compétences / Qualités indispensables :

AWS Glue, Python, PySpark, Amazon S3, AWS Lambda, AWS Step Functions, AWS IAM, Amazon CloudWatch, Amazon Redshift, Power BI

Profil candidat:

Profil recherchéSolide expérience en Data Engineering sur AWS ;

Excellente maîtrise de Python et PySpark ;

Expérience significative d'AWS Glue en environnement de production ;

Bonne connaissance de l'écosystème AWS (Lambda, Step Functions, IAM, S3, CloudWatch?) ;

Capacité à produire un code propre, structuré et maintenable ;

Esprit d'équipe, autonomie et sens de l'amélioration continue ;

Bon niveau d'anglais permettant d'échanger avec des équipes internationales.