Data engineer Databricks/AWS
Skills
About the role
Vous maîtrisez le métier d'ingénieur données sur Databricks (sur AWS).
Vos responsabilités seront les suivantes :
? Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks.
? Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.).
? Mettre en ?uvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données.
? Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines.
? Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en ?uvre les maintenances et mises à jour nécessaires.
? Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données.
? Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir.
Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.
Profil candidat:
Nous recherchons un ingénieur data Databricks expérimenté pour rejoindre notre équipe projet et mettre en ?uvre notre plateforme Databricks sur AWS. Vous travaillerez sous la supervision d'un chef de projet et d'un responsable technique / architecte de données.
Vos responsabilités seront les suivantes :
? Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks
? Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.)
? Mettre en ?uvre et optimiser les processus ETL (Extraction, Transformation, Chargement) pour garantir une transformation et une intégration efficaces des données.
? Garantir la qualité, l'intégrité et la sécurité des données sur tous les pipelines.
? Surveiller et corriger les performances du pipeline de données, en mettant en ?uvre les maintenances et mises à jour nécessaires.
? Documenter les processus du pipeline de données, les spécifications techniques et les bonnes pratiques.
? Assurer le transfert de connaissances vers l'équipe d'ingénieurs données, qui sera chargée de l'exploitation future de la plateforme.
Questions about this role
Want AI Applyd to auto-apply to roles like this?
We tailor your resume per posting, fill the forms, and track replies for you.