Architecte Databricks (H/F) (IT) / Freelance

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s?imposer comme une référence en matière de freelancing par son expertise dans l?IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Architecte Databricks (H/F) à Lyon, France.

Contexte :

Au sein du pôle, l?équipe transverse agit sur les deux départements, cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet.

La mission du projet : Accompagner la migration et l?industrialisation d?une plateforme data cible autour de Databricks / Spark / Power BI?.

Les missions attendues par le Architecte Databricks (H/F) :

Activité principale

Concevoir, développer et maintenir des pipelines data sous Databricks / Spark

Développer les traitements en Python, PySpark et SQL

Contribuer à la définition et à la mise en ?uvre du modèle de données cible

Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement

Mettre en place des traitements robustes, maintenables et scalables

Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs

Contribuer à la qualité, à l?observabilité et à la fiabilité des traitements

Participer au run : suivi de production, analyse d?incidents, amélioration continue

Prendre en compte les enjeux de performance et de maîtrise des coûts

Activité secondaire

Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices

Contribuer aux choix techniques liés à la nouvelle plateforme data

Participer à la mise en place des pratiques de développement Databricks

Contribuer à l?interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI

Participer à l?intégration de sources d?alimentation du datalake, Kafka apprécié

Contribuer à la documentation technique et aux standards d?équipe

Participer aux rituels agiles et à l?amélioration continue de la feature team

Stack technique de l'équipe

Obligatoires : Databricks, Spark, PySpark, Python, SQL

Obligatoires : Modélisation data, Delta Lake, Unity Catalog

Obligatoires : CI/CD, tests, industrialisation des pipelines

Demandées : Certification Databricks, cloud public, Terraform

Demandées : Databricks Workflows, observabilité

Appréciées : Kafka, Lakeflow / DLT, Power BI

Appréciées : Certification cloud

Profil candidat:

Expertise confirmée sur Databricks : Certification Databricks attendue

Très bonne maîtrise de Spark / PySpark

Très bonne maîtrise de Python et SQL

Solide compétence en modélisation de données

Bonne connaissance de Delta Lake et Unity Catalog

Expérience en industrialisation de pipelines data : CI/CD, tests, déploiement

Expérience sur des environnements cloud publics, sans cloud cible imposé

Connaissance de Terraform pour les sujets Databricks / cloud

Bonne pratique de Databricks Workflows

Sensibilité à l?observabilité, à la qualité de service et à la maintenabilité

Appétence pour les sujets de performance et de maîtrise des coûts

Kafka apprécié pour l?ingestion de données vers le datalake

Power BI apprécié pour les usages d?exposition et de consommation BI

Certification cloud appréciée

Description du profil

Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l?industrialisation d?une nouvelle plateforme data.

Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés.

Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration.

Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l?exposition des données vers les usages analytiques.