Ingénieur Data – Expert Azure & Databricks

:

SYSTRA Canada fait partie du groupe SYSTRA, un groupe international de conseil et d'ingénierie, leader mondial dans la conception d'infrastructures de transport. SYSTRA Canada est une société d'ingénierie et de conseil dont la vocation première est d'offrir des solutions de transport, qu'il s'agisse de passagers ou de marchandises : études de faisabilité pour la construction d'une nouvelle ligne ferroviaire, augmentation de la capacité de l'infrastructure existante, privatisation d'un chemin de fer.

Contexte:

Dans le cadre de notre stratégie data-driven, nous recherchons un Data Ingénieur expérimenté pour concevoir, développer et optimiser des pipelines de données sur notre plateforme Azure. Vous jouerez un rôle clé dans l’ingestion, le traitement, la transformation et la mise à disposition de données à grande échelle via Azure Data Lake, Azure Data Factory, Azure Synapse, et surtout Databricks.

Missions/Responsabilités:

Concevoir et développer des pipelines d’ingestion de données (batch et temps réel) à partir de sources variées (API, SFTP, BDD, etc.)

Mettre en place et orchestrer des flux de données sur Azure Data Factory ou Azure Synapse Pipelines

Développer des traitements de données complexes avec Apache Spark via Databricks (PySpark ou Scala)

Assurer la qualité, la traçabilité et la gouvernance des données (notamment via Delta Lake)

Optimiser les performances des pipelines et des traitements Spark

Collaborer avec les équipes Data Science, BI et Architecture pour assurer la cohérence et l’évolutivité de la plateforme

Participer à l’industrialisation, la documentation et la sécurisation des flux de données

Contribuer à l’évolution de l’architecture data et à la mise en place de bonnes pratiques DevOps/DataOps (CI/CD, monitoring, tests, etc.)

Profil/Compétences :

Compétences techniques requises :

Expertise sur Microsoft Azure : Data Lake Storage Gen2, Data Factory, Synapse, Key Vault, etc.

Maîtrise de Databricks (PySpark / Spark SQL / Delta Lake)

Solide expérience en développement de pipelines de données

Très bonnes compétences en modélisation de données (données structurées et semi-structurées)

Maitrise des formats Avro, Parquet, JSON

Connaissance des principes de sécurité, de qualité et de gouvernance des données

Expérience avec Git, CI/CD (Azure DevOps ou GitHub Actions), tests de pipeline

Compétences appréciées :

Scala, SQL avancé

Connaissances en architectures orientées événements (Event Hub, Kafka)

Notions de MLOps ou collaboration avec des Data Scientists

Certification Microsoft (DP-203) ou Databricks est un plus

Expérience requise :

Minimum 5 ans d’expérience en tant que Data Engineer

Expérience concrète sur des projets data de grande ampleur dans un environnement Azure & Databricks

Qualités personnelles :

Esprit analytique, rigueur, autonomie

Capacité à travailler dans un environnement agile et collaboratif

Bonnes capacités de communication technique

:

Nous utilisons des outils dotés d'intelligence artificielle sur notre plateforme de recrutement (iCIMS) pour les tâches telles que l'analyse de CV et l'appariement de candidats. Ces outils ne prennent pas de décisions d'embauche: toutes les candidatures sont examinées par un spécialiste en acquisition de talents, et les décisions finales sont prises par notre équipe de recrutement. Pour toute question sur notre processus de recrutement ou nos outils d'IA, veuillez contacter infocanada@systra.com.

Note: Dans cette description, l'usage du genre masculin a pour seul but d'alléger le texte et inclut le genre féminin.

Workplace Type: Hybrid