Data Engineer Sênior (Python | AWS | Spark)

Sobre a SRM Asset

Somos uma das maiores gestoras de recursos independentes do Brasil, líderes em fundos de direitos creditórios (FIDCs) e impulsionados por inovação. Com um ecossistema que integra Asset, Ventures e Tecnologia, operamos com a agilidade de uma fintech e a solidez de uma grande instituição financeira. Se você busca atuar em um ambiente onde seus dados impactam diretamente decisões de investimento e crédito em tempo real, seu lugar é aqui.

Estamos vivendo uma transformação importante na forma como construímos tecnologia.

Na SRM Asset, estamos evoluindo nosso modelo de desenvolvimento para um fluxo cada vez mais assistido por Inteligência Artificial e agentes autônomos, reduzindo a distância entre especificação, construção e entrega de software.

O Desafio

Como Engenheiro (a) de Dados Sênior (Python | AWS | Spark), você será peça-chave na evolução da nossa plataforma de dados. Buscamos um especialista capaz de transitar com maestria entre a engenharia de dados moderna (AWS/Spark) e ambientes relacionais tradicionais (MSSQL). Você atuará na arquitetura de pipelines robustos, garantindo disponibilidade, qualidade e performance para sustentar nossas operações críticas e modelos analíticos.

O que você vai fazer

Desenvolver, orquestrar e monitorar pipelines de dados escaláveis utilizando Python e Apache Airflow.

Processar grandes volumes de dados (Batch/Streaming) utilizando Apache Spark.

Modelar e otimizar Data Warehouses na nuvem, com foco em AWS Redshift.

Atuar na sustentação e modernização de cargas de dados legadas, garantindo a integração entre o ambiente MSSQL Server e o Data Lake.

Escrever consultas SQL complexas e otimizadas para transformação e análise de dados.

Colaborar com Cientistas de Dados e Analistas de Negócio para democratizar o acesso à informação.

Contribuir para a governança e catalogação de dados utilizando OpenMetadata, garantindo linhagem, qualidade e descoberta de ativos de dados.

Desenhar e evoluir a arquitetura de dados seguindo o padrão medallion (bronze, silver, gold), garantindo qualidade e confiabilidade em cada camada.

Tech Stack & Requisitos

Domínio de Python: Experiência sólida com desenvolvimento de scripts ETL/ELT e manipulação de dados.

SQL Avançado: Capacidade de escrever queries complexas, performáticas e realizar tuning.

Ecossistema Big Data: Experiência prática com Apache Spark e orquestração via Airflow.

Cloud AWS: Vivência com serviços de dados da AWS, com profundidade em Redshift (S3, Glue e Lambda são diferenciais).

Mindset de Engenharia: Conhecimento em boas práticas (Git, CI/CD, Code Review).

Modelagem de Dados: Experiência com modelagem dimensional (Star Schema, Snowflake Schema) para Data Warehouses analíticos, além de arquitetura em camadas (medallion architecture).

Diferenciais

Forte background no ecossistema Microsoft: MSSQL Server, SSIS (Integration Services), SSAS (Analysis Services) e SSRS (Reporting Services).

Nota: Valorizamos muito quem conhece a "velha guarda" dos dados e sabe integrá-la ou migrá-la para a nuvem.

Experiência prévia no mercado financeiro, crédito ou meios de pagamento.