Engenheiro de Dados Sênior / Tech Lead de Engenharia de Dados

Missão do Cargo

Ser a referência técnica da área de Dados - garantindo estabilidade, escalabilidade e governança das plataformas de dados (AWS + GCP), liderando a evolução da arquitetura e capacitando o time para que a operação se torne previsível e automatizada.

Responsabilidades Principais

Ser o guardião técnico da arquitetura de dados (Airflow, Airbyte, Spark/PySpark, Kubernetes/EKS, EMR, S3/Lake, Redshift, BigQuery, DataFlow).

Liderar a refatoração do pipeline crítico de fechamento (CMRR / RH + DP) para um modelo mais modular, automatizado e observável.

Estabelecer padrões de desenvolvimento, versionamento e testes (Git, ambientes DEV/STG/PRD, CI/CD, Data Quality, Linhagem).

Apoiar na governança dos múltiplos datalakes e warehouses, reduzindo duplicidade de ingestões e promovendo reutilização de camadas.

Ser referência e mentorar o time atual (Analytics Engineers, DataOps e Estagiários), elevando o nível técnico geral.

Atuar próximo ao negócio quando necessário, entendendo regras de cálculo e garantindo confiabilidade dos números.

Stack Técnica Desejada

Área Tecnologias

Ingestão & Orquestração Airflow, Airbyte, Lambdas, DataFlow, ScheduledQueries

Processamento distribuído PySpark (forte), Spark SQL, EMR, Dataproc, DLT (desejável)

Cloud & Infra AWS (EKS, EMR, Lambda, S3, Redshift), GCP (BigQuery, DataFlow, Composer)

Infra as Code / DevOps Terraform, Docker, Kubernetes, CI/CD

Data Quality & Linhagem Great Expectations, DataHub ou equivalente

Governança & Segurança IAM, VPN, segregação de ambientes/staging