Engenharia de Dados | Remota

O que buscamos:

Profissional para atuar em projeto estratégico de migração do Data Warehouse legado para um Enterprise Lakehouse em Databricks, com foco na reconstrução de pipelines atualmente implementados em DataStage e Azure Synapse. A pessoa será responsável por reimplementar pipelines nativamente em PySpark e Spark SQL, apoiando a modernização da plataforma de dados e garantindo paridade entre o ambiente legado e o novo ecossistema Lakehouse.

Responsabilidades:

Reconstruir pipelines do Data Warehouse legado em Databricks utilizando PySpark e Spark SQL;

Implementar as camadas bronze, silver e gold seguindo os padrões da arquitetura medalhão;

Aplicar padrões de ingestão CDC e batch conforme diretrizes do projeto;

Executar waves de reconstrução por domínio em coexistência com o DW legado até o cutover;

Implementar regras de negócio e transformações com testes automatizados;

Realizar reconciliação e validação de paridade entre os dados do ambiente legado e do Lakehouse;

Otimizar performance e custos dos pipelines por meio de particionamento, OPTIMIZE, Z-ORDER e dimensionamento de workloads;

Contribuir com a documentação técnica das regras migradas;

Apoiar a priorização e execução das waves de migração;

Requisitos e Qualificações:

Conhecimento avançado em PySpark e Python;

Experiência com desenvolvimento de pipelines batch em larga escala;

Conhecimento avançado em SQL;

Experiência com modelagem de dados relacional e dimensional;

Experiência com Databricks e Delta Lake em ambiente produtivo;

Conhecimento em arquitetura medalhão (bronze, silver e gold);

Experiência com Delta Live Tables, Lakeflow e Asset Bundles;

Vivência em migração ou reconstrução de pipelines ETL;

Experiência com tradução de regras de negócio de plataformas legadas para Spark;

Conhecimento em ingestão CDC e batch a partir de bancos relacionais;

Experiência com AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions);

Conhecimento em Azure Synapse (SQL Pools e Pipelines);

Experiência com qualidade e reconciliação de dados;

Conhecimento em testes automatizados e controles de Data Quality;

Experiência com Git e CI/CD aplicados à engenharia de dados;

Diferenciais:

Conhecimento em DataStage para leitura de jobs e apoio à engenharia reversa;

Experiência em programas de migração de Data Warehouse para Lakehouse;

Conhecimento em Unity Catalog (permissões, lineage e contratos de dados);

Experiência no mercado financeiro ou de crédito;

Certificações Databricks Data Engineer Associate ou Professional;

Descrição comportamental:

Procuramos uma pessoa que:

Goste de trabalhar em equipe e seja colaborativa em suas atribuições;

Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;

Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;

Tenha habilidades de resolução de problemas;

Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;

Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#LetsGoBeyond

#ProudToBeGFT

.buttontext616d4705bd22aece a{ border: 1px solid transparent; } .buttontext616d4705bd22aece a:focus{ border: 1px dashed #972875 !important; outline: none !important; } Com mais de 35 anos de mercado e localizada em 16 países, a GFT emprega mais de 12.000 pessoas ao redor do mundo sendo 4.000 pessoas no Brasil. Aqui, a diversidade, a igualdade e a inclusão estão no centro e garantir um ambiente de trabalho seguro para todas as pessoas faz parte de quem somos. Promovemos uma cultura de desenvolvimento e crescimento pautada no nosso pilar de Continuous Scaled Learning porque acreditamos que o uso inteligente da tecnologia é a chave para o sucesso nesse mundo digital. .buttontext51d9fe5a33d0d42c a{ border: 1px solid transparent; } .buttontext51d9fe5a33d0d42c a:focus{ border: 1px dashed #972875 !important; outline: none !important; } O que oferecemos Cartão multi-benefícios – você escolhe como e onde utilizar. Bolsas de Estudos para cursos de Graduação, Pós, MBA e Idiomas. Programas de incentivo à Certificações. Horário de trabalho flexível. Salários competitivos. Avaliação de desempenho anual com plano de carreira estruturado. Possibilidade de carreira internacional. Wellhub e TotalPass. Previdência Privada. Auxílio-Creche. Assistência Médica. Assistência Odontológica. Seguro de Vida. #VemPraGFT .jobColumnTwo .displayDTM h2 { margin-top: 0px !important; } .jobColumnTwo .displayDT ul{ padding-inline-start: 20px !important; list-style-position: outside !important; } .buttontextb636f3111304c10b a{ border: 1px solid transparent; } .buttontextb636f3111304c10b a:focus{ border: 1px dashed #972875 !important; outline: none !important; }