Profissional Especialista em Engenharia de Dados

A primeira coisa que você precisa saber é que aqui você não vai cair na rotina. A Radix desenvolve soluções para empresas de diferentes setores e indústrias. Cada projeto tem suas tecnologias, soluções e prazos, e você terá a oportunidade de atuar em diferentes desafios de engenharia, dados, analytics e transformação digital.

Além da nossa atuação pelo Brasil, com escritórios no Rio de Janeiro, São Paulo e Belo Horizonte, também temos filiais nos Estados Unidos, consolidando a Radix cada vez mais como uma empresa global.

Quer fazer parte dessa história e transformar ideias e sonhos em realidade?

Sobre a vaga

Estamos em busca de um(a) Especialista em Engenharia de Dados com forte experiência em Databricks, para atuar no desenho, implementação, otimização e sustentação de soluções modernas de dados baseadas na arquitetura Lakehouse.

Essa pessoa será responsável por construir pipelines escaláveis, confiáveis e performáticos utilizando a plataforma Databricks, com foco em ingestão, transformação, qualidade, governança, modelagem e disponibilização de dados para consumo analítico, BI, integrações corporativas e iniciativas avançadas de dados.

O(a) candidato(a) ideal possui experiência sólida em Databricks, Apache Spark, PySpark, SQL, Delta Lake, Unity Catalog, Workflows, Delta Live Tables, modelagem de dados, integração via APIs e práticas modernas de Data Quality, além de capacidade para atuar próximo a times técnicos e áreas de negócio.

Principais responsabilidades:

Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Databricks, Apache Spark, PySpark, SQL e Delta Lake.

Implementar arquiteturas de dados baseadas em camadas Bronze, Silver e Gold, garantindo organização, rastreabilidade, qualidade e governança dos dados.

Desenvolver processos de ingestão, transformação, validação e disponibilização de dados utilizando recursos nativos da plataforma Databricks, como notebooks, jobs, workflows, Delta Live Tables, Auto Loader e Databricks SQL.

Projetar e implementar frameworks de Data Quality nas camadas de ingestão, transformação e consumo de dados.

Desenvolver regras automatizadas de qualidade de dados, validações e processos de monitoramento para garantir precisão, completude, consistência, unicidade, atualidade e integridade dos dados.

Implementar processos de profiling, limpeza, padronização, enriquecimento, reconciliação e tratamento de exceções de dados.

Definir, implementar e monitorar métricas de qualidade de dados, KPIs, scorecards e dashboards.

Desenvolver processos automatizados de validação para dados estruturados e semiestruturados, incluindo dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos.

Projetar modelos de dados canônicos e modelos analíticos que consolidem informações provenientes de múltiplos sistemas de origem.

Criar e manter mapeamentos de origem para destino, lógica de transformação, regras de negócio e processos de harmonização de dados.

Projetar modelos dimensionais, incluindo esquemas estrela, para suportar cargas de trabalho analíticas, relatórios e soluções de BI.

Implementar estratégias de carga incremental, CDC, reconciliação de dados e validação ponta a ponta.

Atuar com Unity Catalog, governança, linhagem, metadados, catálogos, schemas, permissões e segurança baseada em papéis.

Otimizar workloads em Databricks, incluindo notebooks, jobs, queries SQL, clusters, uso de recursos computacionais, particionamento, Z-Ordering, tuning de Spark e boas práticas de performance.

Investigar, diagnosticar e resolver problemas de qualidade, performance, disponibilidade e integridade dos dados, identificando causas-raiz e implementando soluções preventivas.

Apoiar decisões de arquitetura relacionadas ao uso de Databricks, Delta Lake, Lakehouse, governança, integração, automação e observabilidade.

Colaborar com arquitetos de dados, engenheiros de dados, analistas, engenheiros de software e stakeholders de negócio para entregar soluções confiáveis, escaláveis e de alta qualidade.

Dar suporte a práticas de engenharia moderna, incluindo versionamento com Git, CI/CD, automação de deploy, revisão de código e documentação técnica.

Qualificações obrigatórias:

Inglês fluente para conversação.

Graduação em Ciência da Computação, Sistemas de Informação, Engenharia ou área correlata, ou experiência prática equivalente.

Ampla experiência como Engenheiro(a) de Dados, Especialista de Dados, Arquiteto(a) de Dados ou função semelhante.

Experiência prática e avançada com Databricks em projetos corporativos de engenharia de dados.

Sólido conhecimento em Apache Spark, PySpark e Spark SQL.

Conhecimento avançado em SQL, incluindo consultas complexas, transformações, otimização e ajuste de desempenho.

Experiência com Delta Lake, incluindo tabelas Delta, versionamento, otimização, particionamento e boas práticas de armazenamento.

Experiência no projeto e implementação das camadas Raw/Bronze, Curated/Silver e Business/Gold.

Experiência com orquestração de pipelines e workloads no Databricks, incluindo jobs, workflows e automações.

Experiência na implementação de frameworks, metodologias e boas práticas de Qualidade de Dados em ambientes corporativos.

Experiência no desenvolvimento e implementação de regras de qualidade de dados, frameworks de validação, processos de reconciliação e tratamento de exceções.

Forte compreensão de profiling de dados, limpeza, padronização, enriquecimento e correspondência de dados.

Experiência prática na integração e validação de dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos.

Sólido conhecimento de modelagem de bancos de dados relacionais, normalização e princípios de integridade de dados.

Experiência no projeto de modelos de dados canônicos que consolidem informações de múltiplos sistemas de origem.

Experiência com mapeamento de dados de origem para destino, transformações, harmonização e documentação de regras de negócio.

Forte conhecimento em modelagem dimensional, esquemas estrela e conceitos de Data Warehouse corporativo.

Experiência na implementação de cargas incrementais, CDC, processos de reconciliação e validações automatizadas de qualidade de dados.

Familiaridade com governança de dados, gerenciamento de metadados, linhagem de dados, master data, reference data e segurança baseada em papéis.

Experiência com Unity Catalog ou conceitos equivalentes de governança, catálogo, controle de acesso e linhagem de dados.

Proficiência em Git, práticas de CI/CD e automação de deploy para soluções de engenharia de dados.

Capacidade de atuar com autonomia, visão crítica, comunicação clara e colaboração com times técnicos e de negócio.

É um diferencial se você tiver:

Certificação ou acreditação Databricks relacionada à arquitetura, como Databricks Platform Architect Accreditation/Badge, preferencialmente em Azure ou AWS.

Certificação Databricks Certified Data Engineer Professional ou equivalente.

Experiência com arquitetura Lakehouse em ambientes corporativos de grande escala.

Experiência com Delta Live Tables, Auto Loader, Databricks Asset Bundles, Databricks CLI ou automação de deploy em Databricks.

Experiência com cloud platforms, especialmente Azure, AWS ou GCP.

Experiência com ferramentas de observabilidade, monitoramento e alertas para pipelines de dados.

Experiência com Databricks SQL, dashboards, SQL Warehouses e integração com ferramentas de BI.

Conhecimento em FinOps aplicado a Databricks, otimização de clusters, serverless, jobs e workloads.

Mestrado ou Doutorado em Ciência de Dados, Inteligência Artificial, Engenharia, Computação ou disciplinas que exijam alta capacidade analítica.

Benefícios:

Assistência Médica Nacional (para o titular e dependentes, com quarto privativo)

Assistência odontológica nacional (para o titular e dependentes)

Vale refeição / alimentação flexível

Auxílio home office

Day off (no mês do aniversário)

Wellhub (antigo Gympass)

Licença Maternidade (6 meses) e Paternidade (20 dias) estendidas

Auxílio creche para filhos de até 3 anos (por filho)

Apoio em saúde mental com a Wellz

Clube de Vantagens com descontos em diversos parceiros

Convênio com instituições de ensino e cursos de idioma

Desenvolvimento Profissional (Universidade Corporativa)

Parceria com empresa de coworkings no Brasil

Programa de Qualidade de Vida e Bem-Estar

Médico consultor para acompanhamento de radixers

Planos de incentivos

A Radix está sempre no topo das Melhores Empresas para se trabalhar porque:

Temos profissionais comprometidos, dedicados, curiosos e inovadores.

O espírito de equipe é a nossa maior força. Trabalhamos de forma cooperativa e sabemos que estamos juntos, remando na mesma direção.

Temos um ambiente diverso, que valoriza equidade e inclusão.

Nossa jornada de trabalho é flexível e em quase todos os projetos é possível trabalhar de qualquer lugar do Brasil.

Valorizamos o bem-estar e o cuidado com as nossas pessoas, com programas de apoio à saúde mental, psiquiatra e médico consultor disponíveis.

Curtiu?

#VemPraRadix

Código: bb82