Data Engineer (Databricks) | PL (Remote)

.

Responsabilidades e atribuições

Colaborar com as equipes de engenharia de dados para entender os requisitos e fornecer soluções eficientes;

Atuar no desenvolvimento e sustentação das tecnologias Azure, Databricks (PysPark), Python, Data Lake e SQL;

Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;

Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;

Atuar com a disponibilidade, estabilidade e evolução contínua dos sistemas do cliente assegurando alta performance;

Atuar com a parte de segurança e conformidade dos requisitos de negócio, por meio de uma gestão proativa, automação de processos e melhoria contínua dos serviços de sustentação;

Trabalhar com a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;

Manter documentação técnica abrangente para os processos e soluções implementadas;

Apoio com ações corretivas, suportando as entregas em produção, acompanhando CHGs;

Requisitos e qualificações

Experiência com Databricks, PySpark e Python: conhecimento fundamental nessas tecnologias;

Conhecimento básico em SQL (Regex);

Desenvolvimento com conhecimento em modelagem de dados SQL e básico de computação distribuída;

Disponibilidade para atuar no regime de sobreaviso após o horário comercial e finais de semana;

Conhecimento sobre manipulação de texto em programação e análise de dados, principalmente Regex;

Experiência com Data Lake;

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.