Empresa: BIP Brasil
Buscamos uma Pessoa Engenheira de Dados Sênior para desenvolver soluções de integração e processamento de dados, com foco em qualidade, desempenho e confiabilidade. Seu desafio será transformar dados de diferentes origens em informações consistentes, rastreáveis e prontas para consumo por aplicações e áreas de negócio. A atuação envolve a construção de pipelines, a organização de camadas de dados e a implementação de regras de transformação e validação. Você trabalhará em parceria com arquitetura, desenvolvimento, qualidade e áreas de negócio, com participação direta na implementação, nas revisões técnicas e na evolução da solução. - Desenvolver e evoluir pipelines de ingestão, transformação e disponibilização de dados, seguindo boas práticas de engenharia. - Implementar modelos e transformações com SQL e Python, além de fluxos de orquestração com controle de dependências e tratamento de falhas. - Preservar os dados recebidos e sua origem, garantindo rastreabilidade, controle de versões e possibilidade de reprocessamento. - Implementar validações estruturais e de negócio, deduplicação e reconciliação, registrando inconsistências de forma compreensível para as áreas responsáveis. - Traduzir regras de negócio em transformações e cálculos reproduzíveis, com atenção à precisão e à documentação dos resultados. - Disponibilizar dados e arquivos para sistemas consumidores, respeitando contratos versionados, integridade e compatibilidade entre aplicações. - Construir rotinas idempotentes e mecanismos de recuperação, evitando duplicidade ou perda de dados em reexecuções e falhas de publicação. - Otimizar consultas, particionamento e processamento distribuído, acompanhando desempenho, consumo de recursos e custo das execuções. - Criar testes automatizados de dados e de contrato, monitorar pipelines e investigar falhas junto aos times envolvidos. - Documentar regras e contratos, participar de revisões de código e apoiar o desenvolvimento técnico do time. Requisitos: Formação: Superior completo: todos os cursos são bem vindos! Conhecimento necessários: - Experiência sólida em engenharia de dados, com atuação prática na construção e sustentação de pipelines em produção no databricks - Domínio de SQL e experiência com Python para tratamento e integração de dados. - Experiência com processamento distribuído, organização de camadas de dados e armazenamento de grandes volumes de informação. - Experiência com ferramentas de transformação e orquestração de dados, incluindo testes, documentação, dependências e tratamento de falhas. - Vivência com armazenamento em nuvem e boas práticas de organização, acesso e publicação de dados. - Conhecimento de modelagem de dados, cargas incrementais, evolução de schemas, qualidade e reconciliação de dados. - Capacidade de projetar processamentos rastreáveis e reexecutáveis, com controle de identidade, versão e integridade do conteúdo. - Prática com Git, revisão de código, testes automatizados e integração e entrega contínuas. - Autonomia para investigar problemas e propor melhorias, com comunicação clara para discutir regras e resultados com pessoas de tecnologia e negócio.