Empresa: Compass
. • Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados; • Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes; • Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código; • Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos; • Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados; • Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento; • Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados; • Manter documentação técnica abrangente para os processos e soluções implementadas. Requisitos: • Experiência no desenvolvimento de soluções de dados utilizando Python; • Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark); • Vivência com processamento, transformação e análise de grandes volumes de dados; • Experiência com manipulação e tratamento de dados utilizando Pandas; • Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree; • Experiência com plataformas de nuvem, especialmente Microsoft Azure; • Conhecimento em práticas de qualidade, integridade e monitoramento de dados; • Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados. Desejáveis: • Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados; • Conhecimento em otimização de performance de pipelines e processamento distribuído; • Familiaridade com documentação técnica de processos, pipelines e soluções de dados.