Empresa: Compass
. • Atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados utilizando o ecossistema Databricks; • Definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold); • Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake; • Implementar soluções de ingestão, processamento e integração de dados, incluindo CDC e Structured Streaming; • Atuar na orquestração de pipelines e integração de sistemas por meio do Azure Data Factory (ADF); • Desenvolver APIs REST, microsserviços e automações utilizando Python; • Garantir a governança, segurança, linhagem e controle de acesso aos dados; • Realizar otimizações de performance, escalabilidade e custos de processamento; • Atuar na observabilidade, monitoramento e sustentação de pipelines em produção; • Ser referência técnica para o time, orientando profissionais e estabelecendo boas práticas de Engenharia de Dados. Requisitos: • Experiência sólida e avançada em projetos produtivos com Databricks; • Domínio de PySpark, Spark SQL, Delta Lake e Apache Spark; • Experiência com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming; • Experiência com Liquid Clustering, Auto Loader e otimização de tabelas Delta; • Conhecimento avançado em Unity Catalog, governança, segurança, linhagem e controle de acesso; • Experiência na definição de arquiteturas de dados, modelo Lakehouse e arquitetura Medallion; • Experiência com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados; • Domínio de Python para desenvolvimento de APIs REST, microsserviços e automações; • Experiência com Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução; • Conhecimento em Databricks Workflows, CI/CD, Git e Declarative Automation Bundles; • Experiência com otimização de workloads, dimensionamento de recursos computacionais e redução de custos; • Vivência com observabilidade, monitoramento e sustentação de pipelines em produção; • Autonomia na resolução de problemas técnicos complexos e capacidade de tomada de decisão arquitetural; • Experiência como referência técnica, apoiando e orientando outros profissionais. Certificações: O brigatória: Databricks Certified Data Engineer Associate. Fortemente desejável: Databricks Certified Data Engineer Professional. Diferencial: Databricks Certified Associate Developer for Apache Spark. • Desejável: certificações AWS, Azure ou GCP relacionadas à Engenharia de Dados e Arquitetura de Soluções.