Empresa: Compass
. • Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks; • Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos; • Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark; • Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold); • Interpretação de regras de negócio e tradução em processos e soluções de dados; • Participação em projetos de migração e modernização de plataformas de dados; • Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines. Requisitos: • Domínio de PySpark, Apache Spark e SQL; • Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow Declarative Pipelines; • Conhecimento em Lakeflow Connect para ingestão de dados; • Experiência com Jobs, Workflows, orquestração e monitoramento de pipelines; • Vivência com arquitetura Lakehouse e modelo Medallion (Bronze, Silver e Gold); • Experiência com migração de plataformas ou desenvolvimento de projetos em Databricks; • Conhecimento de Git, CI/CD e boas práticas de desenvolvimento e deploy; • Conhecimento de ferramentas e tecnologias como Airflow, Kafka, dbt, AWS Glue e BigQuery; • Experiência com bancos SQL/NoSQL, como PostgreSQL, MongoDB ou Cassandra. • Diferencial: Experiência em projetos contábeis e financeiros, certificação Databricks Certified Data Engineer Associate .