Empresa: Wecogno
Principais Responsabilidades: • Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks ; • Identificar e implementar melhores práticas para cargas de grande volume de dados , garantindo performance e disponibilidade das informações; • Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas; • Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes, garantindo qualidade e governança; • Desenhar e implementar arquiteturas de Data Lakehouse , aplicando o conceito Medalhão (Bronze, Silver, Gold); • Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema, Snowflake); • Explorar boas práticas em ambientes de Big Data , especialmente no contexto Databricks e Delta Lake ; • Uso de formatos abertos como Delta Lake, Iceberg, Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas; • Garantir a governança de dados, incluindo controle de acessos e versionamento. Requisitos: Buscamos alguém com: Experiência sólida em Databricks e arquitetura Delta Lakehouse ; Forte conhecimento em SQL e otimização de queries para processamento distribuído; Experiência com ETL/ELT e arquitetura de dados escalável; Conhecimento de pipelines de dados incrementais (UPSERTS, MERGE, CDC); Experiência em modelagem de dados analítica (Star-Schema, Snowflake); Experiência com cargas em Databricks , incluindo refatoração de pipelines e tuning de performance; Diferenciais: Familiaridade com Unity Catalog para governança e controle de acesso em Databricks; Conhecimento em Data Warehouses modernos (Databricks, Snowflake, BigQuery, Redshift); Vivência em arquiteturas na AWS, com domínio de serviços como S3, IAM, Glue e EMR; Experiência em provisionar e configurar clusters Databricks do zero, incluindo aspectos de infraestrutura, rede, permissões e integração com catálogos de dados.