Engenheiro de dados Sênior Databricks

Empresa: Asuris

Sobre a vaga Engenheiro(a) de Dados Buscamos um(a) Engenheiro(a) de Dados para atuar em projetos de migração e engenharia de dados em ambiente Azure de grande porte, com foco em Databricks, Unity Catalog e pipelines de dados, garantindo integridade, desempenho e governança dos dados em ambientes de missão crítica. Responsabilidades: • Realizar migração de estruturas e dados no Azure Databricks (notebooks, clusters, catálogos). • Trabalhar com Unity Catalog: schemas, tabelas, external locations e governança de dados. • Otimizar processos de ingestão e transferência de grandes volumes de dados (ADLS Gen2, AzCopy, Delta/Parquet). • Tratar parametrizações de notebooks (widgets), bibliotecas e dimensionamento de clusters. • Automatizar rotinas via Python / PySpark / SQL. • Apoiar validações, homologações e troubleshooting junto a times técnicos e fabricante. Requisitos: Experiência sólida com Azure Databricks e PySpark/Python. Conhecimento em Azure Data Lake Storage Gen2, ACLs e AzCopy. Domínio de SQL e engenharia de dados. Vivência com Unity Catalog e governança de dados. Perfil analítico, autônomo e com boa comunicação técnica.

Ver todas as vagas