Engenheiro de Dados

Empresa: Avanade

Responsabilidades: • Projetar, construir e manter pipelines de dados (batch e/ou streaming) com Python/PySpark e SQL . • Desenvolver e orquestrar ETLs/ELTs robustos e observáveis, com logs, métricas e alertas. • Modelar dados em camadas transacionais (OLTP) e analíticas/multidimensionais (OLAP) para consumo por BI, Analytics e IA. • Garantir qualidade, versionamento e reprodutibilidade de código e artefatos com GitHub (branches, PRs, code review). • Implementar testes (unitários, de integração e de dados) e planejar estratégias de testes ponta a ponta. • Aplicar boas práticas de arquitetura de software (modularidade, segurança, desempenho, custo). • Colaborar com analistas, cientistas(as) de dados e times de produto para traduzir requisitos de negócio em soluções escaláveis. • Documentar dados, processos e decisões arquiteturais, promovendo conhecimento compartilhado. • Apoiar a melhoria contínua: automação, padronização e performance dos ambientes de dados. • . • Habilidades e experiências • Proficiência em Python e PySpark para manipulação, transformação e processamento distribuído de dados. • Sólidos conhecimentos de SQL (modelagem, tuning, CTEs, janelas, partições). • Modelagem de dados transacional (OLTP) e multidimensional (OLAP) . • Experiência com desenvolvimento de ETL/ELT e orquestração (ex.: Airflow, Databricks Jobs, ou similar). • Conhecimento em arquitetura de software aplicada a dados (design patterns, segurança, escalabilidade e custo). • Prática com GitHub (GitFlow, PRs, versionamento semântico, Actions básico). • Desenvolvimento e planejamento de testes , incluindo testes de dados (ex.: data quality, schema validation). • Desejáveis: • Esteiras de CI/CD para dados (ex.: GitHub Actions, Azure DevOps, testes automatizados, deploy de jobs/notebooks). • Bancos de dados não estruturados (ex.: Data Lake, NoSQL, documentos, colunar, grafo). • Vivência em plataformas de nuvem (preferencialmente Azure : Data Lake Storage, Databricks, Synapse, Fabric, Key Vault). • Exposição a governança/segurança de dados (linhagem, catálogo, RBAC/ABAC). • Diferencias: • Microsoft Azure: DP-203 (Data Engineering on Microsoft Azure) , AZ-900 , DP-900 ou correlatas. • Databricks: Lakehouse Fundamentals ou Data Engineer Associate/Professional . • Inglês: intermediário a avançado • . Sobre a empresa: Na Avanade, você vai transformar dados em decisões que movem nossos clientes. Esta posição é essencial para projetar, construir e evoluir plataformas de dados que habilitam analytics, IA e produtos digitais em escala. Seu trabalho impulsionará a inovação e a transformação digital, conectando dados de múltiplas fontes a soluções seguras, confiáveis e orientadas a valor. Se você busca impacto real, aprendizado contínuo e colaboração com pessoas diversas e talentosas, este é o seu lugar. Aqui, suas ideias viram entregas que fazem diferença para empresas e para a sociedade. Together we do what matters. Saiba mais sobre alguns de nossos benefícios: • Vale refeição ou alimentação • Cartão Multibenefícios (até Consultor(a) Sênior) • Convênio médico e odontológico • Certificações e treinamentos • Seguro de vida • Previdência privada • Avababy: acompanhamento da gestação e kit para novos pais e mães • Participação nos resultados da empresa • Wellhub • Auxílio creche • Mentoria de carreira • Política de Birthday Off (para você e filhos até 12 anos) • Sessões de bem-estar • Para cargos gerenciais: veículo corporativo, estacionamento e auxílio combustível

Ver todas as vagas