Empresa: Magazine Luiza
Principais responsabilidades: • • Desenvolver, manter e otimizar pipelines de dados para ingestão, processamento, transformação e disponibilização de informações. • • Desenvolver consultas e scripts SQL avançados para transformação, consolidação e processamento de grandes volumes de dados no Google BigQuery. • • Construir e manter tabelas analíticas, estruturando dados de diferentes fontes para consumo por aplicações e sistemas internos. • • Desenvolver processos automatizados de carga e atualização de dados, incluindo rotinas incrementais, cargas históricas e reprocessamentos. • • Implementar e manter fluxos de processamento e dependências utilizando ferramentas de orquestração, como Apache Airflow. • • Desenvolver scripts em Python para automação de rotinas, integração entre sistemas e processamento de dados. • • Integrar diferentes fontes de dados, garantindo consistência, integridade e padronização das informações. • • Implementar mecanismos de validação, testes e monitoramento para identificar falhas, inconsistências e atrasos no processamento. • • Investigar e corrigir problemas relacionados à execução de pipelines, divergências de dados e falhas de integração. • • Otimizar consultas, estruturas de tabelas e processos de processamento, buscando melhorar desempenho e reduzir custos computacionais. • • Aplicar boas práticas de particionamento, clusterização, versionamento de código e organização dos ativos de dados. • • Desenvolver documentação técnica dos pipelines, tabelas, regras de transformação e dependências entre processos. • • Contribuir para a evolução da arquitetura de dados, identificando oportunidades de automação, padronização e melhoria contínua. • • Garantir a confiabilidade e a disponibilidade dos dados utilizados pelos sistemas e processos da companhia. Requisitos técnicos: • • Experiência sólida em Engenharia de Dados e desenvolvimento de pipelines em ambientes produtivos. • • Domínio de SQL avançado e experiência com Google BigQuery. • • Experiência com Python aplicado à automação e ao processamento de dados. • • Experiência com ferramentas de orquestração, preferencialmente Apache Airflow. • • Conhecimento de modelagem de dados e estruturação de tabelas analíticas. • • Experiência com processos ETL/ELT, cargas incrementais e reprocessamento de dados. • • Conhecimento de otimização de consultas, particionamento, clusterização e controle de custos. • • Experiência com versionamento de código utilizando Git. • • Conhecimento de testes, validação, monitoramento e tratamento de falhas em pipelines. • • Capacidade de investigar problemas técnicos e implementar soluções robustas e escaláveis. Diferenciais: • • Experiência com ambientes de dados em nuvem, especialmente Google Cloud Platform. • • Conhecimento de integração de APIs e ingestão de dados de plataformas externas. • • Experiência com grandes volumes de dados e processamento de eventos. • • Conhecimento de práticas de CI/CD e DataOps. • • Experiência com governança, catálogo e documentação de ativos de dados. • Modelo de Trabalho • Adotamos o modelo híbrido de trabalho • ‘’Se você busca um ambiente de crescimento e desafios, Vem ser feliz !" • Nossos valores nos unem e nossas diferenças nos potencializam como um grupo. Mais do que igualdade, buscamos equidade: Aqui, temos espaço para sermos autênticos, independentemente de gênero, etnia, raça, orientação sexual, clero ou deficiência. Sobre a empresa: Descrição do Cargo •