Empresa: Rox Partner
Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar no desenvolvimento e evolução de soluções de Engenharia de Dados no ecossistema Google Cloud Platform (GCP). A pessoa será responsável por atuar de ponta a ponta no ciclo de dados, desde a ingestão e processamento até a transformação, modelagem e disponibilização das informações para consumo. O desafio envolve construir e manter pipelines de dados confiáveis, desenvolver transformações utilizando BigQuery e Dataform ou dbt, automatizar processos com Python e contribuir para a qualidade, governança e organização dos dados. Além das atividades de engenharia, poderá apoiar as parametrizações iniciais da solução, contribuindo com a gestão de usuários, acessos, documentação operacional e relacionamento com áreas de negócio. Responsabilidades e Atribuições: • Desenvolver, evoluir e sustentar pipelines de dados utilizando serviços e ferramentas do ecossistema Google Cloud Platform. • Construir e otimizar processos de integração, transformação e processamento de dados (ETL/ELT). • Desenvolver e manter jobs de processamento distribuído, trabalhando com grandes volumes de dados. • Implementar e gerenciar fluxos de orquestração de dados, utilizando ferramentas como Apache Airflow e Cloud Workflows. • Desenvolver transformações e modelos de dados, aplicando boas práticas de versionamento, testes e documentação. • Criar scripts e soluções de automação utilizando Python. • Desenvolver consultas complexas e otimizar processos de manipulação de dados utilizando SQL. • Atuar na identificação e resolução de problemas relacionados à performance, qualidade e disponibilidade dos pipelines. • Participar de revisões de código, versionamento e processos de CI/CD. • Colaborar com o time em um ambiente ágil, utilizando metodologias Kanban para acompanhamento das demandas. Requisitos: Experiência sólida como Engenheiro(a) de Dados em projetos de média ou alta complexidade. Experiência prática com Google Cloud Platform (GCP). Domínio de Python para desenvolvimento de soluções e automação de processos. SQL avançado e experiência com modelagem de dados e Data Warehouse. Experiência no desenvolvimento e manutenção de pipelines ETL/ELT. Conhecimento em ferramentas de transformação de dados, como Dataform ou dbt. Experiência com orquestração de pipelines utilizando Apache Airflow e/ou Cloud Workflows. Vivência com processamento distribuído utilizando Apache Spark, Dataproc ou tecnologias equivalentes. Experiência com Git, GitLab, versionamento de código e práticas de CI/CD. Conhecimento em boas práticas de engenharia de software, monitoramento e tratamento de erros. Diferenciais: Conhecimento em Dataflow e Apache Beam. Experiência com arquitetura Lakehouse. Certificações Google Cloud. Vivência com processos de conciliação financeira, contábil ou operacional. Conhecimento em Data Reliability e estratégias de monitoramento da qualidade dos dados. Experiência com grandes volumes de dados. Vivência com Kanbanize.