Empresa: Rox Partner
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento e evolução de soluções de Engenharia de Dados no ecossistema Google Cloud Platform (GCP). A pessoa será responsável por atuar de ponta a ponta no ciclo de dados, desde a ingestão e processamento até a transformação, modelagem e disponibilização das informações para consumo. O desafio envolve construir e manter pipelines de dados confiáveis, desenvolver transformações utilizando BigQuery e Dataform ou dbt, automatizar processos com Python e contribuir para a qualidade, governança e organização dos dados. Além das atividades de engenharia, poderá apoiar as parametrizações iniciais da solução, contribuindo com a gestão de usuários, acessos, documentação operacional e relacionamento com áreas de negócio. Responsabilidades e Atribuições: • Desenvolver e manter pipelines de dados de ponta a ponta, contemplando ingestão, processamento, transformação, modelagem e disponibilização. • Construir consultas e transformações utilizando SQL avançado e BigQuery. • Desenvolver e manter modelos de dados utilizando Dataform ou dbt. • Criar rotinas de ingestão e automação utilizando Python, incluindo implementação de testes automatizados. • Desenvolver e acompanhar fluxos de processamento e orquestração utilizando Apache Airflow, preferencialmente Cloud Composer. • Integrar e utilizar serviços da Google Cloud Platform, incluindo Cloud Storage, Cloud Functions e IAM. • Implementar práticas de qualidade de dados, validação, testes e monitoramento dos processos. • Trabalhar com versionamento de código utilizando Git e fluxos de Pull Requests. • Apoiar a organização e disponibilização dos dados para as camadas de consumo e ferramentas analíticas. • Apoiar, quando necessário, as parametrizações iniciais da solução, incluindo gestão de usuários e acessos. • Documentar procedimentos operacionais e manter runbooks atualizados. • Interagir com áreas de negócio para compreender necessidades e apoiar a evolução das soluções de dados. Requisitos: Experiência em Engenharia de Dados, atuando de ponta a ponta, desde a ingestão até a camada de consumo. Conhecimento avançado de SQL e experiência com BigQuery. Experiência com transformação e modelagem de dados utilizando Dataform ou dbt. Conhecimento de Python aplicado à ingestão de dados e automação de processos. Experiência com desenvolvimento de testes automatizados. Conhecimento de Apache Airflow, preferencialmente utilizando Cloud Composer. Experiência com serviços da Google Cloud Platform, especialmente Cloud Storage, Cloud Functions e IAM. Conhecimento de práticas de qualidade de dados e validação de pipelines. Experiência com versionamento de código utilizando Git e fluxo de Pull Requests. Diferenciais: Experiência com Apache Superset. Conhecimento ou experiência com implementação de Row Level Security (RLS). Experiência com controle de acesso e segregação de dados por cliente. Conhecimento em gestão de usuários e acessos, incluindo SSO e MFA. Disciplina para seguir procedimentos operacionais e manter runbooks atualizados. Boa comunicação e interação com áreas de negócio. Interesse e iniciativa para identificar e automatizar atividades operacionais.