Empresa: Banco Pine
Descrição da vaga: Buscamos uma pessoa para atuar na construção, sustentação e evolução da nossa plataforma de dados, garantindo dados disponíveis, confiáveis, seguros e performáticos para apoiar a tomada de decisão e a geração de valor para o negócio. No dia a dia, terá atuação no desenvolvimento e monitoramento de pipelines de dados end-to-end, novas ingestões, qualidade de dados e otimização de performance e custos da plataforma. A posição terá contato com um ambiente moderno de dados e tecnologias como Snowflake, DBT, Airflow (Composer), Spark (DataProc), Google Cloud Storage, Python, SQL e Azure DevOps, além de interação com diferentes times de tecnologia, dados e negócio. Responsabilidades: • • Desenvolver e implementar pipelines de dados escaláveis e eficientes para ingestão, transformação e disponibilização de dados; • • Sustentar e evoluir os pipelines existentes, garantindo estabilidade, confiabilidade e disponibilidade dos dados; • • Implementar novas ingestões e integrar diferentes fontes de dados à plataforma; • • Monitorar pipelines de dados, identificando falhas, gargalos e inconsistências e atuando de forma proativa na resolução de incidentes; • • Otimizar a performance de pipelines, consultas e demais componentes da arquitetura de dados; • • Monitorar e otimizar o consumo de recursos da plataforma, buscando equilíbrio entre performance, qualidade e custos; • • Implementar validações, testes e controles para garantir a qualidade, integridade e consistência dos dados; • • Utilizar Azure DevOps para versionamento, controle de mudanças e gestão das entregas; • • Criar e manter a documentação técnica de pipelines, fontes de dados, regras de transformação e arquitetura; • • Apoiar as áreas usuárias no acesso, entendimento e utilização dos dados e ferramentas disponíveis; • • Apoiar a gestão de acessos aos dados e ferramentas, garantindo aderência às políticas de segurança e governança; • • Atuar em parceria com times de negócio, Analytics, Ciência de Dados e Engenharia, traduzindo necessidades em soluções de dados escaláveis. Requisitos e qualificações: • • Conhecimento em fundamentos de Engenharia de Dados, incluindo pipelines, ETL/ELT, Data Lakes e Data Warehouses; • • Conhecimento em arquitetura de dados em Cloud, especialmente GCP e Azure; • • Conhecimento em modelagem de dados dimensional, Data Vault e/ou modelagem analítica com DBT; • • Conhecimento em DataOps e práticas de CI/CD para dados; • • Conhecimento em Python aplicado à Engenharia de Dados, incluindo ETL, automações e APIs; • • Conhecimento avançado em SQL;Conhecimento em Git e versionamento de código; • • Conhecimento em Snowflake, incluindo performance tuning e modelagem; • • Conhecimento em DBT para desenvolvimento de modelos, testes e documentação; • • Conhecimento em Airflow para orquestração de pipelines e DAGs;Conhecimento em Spark para processamento distribuído e otimização. Benefícios: • Salário compatível com o mercado; • Participação dos lucros e resultados; • Vale Alimentação - com 13ª e 14ª cestas complementares; • Vale Refeição; • Assistência Médica e Odontológica; • Auxílio Creche; • Seguro de vida; • Total Pass; • Licença Maternidade/Paternidade estendida; • Day Off Aniversário. Sobre a empresa: Sobre a área: A área de Dados é responsável pela construção, sustentação e evolução da plataforma de dados do Banco, garantindo a disponibilidade, confiabilidade, segurança e performance das informações. Atua em parceria com diferentes áreas para transformar dados em soluções que apoiem a tomada de decisão e gerem valor para o negócio.