Empresa: FCamara
Buscamos um(a) Engenheiro(a) de Dados para atuar em projetos estratégicos de negócios, tecnologia e dados de cliente do setor bancário, contribuindo para a construção, evolução e sustentação de soluções de integração, processamento e disponibilização de dados. O profissional será responsável por desenvolver pipelines de dados eficientes, escaláveis e seguros, garantindo a qualidade, integridade e disponibilidade das informações utilizadas pelas diferentes áreas de negócio. Além do conhecimento técnico, buscamos um profissional com perfil consultivo, boa comunicação e capacidade de interagir diretamente com stakeholders das áreas de negócio , compreendendo suas necessidades e traduzindo-as em soluções tecnológicas. A atuação ocorrerá em um ambiente dinâmico, com grande volume de informações, arquitetura distribuída e utilização de tecnologias modernas, especialmente no ecossistema AWS. • Projetar, desenvolver, implementar e manter pipelines de dados para extração, transformação, integração e disponibilização de informações. • Desenvolver processos de ETL/ELT, garantindo eficiência, escalabilidade, rastreabilidade e qualidade dos dados. • Atuar na integração de diferentes fontes de dados, incluindo bancos relacionais, APIs, arquivos estruturados e semiestruturados. • Desenvolver scripts e aplicações utilizando Python e SQL , com foco em extração, tratamento, transformação e manipulação de dados. • Construir e otimizar soluções de processamento de dados em ambientes cloud, preferencialmente AWS. • Participar da definição e evolução de arquiteturas de dados, considerando Data Lakes, Data Warehouses e soluções analíticas. • Implementar mecanismos de monitoramento, observabilidade e tratamento de falhas nos pipelines. • Aplicar boas práticas de segurança, governança, qualidade e proteção de dados, considerando os requisitos do ambiente financeiro. • Identificar oportunidades de automação e melhoria contínua nos processos de engenharia de dados. • Realizar levantamento e análise de requisitos diretamente com áreas de negócio, compreendendo processos, necessidades e objetivos. • Traduzir requisitos funcionais e necessidades de negócio em especificações técnicas e soluções de dados. • Interagir com equipes de desenvolvimento, arquitetura, infraestrutura, segurança e analytics. • Documentar soluções, fluxos de dados, regras de transformação e integrações desenvolvidas. • Apoiar análises técnicas e funcionais para identificação de inconsistências e oportunidades de melhoria nos dados. • Requisitos: • Experiência sólida em desenvolvimento utilizando Python para processamento, manipulação e integração de dados. • Conhecimento avançado em SQL, incluindo consultas complexas, joins, procedures e otimização de queries. • Experiência com bibliotecas Python para tratamento e processamento de dados, como Pandas e PySpark. • Experiência com integração de dados por meio de APIs REST, arquivos JSON, CSV e formatos como Parquet. • Experiência na construção e manutenção de pipelines ETL/ELT. • Conhecimento em modelagem de dados relacional e dimensional. • Experiência com bancos de dados relacionais e soluções de armazenamento analítico. • Conhecimento de arquiteturas Data Lake e Data Warehouse. • Experiência com processamento de grandes volumes de dados. • Conhecimento em mecanismos de orquestração e agendamento de pipelines. • Familiaridade com conceitos de qualidade, catalogação, linhagem e governança de dados. • Experiência no levantamento de requisitos funcionais e técnicos junto a usuários e áreas de negócio. • Capacidade de compreender processos de negócio e identificar necessidades relacionadas ao consumo e tratamento de dados. • Habilidade para transformar demandas de negócio em soluções técnicas estruturadas. • Experiência na documentação de requisitos, regras de negócio e fluxos de integração. • Capacidade de conduzir reuniões técnicas e funcionais com diferentes stakeholders. Diferenciais técnicos • Apache Airflow para orquestração de pipelines. • PySpark para processamento distribuído e manipulação de grandes volumes de dados. • Python aplicado a engenharia e ciência de dados. • Pandas e Numpy para manipulação e análise de dados. • SQL avançado para consultas, modelagem e otimização. • Experiência com AWS Cloud , incluindo: • AWS Glue (ETL/ELT) • Amazon Redshift (data warehouse) • Consultas em dados armazenados no Amazon S3 • Experiência com modelagem dimensional (fatos, dimensões, modelo estrela). • Vivência com pipelines de dados e boas práticas de governança. Desejáveis • Experiência no setor financeiro • Familiaridade com ferramentas de visualização (Power BI, Tableau, Looker). • Conhecimento de versionamento (Git) e boas práticas de desenvolvimento. • Noções de qualidade e catalogação de dados (Data Quality, Data Catalog).