Empresa: GFT Technologies
O que buscamos: Buscamos um(a) Engenheiro(a) de Dados Sênior com forte atuação em ambientes produtivos, responsável por projetar, construir e sustentar plataformas de dados escaláveis em AWS. Procuramos profissionais com sólida experiência em arquitetura orientada a eventos, processamento em tempo real com Kafka, Data Lake/Lakehouse, pipelines de dados e plataformas analíticas, combinando visão arquitetural com atuação hands-on na implementação, monitoramento e evolução de soluções de dados. As prioridades de triagem incluem Engenharia de Dados em produção, AWS para dados, Kafka avançado e Redshift. Responsabilidades: • Atuar na concepção, desenvolvimento e evolução de soluções de Engenharia de Dados em ambientes produtivos; • Projetar e sustentar arquiteturas orientadas a eventos utilizando Kafka e serviços do ecossistema AWS; • Desenvolver pipelines de ingestão, transformação e disponibilização de dados para consumo analítico e operacional; • Implementar e manter processos de processamento distribuído utilizando Spark e formatos colunares como Parquet; • Estruturar e evoluir ambientes Data Lake e Lakehouse em AWS; • Desenvolver soluções em Python aplicadas à Engenharia de Dados; • Construir e sustentar workflows de orquestração utilizando Apache Airflow; • Implementar integrações com bancos de dados, APIs, sistemas corporativos e plataformas de streaming; • Atuar no monitoramento, troubleshooting e sustentação de pipelines em produção; • Realizar otimizações de desempenho, confiabilidade e custo das plataformas de dados; • Garantir qualidade, rastreabilidade, governança e Observabilidade dos dados; • Colaborar com times multidisciplinares na definição de padrões arquiteturais e boas práticas de desenvolvimento; • Atuar como referência técnica para discussões de arquitetura, revisões de código e evolução de soluções. Requisitos Obrigatórios: • Experiência sólida em Engenharia de Dados com atuação em ambientes produtivos; • Experiência prática com AWS aplicada a dados, incluindo S3, Lambda, EKS e serviços relacionados como Glue, Redshift e Athena; • Experiência avançada com Apache Kafka, incluindo Producers, Consumers, estratégias de Retry, DLQ e arquitetura orientada a eventos; • Experiência com Python aplicado à Engenharia de Dados; • Vivência com Apache Spark, processamento distribuído e manipulação de arquivos Parquet; • Experiência com Data Lake ou Lakehouse em ambientes AWS; • Experiência com monitoramento, troubleshooting e sustentação de pipelines em produção; • Conhecimento avançado de SQL, incluindo CTEs, Window Functions e otimização de consultas; • Experiência com Apache Airflow em ambientes produtivos; • Experiência com dbt ou ferramentas equivalentes de transformação de dados; • Experiência com Git e práticas de CI/CD; • Conhecimento em governança de dados, qualidade, rastreabilidade e Observabilidade. Requisitos Diferenciais: • Experiência com modelagem dimensional (Kimball); • Vivência em ambientes regulados e aderência a práticas de segurança da informação e LGPD; • Experiência no mercado financeiro ou em ambientes de missão crítica; • Vivência com dados regulatórios e requisitos de órgãos reguladores; • Conhecimento em Infrastructure as Code utilizando Terraform; • Conhecimento em Apache Iceberg ou Delta Lake; • Experiência com Debezium, Kinesis ou outras soluções de streaming e CDC; • Vivência com ferramentas de catálogo, governança e qualidade de dados; • Experiência em projetos de migração de plataformas com validação de paridade de dados. • Descrição comportamental: • Procuramos uma pessoa que: • Goste de trabalhar em equipe e seja colaborativa em suas atribuições; • Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; • Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; • Tenha habilidades de resolução de problemas; • Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; • Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. • Big enough to deliver – small enough to care. • #VempraGFT • #VamosVoarJuntos • #ProudToBeGFT