Empresa: Seekerh
Buscamos Engenheiro de dados SR para nosso cliente, uma consultoria de tecnologia, atuante no segmento de dados, conectando plataformas, dados e IA para acelerar a transformação digital de empresas líderes. a empresa possui um ecossistema completo de soluções em dados Da arquitetura de integração à inteligência artificial — engenharia de ponta a ponta, com segurança e escala. Esse profissional irá atuar em um dos grandes clientes da consultoria. Requisitos: Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços da AWS; Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT); Implementar e otimizar soluções utilizando serviços como AWS Glue, S3, Lambda, Athena, Redshift, EMR, Step Functions e EventBridge; Projetar, implementar e sustentar Data Lakes e arquiteturas modernas de dados em ambiente AWS; Desenvolver soluções utilizando Python e SQL com foco em performance, escalabilidade e qualidade dos dados; Trabalhar com grandes volumes de dados estruturados e não estruturados; Garantir a qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline; Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance; Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas; Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados; Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma; Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados. Requisitos mínimos Experiência sólida como Engenheiro(a) de Dados em ambientes AWS; Domínio dos principais serviços AWS utilizados em arquiteturas de dados, como S3, Glue, Athena, Redshift, Lambda, EMR e IAM; Experiência sólida no desenvolvimento de pipelines de dados utilizando ETL/ELT; Experiência com Apache Spark/PySpark e Delta Lake; Conhecimento avançado em Python e SQL; Experiência com modelagem de dados para ambientes analíticos e Data Lakes; Conhecimento em Infraestrutura como Código (IaC), utilizando AWS CloudFormation ou Terraform; Experiência com controle de versão utilizando Git e práticas de CI/CD; Conhecimento em particionamento, otimização de consultas e processamento distribuído; Experiência com monitoramento, observabilidade e troubleshooting de pipelines de dados; Conhecimento em arquitetura de dados em cloud e boas práticas de segurança e governança de dados; Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos. Diferenciais Experiência com Databricks em ambiente AWS; Conhecimento em Apache Airflow ou outras ferramentas de orquestração de workflows; Experiência com arquiteturas orientadas a eventos (Event-Driven Architecture); Conhecimento em Apache Iceberg ou Apache Hudi; Experiência com Docker e Kubernetes; Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps; Experiência em ambientes corporativos de grande porte e projetos de missão crítica; Certificações AWS voltadas para Data Engineer, Data Analytics ou Solutions Architect.