Empresa: GFT Technologies
O que buscamos: Buscamos um(a) profissional com experiência em engenharia de dados para atuar no desenvolvimento e arquitetura de pipelines de dados robustos e escaláveis. O papel envolve colaboração multidisciplinar, gestão de prioridades e a construção de soluções de dados de ponta a ponta, com foco em governança e qualidade. Atuação Modelo Híbrido - Vila Olímpia/SP Responsabilidades: • Projetar, desenvolver e manter pipelines de dados (batch e streaming) robustos, escaláveis e observáveis; • Implementar políticas, processos e ferramentas de governança de dados, garantindo definição de padrões, responsabilização e democratização dos dados; • Atuar na análise e resolução de problemas em pipelines e aplicações de dados (correção de bugs, performance tuning, incidentes); • Construir e evoluir camadas de dados em arquitetura Lakehouse (bronze, silver, gold), garantindo qualidade, consistência e reutilização; • Desenvolver processos de ingestão, transformação e disponibilização de dados utilizando Apache Spark, Python, PySpark e SQL; • Implementar e manter fluxos de ETL/ELT e orquestração de pipelines de dados em plataformas de cloud; • Utilizar e evoluir soluções em Azure Data Factory, Airflow, Databricks e Data Lake, garantindo boa integração entre sistemas de origem e camadas analíticas; • Aplicar boas práticas de modelagem de dados para Data Lakes e camadas analíticas, suportando casos de uso de BI, analytics e ciência de dados; • Colaborar com times multidisciplinares (produto, engenharia, dados, negócio) para entender necessidades e traduzi-las em soluções técnicas; • Lidar com múltiplas prioridades concorrentes, assumindo responsabilidades de ponta a ponta e mantendo boa comunicação com stakeholders; Requisitos e Qualificações: • Experiência prévia como Engenheiro(a) de Dados; • Forte capacidade analítica para investigação, diagnóstico e correção de problemas em pipelines e sistemas de dados; • Experiência em linguagens de programação e ferramentas relevantes, incluindo Python / PySpark e SQL; • Conhecimento sólido em Azure Data Factory, Airflow, Databricks e Data Lake; • Conhecimento sólido em Arquitetura de Dados; • Conhecimento sólido em Git Flow; • Conhecimento sólido em Testes unitários (Unittest, Pytest, etc.) e funcionais; • Conhecimento sólido em Bancos de dados relacionais (SQL Server, Oracle, etc.); • Conhecimento sólido em ETL/ELT e orquestração de pipelines de dados; • Conhecimento sólido em Modelagem de dados para Data Lakes / Lakehouse; • Conhecimento sólido em Camadas do Lakehouse (bronze, silver, gold ou equivalente); • Conhecimento sólido em Integração e consumo de APIs REST para ingestão e disponibilização de dados; • Experiência prática em ambientes de Cloud (Azure); • Experiência com fluxos de ingestão de dados em batch e streaming; • Experiência com ferramentas de streaming de dados, como Kafka; • Habilidade para trabalhar em ambiente dinâmico, com múltiplas demandas simultâneas, assumindo responsabilidades de ponta a ponta; Diferenciais: • Certificações Databricks e Azure; • Experiência com arquitetura orientada a eventos e padrões de streaming; • Vivência com ferramentas de observabilidade de dados (data quality, data lineage, monitoring); • Conhecimento de boas práticas de segurança e privacidade de dados; • Experiência em ambientes de alta criticidade e grande volume de dados; • Vivência em times ágeis (Scrum, Kanban, etc.); • Esteira DevOps CI/CD; • Descrição comportamental: • Procuramos uma pessoa que: • Goste de trabalhar em equipe e seja colaborativa em suas atribuições; • Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; • Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; • Tenha habilidades de resolução de problemas ; • Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo ; • Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. • Big enough to deliver – small enough to care. • #VempraGFT • #LetsGoBeyond • #ProudToBeGFT