Empresa: GFT Technologies
O que buscamos: Buscamos um(a) Engenheiro(a) de Dados com sólida experiência em arquitetura e engenharia de dados em ambientes cloud, capaz de desenvolver e sustentar pipelines escaláveis, confiáveis e observáveis. O profissional atuará na construção e evolução de plataformas de dados utilizando arquitetura Lakehouse, além de contribuir para governança, qualidade, integração e disponibilização de dados para iniciativas analíticas e de negócio. Responsabilidades: • Projetar, desenvolver e manter pipelines de dados batch e streaming com foco em escalabilidade, performance e Observabilidade; • Implementar processos de ingestão, transformação e disponibilização de dados utilizando Python, PySpark, Spark e SQL; • Construir e evoluir camadas de dados em arquitetura Lakehouse (Bronze, Silver e Gold); • Desenvolver e sustentar fluxos de ETL/ELT em ambientes cloud; • Implementar e manter processos de orquestração de pipelines de dados; • Atuar na análise, diagnóstico e resolução de problemas em pipelines e aplicações de dados; • Realizar otimização de performance e correção de incidentes em soluções de dados; • Implementar políticas, processos e ferramentas de governança de dados, promovendo padronização e responsabilização sobre os dados; • Utilizar e evoluir soluções baseadas em Azure Data Factory, Airflow, Databricks e Data Lake; • Desenvolver integrações entre sistemas por meio de APIs REST e outras fontes de dados; • Aplicar boas práticas de modelagem de dados para Data Lakes e ambientes analíticos; • Colaborar com áreas de produto, engenharia, dados e negócio na definição e implementação de soluções técnicas; • Garantir qualidade, consistência, rastreabilidade e reutilização dos ativos de dados; • Atuar de forma proativa na sustentação e evolução da plataforma de dados. Requisitos Obrigatórios: • Experiência prévia como Engenheiro(a) de Dados; • Experiência sólida com Python, PySpark e SQL; • Conhecimento avançado em Azure Data Factory, Airflow, Databricks e Data Lake; • Experiência em arquitetura de dados e construção de soluções analíticas; • Vivência com Git Flow e controle de versionamento; • Conhecimento em testes unitários e funcionais (Unittest, Pytest ou similares); • Experiência com bancos de dados relacionais como SQL Server, Oracle ou equivalentes; • Experiência na implementação e sustentação de processos ETL/ELT; • Conhecimento em modelagem de dados para Data Lakes e arquitetura Lakehouse; • Experiência com camadas Bronze, Silver e Gold ou estruturas equivalentes; • Vivência na integração e consumo de APIs REST; • Experiência prática em ambientes Cloud, com foco em Azure; • Experiência com processamento de dados em batch e streaming; • Conhecimento em ferramentas de streaming de dados, como Kafka; • Capacidade de atuar em ambientes dinâmicos, com múltiplas demandas e gestão de prioridades simultâneas. Requisitos Diferenciais: • Certificações Databricks e/ou Microsoft Azure; • Experiência com arquitetura orientada a eventos e soluções baseadas em streaming; • Conhecimento em segurança e privacidade de dados; • Experiência em ambientes de alta criticidade e grande volume de processamento; • Conhecimento em práticas DevOps e implementação de pipelines CI/CD para projetos de dados; • Vivência com ferramentas de Observabilidade, monitoramento, qualidade e lineage de dados. • Descrição comportamental: • Procuramos uma pessoa que: • Goste de trabalhar em equipe e seja colaborativa em suas atribuições; • Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; • Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; • Tenha habilidades de resolução de problemas; • Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; • Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. • Big enough to deliver – small enough to care. • #VempraGFT • #VamosVoarJuntos • #ProudToBeGFT