Empresa: GFT Technologies
O que buscamos: Buscamos um(a) Engenheiro(a) de Dados com experiência em Databricks e Azure para atuar no desenvolvimento, manutenção e otimização de soluções de integração e processamento de dados. Procuramos um perfil hands-on, com forte capacidade analítica e foco em qualidade, performance e confiabilidade dos dados, contribuindo para a evolução contínua das plataformas e pipelines de dados. Responsabilidades: • Desenvolver, manter e otimizar notebooks, pipelines e processos de transformação de dados utilizando Databricks; • Atuar na construção e evolução de processos de ETL, garantindo a integração entre diferentes fontes de dados; • Desenvolver scripts em Python para tratamento, validação e processamento de dados; • Criar, otimizar e manter consultas SQL e rotinas relacionadas a bancos de dados SQL Server; • Construir, monitorar e manter pipelines de dados garantindo disponibilidade e confiabilidade dos processos; • Investigar falhas, realizar troubleshooting e implementar soluções para incidentes e problemas de processamento; • Colaborar na melhoria contínua da qualidade, governança e performance dos dados; • Atuar na implementação de boas práticas de desenvolvimento, versionamento e monitoramento de processos de dados; • Colaborar com equipes multidisciplinares na entrega de soluções orientadas a dados. Requisitos Obrigatórios: • Experiência prática com Databricks no desenvolvimento, manutenção e otimização de notebooks e pipelines; • Conhecimento sólido em Python para manipulação, tratamento e validação de dados; • Experiência com SQL Server, incluindo consultas SQL, Joins, procedures e otimização de queries; • Vivência em processos de ETL (Extração, Transformação e Carga de Dados); • Experiência na construção, manutenção e monitoramento de pipelines de dados; • Capacidade de realizar troubleshooting, investigação de falhas e resolução de problemas; • Conhecimento em Azure Data Factory (ADF) para criação, orquestração e monitoramento de pipelines; • Familiaridade com o ecossistema Microsoft Azure e seus serviços de armazenamento e processamento de dados; • Conhecimento em PySpark, Apache Spark e Delta Lake; • Conhecimento em integração de diferentes fontes e processamento de dados; • Experiência com Git e versionamento de código; • Conhecimento em boas práticas de desenvolvimento para Engenharia de Dados; • Vivência com otimização de performance e qualidade de dados. • Descrição comportamental: • Procuramos uma pessoa que: • Goste de trabalhar em equipe e seja colaborativa em suas atribuições; • Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; • Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; • Tenha habilidades de resolução de problemas; • Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; • Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. • Big enough to deliver – small enough to care. • #VempraGFT • #VamosVoarJuntos • #ProudToBeGFT