Empresa: GFT Technologies
O que buscamos: Buscamos um(a) Engenheiro(a) de Dados Sênior para integrar o time de Lakehouse Platform , atuando na construção de um Enterprise Lakehouse baseado em Databricks , estruturado sob os princípios de Data Mesh . Procuramos um profissional com sólida experiência em plataformas de dados, governança, automação e arquitetura moderna, capaz de contribuir na definição dos padrões, frameworks e fundações tecnológicas que suportarão a estratégia de dados da organização. Responsabilidades: • Colaborar na construção e evolução da plataforma Enterprise Lakehouse baseada em Databricks e Data Mesh; • Implementar e administrar o Unity Catalog como camada central de governança de dados; • Estruturar o compartilhamento de dados entre domínios utilizando Delta Sharing; • Desenvolver padrões de ingestão de dados em batch e streaming para utilização pelos domínios de negócio; • Construir e evoluir a arquitetura medalhão (Bronze, Silver e Gold) para processamento de dados; • Desenvolver frameworks de Data Contracts e Data Quality para a plataforma; • Estruturar e automatizar esteiras de CI/CD para ambientes Databricks; • Implementar automações de infraestrutura utilizando práticas de Infrastructure as Code (IaC); • Integrar a plataforma Databricks ao ecossistema Data Mesh existente na AWS; • Garantir interoperabilidade entre catálogos, serviços e modelos de governança de dados; • Participar de decisões de arquitetura, definição de padrões técnicos e evolução da plataforma; • Produzir documentação técnica e apoiar o desenvolvimento técnico do time; • Contribuir para Observabilidade, monitoramento, performance e governança dos ambientes de dados. Requisitos Obrigatórios: • Experiência sólida com a plataforma Databricks, incluindo administração de WorkSpaces, clusters, Jobs e workflows; • Experiência com Unity Catalog, incluindo governança, modelo de permissões, lineage, external locations e integração com Storage; • Conhecimento avançado em Delta Lake e arquitetura medalhão (Bronze, Silver e Gold); • Experiência na implementação de processos de ingestão de dados em batch e streaming; • Vivência com CI/CD para Databricks, utilizando Databricks Asset Bundles, Repos e ferramentas como GitHub Actions, Azure DevOps ou similares; • Experiência com serviços AWS, incluindo S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge; • Conhecimento em Infrastructure as Code utilizando Terraform, incluindo o Provider Databricks; • Proficiência em Python e PySpark para desenvolvimento de pipelines e automações; • Conhecimento avançado em SQL; • Experiência com Data Contracts e plataformas de metadados, como OpenMetadata; • Experiência com monitoramento e Observabilidade utilizando DataDog; • Conhecimento em arquitetura e governança de dados em ambientes corporativos; • Capacidade de atuar em ambientes colaborativos, conduzindo discussões técnicas e decisões arquiteturais; • Vivência em iniciativas de Data Mesh, incluindo domínios de dados, Data Products e governança federada. Requisitos Diferenciais: • Vivência em iniciativas de Data Mesh, incluindo domínios de dados, Data Products e governança federada; • Experiência no mercado financeiro, crédito ou serviços financeiros; • Conhecimento em observabilidade e monitoramento de plataformas de dados, métricas de jobs e qualidade de dados; • Experiência com práticas de FinOps aplicadas a ambientes Databricks, incluindo monitoramento e otimização de custos; • Experiência com Delta Sharing em cenários cross-company, cross-cloud ou cross-region; • Certificações AWS, como Data Engineer Associate ou Solutions Architect; • Certificações Databricks, como Data Engineer Associate, Data Engineer Professional ou Platform Administrator; • Conhecimento em padrões abertos de contratos de dados, como Open Data Contract Standard (ODCS/ODPS); • Experiência com plataformas modernas de governança, compartilhamento e monetização de dados; • Vivência na construção de plataformas corporativas de dados em larga escala. • Descrição comportamental: • Procuramos uma pessoa que: • Goste de trabalhar em equipe e seja colaborativa em suas atribuições; • Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; • Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; • Tenha habilidades de resolução de problemas; • Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; • Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. • Big enough to deliver – small enough to care. • #VempraGFT • #VamosVoarJuntos • #ProudToBeGFT