Data Engineer SR

Empresa: Dock

Buscamos por talentos inigualáveis para nos ajudar a espalhar o poder financeiro! Nesta função, você irá: • Implementar Extração Reprodutível: Construir pipelines a partir do Databricks (Unity Catalog, Delta), aplicando contratos de dados, particionamento e amostragem determinística . • Construir Históricos Confiáveis: Desenvolver tabelas as-of / point-in-time e snapshots , tratando os dados que só guardam o último valor como risco direto para o treinamento de modelos . • Trabalhar com Sequências em Escala: Tokenizar e empacotar dados de sequência (Parquet por faixa de tamanho, batching dinâmico) e estruturar dataloaders eficientes para processamento em GPU . • Garantir a Qualidade e Monitoramento: Vigiar a saúde dos dados de sequência (esquemas, drift, nulos, duplicidade e identidade das entidades) . • Aplicar Privacidade na Prática: Estruturar pseudonimização, controle de acesso e trilhas de auditoria, alinhados rigorosamente à LGPD e aos requisitos de segurança de pagamentos . • Construir Serving de Features: Estruturar a camada de inferência ( serving ) de features e embeddings com baixa latência, mantendo logs de chamadas para reconstruir exatamente o que o modelo avaliou em cada d ecisão . O que esperamos de você? • 5+ anos de sólida experiência em Engenharia de Dados ou de Machine Learning . • Domínio de Spark/PySpark, Delta Lake e SQL avançado, com vivência prévia no ecossistema Databricks . • Proficiência em Python para produção, incluindo testes e CI voltados a pipelines de dados . • Experiência consolidada lidando com dados transacionais sensíveis e entendimento prático aprofundado sobre vazamento temporal ( data leakage ) e snapshots . • Postura rigorosa e questionadora: versionar o dataset junto com o código, escrever contratos de dados antes do pipeline e, principalmente, perguntar primeiro se "esse dado existia na hora da decisão?" . É desejável que você tenha: • Conhecimento em MLflow, Feature Store, Ray e fluxos de dados em streaming . • Vivência prática com PyTorch DataLoader ou processos de leitura em streaming voltados para treinamento de modelos . • Experiência nos domínios de pagamentos, transações Pix, cartões de crédito ou adquirência . • Noções de infraestrutura como código (Terraform) e modelagem voltada a serving de baixa latência . E quais são os benefícios? • Auxílio alimentação (mercado & restaurante); • Plano de saúde e odontológico; • Hospital digital; • Suporte psicológico para psicoterapia online; • Orientação ergonômica; • Wellhub e TotalPass; • Auxílio mensal para despesas remote first; • Previdência privada após 6 meses de trabalho; • Licença parental estendida; • Auxílio creche; • Auxílio para pais de filhos especiais; • Plataforma de idiomas; • Disponibilidade de coworking no Brasil inteiro. Sobre a empresa: Quem é a Dock? Há mais de 20 anos, cumprimos a missão de democratizar o acesso a serviços financeiros, tornando experiências financeiras mais simples e acessíveis. Somos um time de pessoas obstinadas, que acreditam na tecnologia e nos serviços como os principais facilitadores para a evolução de nossos clientes e a transformação do papel das finanças. Atuando em 11 localidades pela América Latina, trabalhamos sob o propósito de desmaterializar o universo financeiro para impulsionar a sociedade. Como é o nosso time de Plataforma de Dados? Você fará parte de um time focado na construção de pipelines que transformam o nosso data lake em datasets de eventos confiáveis, versionados e sem vazamento temporal . Nossa missão é garantir a fundação de dados para o treinamento, avaliação e serving de modelos de fundação . Sem dado correto no tempo correto, nenhum modelo vale algo, e você será a pessoa responsável por garantir isso . E o dia a dia, como será?

Ver todas as vagas