Empresa: Rock Encantech
Buscamos uma pessoa engenheira de dados sênior que construa a fundação de dados para os casos de uso de Inteligência Artificial da Rock Encantech. Ela será responsável por levar soluções de IA do protótipo à produção com qualidade, governança e custo controlado, conectando a plataforma de dados existente a aplicações de LLM, recomendação e personalização para o varejo. A entrega de valor esperada é acelerar a capacidade da Rock de oferecer produtos com IA para varejistas, sem depender de esforços isolados e difíceis de sustentar. O perfil ideal tem profundidade técnica em engenharia de dados, experiência prática com pipelines para IA e maturidade para tomar decisões de arquitetura, documentar e elevar o nível técnico do time. Principais atividades: • Projetar, construir e manter pipelines de dados em batch e streaming que alimentam modelos e aplicações de IA, usando Databricks (Spark, Delta Lake) e serviços AWS (S3, Glue, EMR Serverless) • Construir pipelines de ingestão, limpeza, chunking e geração de embeddings para aplicações de RAG, incluindo gestão de índices vetoriais (Databricks Vector Search ou similares) • Estruturar e manter feature stores e datasets curados para modelos de recomendação, propensão e personalização no contexto de varejo e fidelidade • Implantar práticas de MLOps e LLMOps: versionamento de dados e modelos, rastreabilidade com MLflow, monitoramento de qualidade, drift e custo em produção • Garantir governança dos dados usados por IA no Unity Catalog, com controle de acesso, linhagem, anonimização de dados pessoais e conformidade com LGPD • Otimizar performance e custo de pipelines e workloads de IA (clusters, jobs, inferência, uso de tokens), em linha com as metas de FinOps da plataforma • Atuar junto ao Data Product Manager, Analytics e squads de produto para transformar casos de uso de IA em soluções escaláveis e mensuráveis • Definir padrões técnicos, revisar código e conduzir decisões de arquitetura de dados para IA, documentando trade-offs • Implementar testes, validações de qualidade de dados e avaliações (evals) para saídas de modelos e aplicações com LLM • Apoiar o desenvolvimento técnico de engenheiros plenos e juniores por meio de pareamento, revisão de código e compartilhamento de conhecimento Observações: Perfil acadêmico e habilidades • Formação superior em Ciência da Computação, Engenharia, Sistemas de Informação, Matemática, Estatística ou áreas correlatas • Experiência sólida como Engenheiro(a) de Dados, com atuação em nível sênior em ambientes de produção • Domínio de Python e SQL para processamento de dados em larga escala • Experiência avançada com Apache Spark e Delta Lake, preferencialmente em Databricks • Experiência com serviços de dados da AWS (S3, Glue, EMR, Athena, IAM) • Experiência prática na construção de pipelines para aplicações de IA ou ML em produção • Conhecimento de arquitetura lakehouse, modelagem de dados (incluindo star schema) e camadas medallion • Experiência com orquestração de pipelines (Databricks Workflows, Airflow ou similares) e CI/CD com Git • Conhecimento de conceitos de LLMs, embeddings, bancos vetoriais e RAG • Boas práticas de qualidade de dados, observabilidade, segurança e privacidade (LGPD) Qualificações desejáveis • Experiência com Databricks Mosaic AI, Vector Search, Model Serving e Unity Catalog • Experiência com MLflow, feature stores e monitoramento de modelos em produção • Vivência com frameworks de aplicações LLM (LangChain, LlamaIndex, DSPy ou similares) e APIs de modelos de linguagem • Experiência com avaliação de aplicações de LLM (evals, LLM-as-judge, métricas de RAG) • Conhecimento de sistemas de recomendação e modelos de propensão aplicados a varejo • Experiência com otimização de custo de workloads de dados e IA em cloud • Experiência com Delta Sharing ou compartilhamento de dados com parceiros externos • Conhecimento de Infraestrutura como Código (Terraform) • Certificações Databricks (Data Engineer Professional, ML Associate) ou AWS • Inglês intermediário a avançado para leitura de documentação e papers técnicos Observações A pessoa atuará na squad Plataforma de Dados da tribo Shared Services e será uma referência técnica em dados para IA na Rock. Buscamos alguém que goste de levar coisas para produção, não apenas de prototipar. Sugestão de etapa no processo: desafio técnico ou conversa de system design sobre um pipeline de RAG ou recomendação, avaliando decisões de arquitetura, governança e custo. Sobre a empresa: Quem é o candidato que buscamos: