Empresa: Rox Partner
Buscamos uma pessoa Engenheira de Dados Sênior para atuar em uma Squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem. A pessoa terá papel importante na construção e evolução de pipelines de dados de billing e telemetria, transformando grandes volumes de informações em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas. O desafio envolve trabalhar com dados de diferentes provedores de nuvem, estruturar modelos de custos, estabelecer critérios de alocação e rateio e garantir qualidade, governança e desempenho em uma plataforma de dados baseada em Databricks. Responsabilidades e Atribuições: • Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação, consolidação e disponibilização de dados de billing e telemetria. • Construir e evoluir arquiteturas Lakehouse utilizando as camadas Bronze, Silver e Gold. • Modelar dados dimensionais para análises de custos, consumo, orçamento, tendências e otimização de recursos em nuvem. • Integrar e tratar dados provenientes de serviços de billing, como AWS Cost and Usage Report (CUR), Azure Cost Management e Google Cloud Billing. • Desenvolver regras de normalização de tags, hierarquias de contas e projetos, alocação de custos compartilhados e rateios. • Implementar lógicas de amortização e distribuição de custos relacionados a Reserved Instances e Savings Plans. • Construir e otimizar transformações utilizando Python, PySpark, Spark SQL e Delta Lake. • Desenvolver consultas, tabelas e estruturas analíticas para consumo por Databricks SQL e dashboards em Lakeview. • Implementar mecanismos de qualidade, reconciliação, testes e validação dos dados. • Garantir governança, rastreabilidade e linhagem dos dados, considerando recursos como Unity Catalog. • Participar da evolução dos processos de orquestração, versionamento, testes e CI/CD dos pipelines. • Identificar gargalos de processamento e implementar melhorias de desempenho e custo em ambientes de alto volume. • Trabalhar em conjunto com áreas técnicas, financeiras e de FinOps para transformar necessidades de negócio em soluções de dados confiáveis. Requisitos: Experiência sólida em Engenharia de Dados em nível sênior. Domínio de Python, PySpark, Apache Spark e SQL avançado. Experiência com Databricks e arquitetura Lakehouse. Conhecimento prático da arquitetura Medallion: Bronze, Silver e Gold. Experiência com Delta Lake e otimização de tabelas e consultas, incluindo particionamento, Z-Order e/ou Liquid Clustering. Experiência com construção e manutenção de pipelines de dados de grande volume. Experiência com modelagem dimensional, especialmente conceitos de Kimball. Capacidade de estruturar modelos analíticos consistentes para relatórios e tomada de decisão. Conhecimento de estratégias de transformação, consolidação e disponibilização de dados. Experiência com dados de billing de pelo menos um dos provedores: AWS, Azure ou GCP. Conhecimento de estruturas de custos e consumo de serviços de nuvem. Familiaridade com conceitos de precificação, incluindo On-Demand, Reserved Instances, Savings Plans, Spot, transferência de dados (egress) e camadas de armazenamento. Capacidade de implementar regras de tratamento, reconciliação, classificação e alocação de custos. Experiência com ferramentas de orquestração de pipelines, como Databricks Workflows, Lakeflow Pipelines (anteriormente Delta Live Tables/DLT), Airflow ou dbt, ou tecnologias equivalentes. Experiência com Git, versionamento e práticas de CI/CD aplicadas à engenharia de dados. Conhecimento de testes automatizados, validação de dados e monitoramento de pipelines. Familiaridade com práticas de implantação e gerenciamento de artefatos Databricks, como Databricks Asset Bundles, ou soluções equivalentes. Diferenciais Conhecimento ou experiência com a especificação FOCUS (FinOps Open Cost and Usage Specification). Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados. Experiência com dados de billing de múltiplos provedores de nuvem. Vivência em ambientes bancários, financeiros ou de alta criticidade operacional. Experiência com grandes volumes de dados e requisitos rigorosos de qualidade e rastreabilidade.