Empresa: Radix
Sobre a vaga Estamos em busca de um(a) Arquiteto de Engenharia de Dados com forte experiência em Plataforma de Dados como Databricks, Snowflake, Palantir ou similares para atuar no desenho, implementação, otimização e sustentação de soluções modernas de dados baseadas na arquitetura Lakehouse. Essa pessoa será responsável por construir pipelines escaláveis, confiáveis e performáticos utilizando a plataforma Databricks, com foco em ingestão, transformação, qualidade, governança, modelagem e disponibilização de dados para consumo analítico, BI, integrações corporativas e iniciativas avançadas de dados. O(a) candidato(a) ideal possui experiência sólida em Databricks, Apache Spark, PySpark, SQL, Delta Lake, Unity Catalog, Workflows, Delta Live Tables, modelagem de dados, integração via APIs e práticas modernas de Data Quality, além de experiência com dados de OT (Tecnologia Operacional) e séries temporais provenientes de ambientes industriais, e capacidade para atuar próximo a times técnicos e áreas de negócio. Principais responsabilidades: • Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Databricks, Apache Spark, PySpark, SQL e Delta Lake. • Implementar arquiteturas de dados baseadas em camadas Bronze, Silver e Gold, garantindo organização, rastreabilidade, qualidade e governança dos dados. • Desenvolver processos de ingestão, transformação, validação e disponibilização de dados utilizando recursos nativos da plataforma Databricks, como notebooks, jobs, workflows, Delta Live Tables, Auto Loader e Databricks SQL. • Projetar e implementar pipelines de ingestão, tratamento e modelagem de dados de OT (PLCs, SCADA, historians, MES, sensores e sistemas IIoT), integrando-os ao Lakehouse junto aos dados de TI (ERP, SAP, sistemas corporativos). • Modelar, armazenar e otimizar dados de séries temporais em alta frequência e grande volume, incluindo estratégias de particionamento, agregação, downsampling, alinhamento temporal e contextualização de tags/datapoints com a hierarquia de ativos. • Apoiar a construção de modelos analíticos voltados a casos de uso industriais, como OEE, monitoramento de processo, manutenção preditiva e rastreabilidade de produção. • Projetar e implementar frameworks de Data Quality nas camadas de ingestão, transformação e consumo de dados. • Desenvolver regras automatizadas de qualidade de dados, validações e processos de monitoramento para garantir precisão, completude, consistência, unicidade, atualidade e integridade dos dados. • Implementar processos de profiling, limpeza, padronização, enriquecimento, reconciliação e tratamento de exceções de dados. • Definir, implementar e monitorar métricas de qualidade de dados, KPIs, scorecards e dashboards. • Desenvolver processos automatizados de validação para dados estruturados e semiestruturados, incluindo dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos. • Projetar modelos de dados canônicos e modelos analíticos que consolidem informações provenientes de múltiplos sistemas de origem. • Criar e manter mapeamentos de origem para destino, lógica de transformação, regras de negócio e processos de harmonização de dados. • Projetar modelos dimensionais, incluindo esquemas estrela, para suportar cargas de trabalho analíticas, relatórios e soluções de BI. • Implementar estratégias de carga incremental, CDC, reconciliação de dados e validação ponta a ponta. • Atuar com Unity Catalog, governança, linhagem, metadados, catálogos, schemas, permissões e segurança baseada em papéis. • Otimizar workloads em Databricks, incluindo notebooks, jobs, queries SQL, clusters, uso de recursos computacionais, particionamento, Z-Ordering, tuning de Spark e boas práticas de performance. • Investigar, diagnosticar e resolver problemas de qualidade, performance, disponibilidade e integridade dos dados, identificando causas-raiz e implementando soluções preventivas. • Apoiar decisões de arquitetura relacionadas ao uso de Databricks, Delta Lake, Lakehouse, governança, integração, automação e observabilidade. • Colaborar com arquitetos de dados, engenheiros de dados, analistas, engenheiros de software e stakeholders de negócio para entregar soluções confiáveis, escaláveis e de alta qualidade. • Dar suporte a práticas de engenharia moderna, incluindo versionamento com Git, CI/CD, automação de deploy, revisão de código e documentação técnica. • Qualificações obrigatórias: • Inglês fluente para conversação. • Graduação em Ciência da Computação, Sistemas de Informação, Engenharia ou área correlata, ou experiência prática equivalente. • Ampla experiência como Engenheiro(a) de Dados, Especialista de Dados, Arquiteto(a) de Dados ou função semelhante. • Experiência prática e avançada com Databricks em projetos corporativos de engenharia de dados. • Sólido conhecimento em Apache Spark, PySpark e Spark SQL. • Conhecimento avançado em SQL, incluindo consultas complexas, transformações, otimização e ajuste de desempenho. • Experiência com Delta Lake, incluindo tabelas Delta, versionamento, otimização, particionamento e boas práticas de armazenamento. • Experiência no projeto e implementação das camadas Raw/Bronze, Curated/Silver e Business/Gold. • Experiência com orquestração de pipelines e workloads no Databricks, incluindo jobs, workflows e automações. • Experiência com dados de OT (Tecnologia Operacional) e integração de fontes industriais como PLCs, SCADA, historians (OSIsoft PI, Aveva, Cognite ou similares), MES e protocolos/plataformas industriais (OPC UA, MQTT, Kepware ou equivalentes). • Experiência prática com dados de séries temporais: ingestão em streaming ou near real-time, modelagem, armazenamento otimizado, agregações temporais e consulta performática em grandes volumes. • Experiência na implementação de frameworks, metodologias e boas práticas de Qualidade de Dados em ambientes corporativos. • Experiência no desenvolvimento e implementação de regras de qualidade de dados, frameworks de validação, processos de reconciliação e tratamento de exceções. • Forte compreensão de profiling de dados, limpeza, padronização, enriquecimento e correspondência de dados. • Experiência prática na integração e validação de dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos. • Sólido conhecimento de modelagem de bancos de dados relacionais, normalização e princípios de integridade de dados. • Experiência no projeto de modelos de dados canônicos que consolidem informações de múltiplos sistemas de origem. • Experiência com mapeamento de dados de origem para destino, transformações, harmonização e documentação de regras de negócio. • Forte conhecimento em modelagem dimensional, esquemas estrela e conceitos de Data Warehouse corporativo. • Experiência na implementação de cargas incrementais, CDC, processos de reconciliação e validações automatizadas de qualidade de dados. • Familiaridade com governança de dados, gerenciamento de metadados, linhagem de dados, master data, reference data e segurança baseada em papéis. • Experiência com Unity Catalog ou conceitos equivalentes de governança, catálogo, controle de acesso e linhagem de dados. • Proficiência em Git, práticas de CI/CD e automação de deploy para soluções de engenharia de dados. • Capacidade de atuar com autonomia, visão crítica, comunicação clara e colaboração com times técnicos e de negócio. • É um diferencial se você tiver: • Experiência anterior no segmento de Manufatura ou indústria de processo, atuando em projetos de dados industriais, Indústria 4.0 ou convergência TI/OT. • Conhecimento de modelos de referência industriais como ISA-95 e de plataformas de dados industriais (Cognite Data Fusion, Aveva PI, Azure IoT/ADX ou similares). • Experiência com casos de uso de manufatura, como OEE, qualidade de produção, manutenção preditiva e digital twin. • Certificação ou acreditação Databricks relacionada à arquitetura, como Databricks Platform Architect Accreditation/Badge, preferencialmente em Azure ou AWS. • Certificação Databricks Certified Data Engineer Professional ou equivalente. • Experiência com arquitetura Lakehouse em ambientes corporativos de grande escala. • Experiência com Delta Live Tables, Auto Loader, Databricks Asset Bundles, Databricks CLI ou automação de deploy em Databricks. • Experiência com cloud platforms, especialmente Azure, AWS ou GCP. • Experiência com ferramentas de observabilidade, monitoramento e alertas para pipelines de dados. • Experiência com Databricks SQL, dashboards, SQL Warehouses e integração com ferramentas de BI. • Conhecimento em FinOps aplicado a Databricks, otimização de clusters, serverless, jobs e workloads. • Mestrado ou Doutorado em Ciência de Dados, Inteligência Artificial, Engenharia, Computação ou disciplinas que exijam alta capacidade analítica. Benefícios: • Assistência Médica Nacional (para o titular e dependentes, com quarto privativo) • Assistência odontológica nacional (para o titular e dependentes) • Vale refeição / alimentação flexível • Auxílio home office • Day off (no mês do aniversário) • Wellhub (antigo Gympass) • Licença Maternidade (6 meses) e Paternidade (20 dias) estendidas • Auxílio creche para filhos de até 3 anos (por filho) • Apoio em saúde mental com a Wellz • Clube de Vantagens com descontos em diversos parceiros • Convênio com instituições de ensino e cursos de idioma • Desenvolvimento Profissional (Universidade Corporativa) • Parceria com empresa de coworkings no Brasil • Programa de Qualidade de Vida e Bem-Estar • Médico consultor para acompanhamento de radixers • Planos de incentivos • A Radix está sempre no topo das Melhores Empresas para se trabalhar porque: • Temos profissionais comprometidos, dedicados, curiosos e inovadores. • O espírito de equipe é a nossa maior força. Trabalhamos de forma cooperativa e sabemos que estamos juntos, remando na mesma direção. • Temos um ambiente diverso, que valoriza equidade e inclusão. • Nossa jornada de trabalho é flexível e em quase todos os projetos é possível trabalhar de qualquer lugar do Brasil. • Valorizamos o bem-estar e o cuidado com as nossas pessoas, com programas de apoio à saúde mental, psiquiatra e médico consultor disponíveis. • Curtiu? • #VemPraRadix • Código 4de5 Sobre a empresa: A primeira coisa que você precisa saber é que aqui você não vai cair na rotina. A Radix desenvolve soluções para empresas de diferentes setores e indústrias. Cada projeto tem suas tecnologias, soluções e prazos, e você terá a oportunidade de atuar em diferentes desafios de engenharia, dados, analytics e transformação digital. Além da nossa atuação pelo Brasil, com escritórios no Rio de Janeiro, São Paulo e Belo Horizonte, também temos filiais nos Estados Unidos, consolidando a Radix cada vez mais como uma empresa global. Quer fazer parte dessa história e transformar ideias e sonhos em realidade?