Empresa: iblue Consulting
Buscamos profissionais com os seguintes valores que corroboram com os nossos valores: Cuidado com as pessoas; Responsabilidade; Ética; Excelência e Resultados; Cliente no centro. Requisitos: Estamos em busca de um ENGENHEIRO DE PIPELINES DE DADOS MICROSOFT FABRIC com experiência prática em Microsoft Fabric, OneLake, lakehouses, notebooks, SQL, Python ou PySpark , arquitetura medallion e construção de pipelines de dados. Se você possui experiência em metodologias ágeis, qualidade de código, testes e automação e se identifica com valores como colaboração, responsabilidade e comprometimento, essa oportunidade é para você! Principais Responsabilidades Configurar e testar a conexão com o SharePoint Online para o escopo delimitado do piloto. Desenvolver componentes de pipeline para ingestão de documentos e metadados selecionados na camada Bronze do OneLake. Implementar padrões de carga incremental, detecção de alterações, novas tentativas, registro de execução e tratamento de exceções. Desenvolver a lógica da camada Silver para limpeza, normalização, eliminação de duplicidades, tratamento de versões e resolução de conflitos. Implementar componentes da camada Gold para preparação de produtos de informação validados conforme as regras de negócio. Apoiar processos de extração de atributos, enriquecimento de informações e validação pelos responsáveis de negócio. Registrar a linhagem entre documentos de origem, execuções dos pipelines, registros transformados e resultados validados. Testar cenários de inclusão, atualização, versionamento, duplicidade, exclusão, exceção e alteração de documentos. Implementar painéis operacionais, alertas, históricos de execução, logs e diagnósticos de suporte. Colaborar com as equipes de SharePoint e arquitetura da informação para compreender estruturas de origem, metadados, permissões e comportamentos de alteração. Documentar restrições técnicas, comportamentos não suportados, soluções alternativas, desempenho e considerações para produção. Empacotar códigos, notebooks, configurações e definições de pipelines utilizando práticas aprovadas de versionamento e releases. Produzir testes, documentação técnica, instruções de implantação e runbooks operacionais. Contexto Técnico de Atuação no Projeto Atuação prática na construção e validação do fluxo de ingestão de documentos, metadados e dados selecionados do SharePoint Online para o OneLake. A solução utilizará Microsoft Fabric, lakehouses, notebooks, SQL, Spark ou PySpark, pipelines e arquitetura medallion. Os dados serão organizados nas camadas Bronze, Silver e Gold, com controles de qualidade, transformação, validação, linhagem e monitoramento. O projeto deverá validar o comportamento real de conectores e pipelines em relação a metadados, permissões, versões, atualizações, duplicidades e exclusões. A solução deverá contemplar componentes reutilizáveis de ingestão, transformação, observabilidade, tratamento de exceções e recuperação. O profissional atuará sob direcionamento da arquitetura de Fabric e dados e em colaboração com SharePoint, arquitetura da informação, IA e áreas de negócio. Requisitos e Qualificações Experiência prática com Microsoft Fabric, OneLake, lakehouses, notebooks e pipelines de dados. Conhecimento de transformações baseadas em Spark, PySpark ou SQL. Experiência em arquitetura e desenvolvimento de pipelines, cargas incrementais e detecção de alterações. Conhecimento de tratamento de esquemas, qualidade de dados, observabilidade, recuperação e tratamento de exceções. Experiência na integração de APIs REST, arquivos, metadados de documentos ou fontes de dados do Microsoft 365. Proficiência em SQL e em pelo menos uma linguagem de engenharia de dados, como Python ou PySpark. Conhecimento de arquitetura medallion e organização de dados nas camadas Bronze, Silver e Gold. Experiência com controle de código-fonte, parametrização, configuração de ambientes, implantação e testes. Capacidade de desenvolver testes repetíveis para demonstrar o comportamento real da plataforma. Experiência na criação de documentação técnica, runbooks, procedimentos de implantação e materiais de suporte. Inglês intermediário a avançado (B2 ou superior), com capacidade de comunicação escrita e verbal em ambiente corporativo e técnico. Habilidades Comportamentais Pensamento analítico e capacidade de investigação técnica. Rigor na validação de dados, execução de testes e documentação de resultados. Capacidade de solucionar problemas e investigar falhas de integração ou processamento. Organização, atenção aos detalhes e disciplina de engenharia. Colaboração com arquitetos, desenvolvedores e profissionais de negócio. Comunicação clara sobre restrições, riscos, falhas e comportamentos da plataforma. Proatividade e orientação à automação e melhoria contínua. Comprometimento com qualidade, rastreabilidade, observabilidade e sustentabilidade. Disponibilidade para atuação no fuso horário: Eastern Standard Time - EST (diferença de 2 horas a menos que a de Brasília - Brasil). Diferenciais Conhecimento de SharePoint Online, Microsoft Graph, bibliotecas de documentos, tipos de conteúdo, metadados e versionamento. Experiência com formatos Delta, processamento distribuído e arquitetura medallion. Experiência com modelos semânticos, processamento de documentos ou preparação de dados para soluções de IA. Conhecimento de permissões, identidade e segurança em integrações com Microsoft 365. Experiência na criação de soluções piloto preparadas para posterior fortalecimento e utilização em produção. Experiência com práticas de DevOps, integração contínua, implantação contínua e monitoramento. Certificações Microsoft Fabric Analytics Engineer, Azure Data Engineer ou relacionadas. Sobre a empresa: Ouvir, criar e inspirar a transformação digital dos nossos clientes é o que nos motiva. De pessoas para pessoas 😍 Acreditamos que, mais do que tecnologia, a transformação digital é sobre como as pessoas conduzem as mudanças nas empresas. E por entender isso, o fator humano é o que nos faz evoluir e modernizar processos. Não é somente mais uma oportunidade... e sim um convite para você fazer parte dessa história. Na iblue Consulting você vai trabalhar com uma equipe multidisciplinar, que é responsável por alavancar o crescimento do negócio através das nossas pessoas. 🚀