Empresa: Compass
Buscamos um(a) Tech Lead de Dados com perfil sênior e hands-on para atuar na construção e sustentação da camada de dados de um produto de Inteligência Artificial de um grande grupo de infraestrutura de mobilidade. O desafio envolve desenvolver pipelines, preparar dados para serviços de IA generativa e integrar dados a serviços e APIs, garantindo qualidade, segurança e governança. Principais responsabilidades: • Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia. • Construir e sustentar pipelines em PySpark e SQL no Databricks. • Trabalhar com arquitetura medallion, Delta Lake, Unity Catalog e Databricks Workflows. • Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento. • Integrar dados aos serviços de IA e ao Databricks Genie. • Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade. • Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas. • Desenvolver frameworks reutilizáveis e validações de qualidade. • Aplicar práticas de versionamento, CI/CD, testes e code review. • Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais. • Documentar pipelines e decisões técnicas. • Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas. • Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados. Requisitos: Experiência sólida em engenharia de dados e atuação como referência técnica de squad. Databricks, PySpark e Spark SQL em ambiente produtivo. Arquitetura medallion: landing, bronze, silver e gold. Delta Lake, Unity Catalog e Databricks Workflows. Engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento. Integração de dados via APIs e serviços, com segurança e observabilidade. Modelagem de dados analíticos nas camadas silver e gold. Git, CI/CD, code review, testes e validações de qualidade. Experiência em times ágeis de produto e entregas incrementais. Boa comunicação com áreas técnicas e de negócio. Formação em TI ou áreas correlatas. Diferenciais Databricks Genie e padrões corporativos de uso de IA generativa. Governança de dados aplicada à IA e LGPD, incluindo classificação, anonimização, linhagem e controle de acesso. Oracle com replicação via Golden Gate/CDC. Extração de dados do SAP via Open Hub. SQL Server e Microsoft Graph (SharePoint/M365). Power BI. Gestão de credenciais com identidades de serviço e cofres de segredos. Documentação técnica no Confluence. Sobre a empresa: .