Empresa: IEBT
Estamos em busca de um(a) Engenheiro(a) de Dados Senior para atuar na plataforma de dados de uma empresa americana de imagem médica. Seu trabalho é fazer os dados de estudos clínicos chegarem completos e corretos: manter os pipelines, montar as entregas de cada estudo e descobrir a causa quando algo não bate. Você vai atuar em pipelines de dados de grande escala, lidando com dados médicos sensíveis, migração de sistemas legados e estruturação de data lake. Tudo em um ambiente regulado e com times distribuídos. Responsabilidades: • Desenvolver e manter os pipelines de dados do data lakehouse, com Spark, Delta Lake e AWS. • Preparar os dados entregues em cada estudo clínico e as validações que garantem que eles saem completos e corretos. • Investigar inconsistências nos dados apontadas por outros times, achar a origem do problema e corrigir sem perder o histórico do que foi alterado. • Acompanhar os pipelines em produção, para que rodem com mais estabilidade, velocidade e menor custo. • Trabalhar junto com os times de engenharia, QA e data management do cliente, com code review, testes e documentação. • Usar IA no dia a dia para entender sistemas novos, investigar problemas e escrever código e testes, sempre revisando o que ela entrega. • Perfil comportamental • Rigor com o dado. Em estudo clínico, um número errado vira problema regulatório. Você confere e documenta antes de dar algo como resolvido. • Ir até o fim do problema. Segue a pista por vários repositórios e sistemas até achar a origem, sem esperar alguém dizer onde olhar. • Conforto com o desconhecido. Sistema que você nunca viu, pouca documentação: você entra, usa as ferramentas que tem (IA inclusa) e aprende rápido. • Autonomia. Não espera especificação perfeita. Interpreta o problema, propõe solução e executa, mantendo o time informado. • Boa comunicação em inglês. Consegue explicar para o time americano o que aconteceu, por que aconteceu e o que foi feito. Requisitos: Requisitos • Inglês fluente para comunicação diária, escrita e falada, com o time nos EUA. • Experiência sólida com Python e SQL em pipelines de dados rodando em produção. • Experiência com Spark (PySpark) em data lake ou lakehouse. • Experiência com os serviços de dados da AWS, como S3, Glue e Lambda. • Experiência com Git, code review e testes automatizados. • Experiência forte em IA e Eng de Software Diferenciais • Experiência com Delta Lake, Trino ou Presto e Amazon EMR. • Conhecimento de imagem médica (DICOM). • Conhecimento de ferramentas de qualidade de dados (Great Expectations, Pydantic ou similares). • Uso fluente de IA para programar (Claude Code, Cursor, Copilot ou similares).