Empresa: Venturus
Responsabilidades: • Mapear e analisar planilhas de origem (Excel, Google Sheets, CSV), identificando inconsistências, campos ambíguos, dados faltantes e variações de formato. • Modelar a estrutura de dados de destino: schemas, tipos, chaves, granularidade e relacionamentos. • Desenvolver pipelines reprodutíveis de extração, limpeza, normalização e transformação, substituindo processos manuais. • Definir e manter contratos de dados entre a camada de dados e a camada de ML. • Garantir versionamento e linhagem dos datasets, de modo que qualquer versão usada em treino possa ser reproduzida. • Conduzir análise exploratória para entender distribuições, correlações, sazonalidades, vieses e limitações dos dados. • Propor e construir features relevantes para o problema de negócio, em conjunto com o time de ML. • Avaliar a adequação dos dados ao problema: volume, balanceamento de classes, cobertura, risco de data leakage e estratégias de split (inclusive temporais). • Desenvolver modelos baseline e experimentos rápidos para validar hipóteses e orientar a priorização de dados. • Implementar validações estatísticas e de qualidade (domínios, outliers, drift entre versões de dataset). • Comunicar achados de forma clara para públicos técnicos e de negócio, com visualizações e premissas explícitas. Requisitos: • Python avançado para dados (pandas e/ou polars, NumPy) e SQL avançado. • Boa base em modelagem de dados e em formatos colunares (Parquet). • Fundamentos sólidos de estatística: testes de hipótese, distribuições, amostragem, métricas de avaliação de modelos. • Experiência com scikit-learn ou similar para modelos clássicos e baselines. • Experiência prática com dados "sujos" de planilhas: cabeçalhos múltiplos, células mescladas, tipos mistos, encoding, datas em formatos variados. • Experiência com validação de dados (Pandera, Great Expectations, Pydantic). • Git, testes e código modular. Notebooks para exploração, código de produção fora deles. • Capacidade de levantar requisitos e traduzir perguntas de negócio em estrutura de dados e análise. Diferenciais: • Orquestração (Airflow, Prefect ou Dagster) e/ou dbt. • Versionamento de dados (DVC, lakeFS, Delta Lake) e rastreamento de experimentos (MLflow, Weights & Biases). • Feature stores e preparação de datasets para treino em escala. • Experiência com PyTorch ou frameworks de deep learning. • Integração com APIs de planilhas (Google Sheets API, openpyxl). • Cloud (GCP, AWS ou Azure). Sobre a empresa: Como será o dia a dia? Você vai transformar dados hoje dispersos em planilhas em uma base estruturada e confiável, e também extrair desses dados o entendimento necessário para que o time de Machine Learning trabalhe sobre bases sólidas. O papel cobre desde a modelagem e os pipelines até a análise exploratória, a engenharia de features e a validação estatística dos datasets entregues. Você trabalhará lado a lado com o(a) engenheiro(a) de ML que consome esses dados.