24/10/2025 –, Avançada
Nesta palestra, vamos explorar como o Apache Airflow, aliado ao poder do Python, pode ser utilizado para orquestrar centenas de pipelines de dados em ambientes complexos de Data Lake.
Princípio DRY (Don't Repeat Yourself), Configuração como Código, Programação Orientada a Objetos (POO), Airflow Dags, Airflow operators, Airflow Datasets/Assets, Testes unitários, CI/CD, Jinja2
O que as pessoas que participarem podem esperar aprender na sua atividade?:Os participantes aprenderão a construir uma DAG Factory para escalar e padronizar a criação de pipelines no Airflow. Na prática, verão como usar Python e arquivos de configuração (YAML/JSON) para gerar múltiplos fluxos de trabalho dinamicamente, simplificando a manutenção e acelerando o desenvolvimento.
Escolha uma ou mais áreas em que essa proposta se encaixa:Ciência e Análise de Dados, Machine Learning e Inteligência Artificial, Testes, Arquitetura de software, DevOps e Automação de Infraestrutura
Head de Plataforma de Dados na CERC. Com +10 anos de experiência, lidera equipes na construção de soluções de dados escaláveis, focando em governança, inovação e impacto para o negócio.