24/10/2025 –, Avanzado
Nesta palestra, vamos explorar como o Apache Airflow, aliado ao poder do Python, pode ser utilizado para orquestrar centenas de pipelines de dados em ambientes complexos de Data Lake.
Princípio DRY (Don't Repeat Yourself), Configuração como Código, Programação Orientada a Objetos (POO), Airflow Dags, Airflow operators, Airflow Datasets/Assets, Testes unitários, CI/CD, Jinja2
¿Qué pueden esperar aprender los participantes en tu actividad?:Os participantes aprenderão a construir uma DAG Factory para escalar e padronizar a criação de pipelines no Airflow. Na prática, verão como usar Python e arquivos de configuração (YAML/JSON) para gerar múltiplos fluxos de trabalho dinamicamente, simplificando a manutenção e acelerando o desenvolvimento.
Elige una o más áreas en las que esta propuesta encaja.:Ciência e Análise de Dados, Machine Learning e Inteligência Artificial, Testes, Arquitetura de software, DevOps e Automação de Infraestrutura
Head de Plataforma de Dados na CERC. Com +10 anos de experiência, lidera equipes na construção de soluções de dados escaláveis, focando em governança, inovação e impacto para o negócio.