2025-10-24 –, Advanced
Nesta palestra, vamos explorar como o Apache Airflow, aliado ao poder do Python, pode ser utilizado para orquestrar centenas de pipelines de dados em ambientes complexos de Data Lake.
Princípio DRY (Don't Repeat Yourself), Configuração como Código, Programação Orientada a Objetos (POO), Airflow Dags, Airflow operators, Airflow Datasets/Assets, Testes unitários, CI/CD, Jinja2
What can participants expect to learn from your activity?:Os participantes aprenderão a construir uma DAG Factory para escalar e padronizar a criação de pipelines no Airflow. Na prática, verão como usar Python e arquivos de configuração (YAML/JSON) para gerar múltiplos fluxos de trabalho dinamicamente, simplificando a manutenção e acelerando o desenvolvimento.
Choose one or more areas where this proposal fits.:Ciência e Análise de Dados, Machine Learning e Inteligência Artificial, Testes, Arquitetura de software, DevOps e Automação de Infraestrutura
Head de Plataforma de Dados na CERC. Com +10 anos de experiência, lidera equipes na construção de soluções de dados escaláveis, focando em governança, inovação e impacto para o negócio.