2025-10-26 –, Intermediate
Vamos explorar técnicas de otimização (com exemplos práticos de código certo e errado!). Desvendaremos a UI do PySpark para monitoramento e troubleshooting. Impulsione seus processamentos de dados!
Conhecimento em computação básica para entender sobre computação distribuída, banco de dados, analise de dados (usando Pandas ou outra biblioteca) e Big Data.
What can participants expect to learn from your activity?:Os participantes podem esperar aprender:
- Uma compreensão clara da arquitetura do Spark e como o PySpark se encaixa nesse ecossistema.
Conhecimento das vantagens e limitações do PySpark, permitindo tomar decisões informadas sobre quando e como utilizá-lo. - Técnicas práticas para otimizar o desempenho de aplicações PySpark, incluindo particionamento, broadcast, cache e otimização de consultas.
- Habilidades para identificar e corrigir erros comuns em código PySpark, como problemas de serialização e erros de memória.
- Capacidade de utilizar a UI do Spark para monitorar e diagnosticar aplicações PySpark, tornando o processo de otimização mais eficiente.
Ciência e Análise de Dados, Machine Learning e Inteligência Artificial, Arquitetura de software, Outros
Sou uma profissional apaixonada por tecnologia. Acredito firmemente na aplicação da Filosofia DataOps/MLOps para otimizar processos e garantir resultados eficazes.