Engenharia de Dados [Cast]
Aqui no podcast, sabemos que o mundo de dados pode ser overwhelming: são tantas ferramentas, plataformas e metodologias novas surgindo toda semana que fica difícil acompanhar.
Nossa missão é simplificar essa complexidade e te ajudar a fazer escolhas mais inteligentes sobre qual tecnologia usar em cada situação.
Em cada episódio, conversamos com especialistas que estão na linha de frente, compartilhando experiências reais, acertos, erros e lições aprendidas. É aquele papo técnico que você teria com um colega experiente tomando um café , só que gravado para você ouvir quando e onde quiser.
A ideia é que você saia de cada episódio com algo prático para aplicar no seu dia a dia, seja uma nova perspectiva sobre uma ferramenta, uma dica de arquitetura ou insights sobre tendências que realmente valem a pena acompanhar.
Nosso objetivo é simples: te ajudar a se tornar um profissional mais confiante e preparado, sem a pressão de ter que saber tudo sobre tudo.
É o lugar onde conhecimento técnico encontra conversas humanas, criando uma comunidade de profissionais que crescem juntos na área de dados.
Engenharia de Dados [Cast]
Mastering Apache Airflow with Marc Lamberti, Head of Customer Education at Astronomer
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Marc Lamberti, atualmente como Head of Customer na Astronomer.
Vamos entender o Apache Airflow em um nível mais avançado para aplicar soluções para problemas de dados no dia-a-dia, visando melhores práticas.
Abaixo alguns pontos sobre técnicas avançadas de Apache Airflow:
- Executar pipelines do Airflow com acesso imediato aos recursos mais recentes.
- Reduzir o consumo de infraestrutura para tarefas de longa duração.
- Reduzir latência de tarefa com configuração e dimensionamento automático.
- Coletar metadados automaticamente por meio do Open Lineage integrado.
Falamos também nesse bate-papo sobre os seguintes temas:
- Características do Apache Airflow
- Astro Python SDK
- Dynamic Task
- Astro Cloud
- Apache Airflow vs. Perfect vs. Mage
Aprenda como utilizar o Apache Airflow em um nível mais avançado para orquestrar o seus data pipelines.
Marc Lamberti
Marc Youtube Channel
Engenharia de Dados Academy
