Dados

Engenharia de Dados

Trilha focada em pipelines, arquitetura de dados e sistemas distribuídos.

Intermediário 4 passos sugeridos

Sequência sugerida de estudos

Cada módulo é um passo no seu aprendizado. Siga de cima para baixo, adaptando o ritmo à sua realidade.

1
Etapa 1

Fundamentos para Engenheiros de Dados

Base técnica essencial antes de entrar em pipelines e plataformas.
Tópicos
- Linux para data engineers
- Git e fluxo de branches
- SQL avançado (window functions, CTEs)
- Modelagem de dados transacional e analítica
Recursos sugeridos
- youtube.com/@DataEngineerHelp
2
Etapa 2

Pipelines de Dados

Construção, orquestração e monitoramento de pipelines batch e streaming.
Tópicos
- ETL vs ELT
- Orquestração (Airflow, Dagster ou similar)
- Mensageria (Kafka, Pub/Sub, Kinesis)
- Boas práticas de versionamento de dados
- Estratégias de backfill e reprocessamento
- Monitoramento de SLA/SLO de pipelines
3
Etapa 3

Storage e Processamento

Escolhendo ferramentas de armazenamento e processamento adequadas.
Tópicos
- Arquivos colunares (Parquet, ORC)
- Formatos otimizados para lakes
- Processamento batch vs streaming
- Engines como Spark, Flink, Beam
- Particionamento e ordenação de dados
Recursos sugeridos
- Documentação oficial do Apache Spark
- Artigos sobre formatação de dados em Lakes
4
Etapa 4

Arquitetura de Dados em Escala

Design de plataformas de dados modernas.
Tópicos
- Data Lake e Data Warehouse
- Data Lakehouse
- Catálogo de dados e governança
- Padrões de arquitetura orientada a dados
- Domínios de dados e malha de dados (data mesh)
- Evolução incremental de arquitetura

Como usar esta trilha

Esta página não é um curso completo. Ela só organiza, em ordem, temas que fazem sentido estudar se você quer se aprofundar nesse assunto.

Use a sequência como um mapa de referência, não como uma obrigação rígida.
Procure conteúdos (vídeos, artigos, livros, documentações) para cada tópico listado.
Adapte, pule ou reordene módulos conforme sua experiência e contexto.