Pipelines: movimentação e transformação — Dados
O modelo dimensional do sub-galho anterior não se preenche sozinho. Este sub-galho (fase Adepto→Magus) é sobre os pipelines que trazem o dado da fonte até o warehouse e o transformam no caminho: a virada de ETL para ELT, a ingestão (batch, incremental, CDC), a transformação SQL-first (a era do analytics engineering), a orquestração como sistema, e a fronteira do streaming — quando processar dado em movimento em vez de em lote.
Notas
- 01 - ETL vs ELT
- 02 - Ingestão de dados
- 03 - Transformação SQL-first
- 04 - Orquestração
- 05 - Dados em movimento
Veja também
- Dados — o galho-pai
- Modelagem para analytics — o modelo que estes pipelines preenchem
- Qualidade, governança e organização — o próximo, sobre confiar no que o pipeline entrega
- Comunicação entre Sistemas — a mensageria/streaming que a nota 05 referencia