Dados

TL;DR

A engenharia de dados em escala — o que vem depois de “saber SQL”: modelagem dimensional, data warehouse vs lake vs lakehouse, pipelines ETL/ELT, orquestração, qualidade e contratos de dados, governança. O como construir sistemas de dados analíticos, neutro de ferramenta. Escrito pela lente do sênior fullstack que precisa decidir e conversar sobre dados — não virar data engineer.

Trata da engenharia de dados como disciplina, distinta da teoria de banco de dados (modelo relacional, ACID, normalização, índices, replicação, NoSQL) que vive inteira em Banco de Dados, na camada de Ciência. Aqui ficam as decisões de construção do lado OLAP/analytics: como modelar para análise, como mover dados entre sistemas, como garantir consistência e qualidade em pipelines, como organizar uma plataforma de dados. Ferramentas (dbt, Airflow, Iceberg, Snowflake, Spark) aparecem como exemplos que ancoram o conceito, nunca como tutorial — o como em ferramenta X mora em Tecnologia.

Conteúdo

Trilha em 4 sub-galhos (3 fases Iniciado/Adepto/Magus) + capstone. Estado em roadmap.

1. Fundamentos de engenharia de dados (Iniciado) — OLTP vs OLAP, o ciclo de vida dos dados, warehouse/lake/lakehouse, armazenamento colunar e formatos.
2. Modelagem para analytics (Adepto) — modelagem dimensional, star vs snowflake, Slowly Changing Dimensions, além de Kimball.
3. Pipelines: movimentação e transformação (Adepto→Magus) — ETL vs ELT, ingestão e CDC, transformação SQL-first, orquestração, dados em movimento.
4. Qualidade, governança e organização (Magus) — qualidade e observabilidade, data contracts, governança/catálogo/lineage, arquiteturas organizacionais.

★ Capstone — Desenhando a plataforma de dados de uma empresa do zero (Magus) — o walkthrough decisório que costura os 4 sub-galhos, do gatilho OLTP/OLAP à escolha entre warehouse centralizado e data mesh.

Veja também

• Banco de Dados — os fundamentos relacionais, SQL, transações, índices, replicação e NoSQL (o lado OLTP e distribuído)
• Comunicação entre Sistemas — mensageria e eventos que alimentam pipelines; contratos e schema registry
• Operação — observabilidade e operação em produção que a plataforma de dados herda
• Engenharia