Modern Data Stack sem cluster: engenharia de dados em um único servidor

Existe um reflexo no mercado: dado grande, então cluster. Spark, Kafka, uma frota de máquinas. Para a maioria das empresas — que processam milhões de linhas por mês, não bilhões por segundo — isso é resolver um problema que você não tem, com uma conta que você não precisa pagar.

Distribuir é caro — e quase sempre desnecessário

Processamento distribuído existe para quando um único computador não dá conta. O detalhe é que um único computador hoje dá conta de muito mais do que se imagina. O Spark exige a JVM e um cluster só para começar; o Kafka pede uma infraestrutura massiva para streaming contínuo. São ferramentas excelentes — no problema errado, viram peso morto que consome RAM e orçamento sem entregar valor.

A alternativa single-node, vetorizada

A engenharia moderna de dados em um servidor se apoia em três ideias:

• Processamento vetorizado. Polars e DuckDB exploram instruções da CPU para processar colunas inteiras de uma vez, com leituras zero-copy. É a mesma técnica dos bancos analíticos caros, rodando no seu hardware.
• Formato colunar. Apache Parquet com particionamento por data lê só as colunas e os períodos necessários — menos I/O, menos memória, mais velocidade.
• Fatiamento incremental. Em vez de carregar tudo na RAM, processa-se dia a dia, liberando memória a cada partição. O consumo vira uma linha reta — imune a estouro, mesmo em cargas massivas.

Medallion: do bruto ao ouro

Sobre essa base roda a arquitetura Medallion, que organiza o dado em camadas de pureza crescente:

• Bronze — o dado bruto, tipado e imutável, como veio da origem.
• Prata — limpo, deduplicado e modelado, com regras de negócio e testes.
• Ouro — enriquecido e agregado, pronto para o negócio consumir.

Cada camada é reprocessável de forma independente e idempotente: rodar o mesmo fluxo dez vezes produz o mesmo resultado, sem duplicar dado. Isso torna o sistema seguro de operar e fácil de auditar.

A pergunta certa não é "quantas máquinas eu preciso?", e sim "quão bem eu uso a máquina que já tenho?".

Quando o cluster faz sentido

Há casos legítimos: telemetria em tempo real de milhões de dispositivos, streaming contínuo, volumes na casa dos petabytes. Se esse é o seu problema, distribua. Mas para o BI corporativo típico — vendas, financeiro, operações — a stack single-node entrega a mesma inteligência com uma fração da complexidade e do custo.

Menos partes móveis significa menos coisa para quebrar, menos conta para pagar e mais tempo para o que importa: transformar dado em decisão.