Etapa 2 de 8

Ingestão & Armazenamento

Esta etapa orquestra a movimentação de dados desde as fontes até o armazenamento centralizado. O Azure Data Factory atua como a engrenagem da ingestão, enquanto o Azure Data Lake Storage Gen2 fornece um repositório escalável, hierárquico e de baixo custo.

Serviços Azure envolvidos

Azure Data Factory

Orquestração de pipelines ETL/ELT com mais de 90 conectores nativos.

Azure Data Lake Storage Gen2

Storage hierárquico HDFS-compatible, otimizado para analytics e ML.

Azure Event Hubs / IoT Hub

Ingestão em streaming de alta vazão para dados em tempo real.

Pontos-chave

› Adote zonas Bronze / Silver / Gold (medallion architecture).
› Use Integration Runtimes auto-hosted para fontes on-premises.
› Particionamento por data (year/month/day) acelera consultas downstream.

Melhores práticas

★ Habilite Soft Delete e versionamento no ADLS para resiliência.
★ Centralize segredos no Azure Key Vault e referencie via Linked Services.
★ Aplique Private Endpoints para evitar tráfego pela internet pública.