Ingestão de dados em um ambiente cloud

Abstract

Ambientes de Big Data apresentam desorganização nas estruturas de ingestão de dados comprometendo a eficiência, escalabilidade e confiabilidade dos processos analíticos. Diante disso, este trabalho propôs a construção de uma ingestão em lotes utilizando o Databricks na nuvem Azure com padronização das fontes de dados por meio do Java Database Connectivity (JDBC), definição de métodos de atualização e avaliação de desempenho do método aplicado. Como resultado, obteve-se uma ingestão com bom desempenho e com dados íntegros por meio da escolha adequada do método de ingestão. Contudo, técnicas como adaptive query execution e CDC podem ser exploradas futuramente.

Big Data environments often show disorganization in data ingestion structures, compromising the efficiency, scalability, and reliability of analytical processes. To address this, this work proposed the construction of a batch ingestion using Databricks on the Azure cloud, with standardized data sources via Java Database Connectivity (JDBC), definition of update methods, and performance evaluation of the applied approach. As a result, the ingestion achieved good performance and data integrity through the appropriate choice of ingestion method. However, techniques such as adaptive query execution and CDC can be explored in future work.