Referência de sistemas de processamento de fluxo contínuo: StreamBench

As tecnologias de processamento em lote (como MapReduce, Hive, Pig) amadureceram e t m sido amplamente utilizadas na ind stria. Estes sistemas resolveram com xito o problema do processamento de grandes volumes de dados. No entanto, primeiro necess rio recolher e armazenar uma grande quantidade de dados numa base de dados ou num sistema de ficheiros. Isso consome muito tempo. Depois, necess rio tempo para terminar as tarefas de an lise de processamento em lote antes de obter quaisquer resultados. H muitos casos em que necess rio analisar resultados de uma sequ ncia ilimitada de dados em segundos ou sub-segundos. Para satisfazer a crescente procura de processamento desses dados em fluxo cont nuo, foram implementados e amplamente adoptados v rios sistemas de processamento em fluxo cont nuo, como o Apache Storm, o Apache Spark, o IBM InfoSphere Streams e o Apache Flink. No entanto, como avaliar os sistemas de processamento de fluxo antes de escolher um no desenvolvimento da produ o uma quest o em aberto. Neste livro, apresentamos o StreamBench, uma estrutura de benchmark para facilitar as compara es de desempenho dos sistemas de processamento de fluxo. Uma carater stica fundamental da estrutura do StreamBench que ela extens vel - ela suporta a defini o f cil de novas cargas de trabalho, al m de facilitar a avalia o comparativa de novos sistemas de processamento de fluxo.