Stream Processing Systems Benchmark: StreamBench

Batch-Verarbeitungstechnologien (wie MapReduce, Hive, Pig) sind ausgereift und in der Industrie weit verbreitet. Diese Systeme haben das Problem der Verarbeitung gro er Datenmengen erfolgreich gel st. Allerdings m ssen gro e Datenmengen zun chst gesammelt und in einer Datenbank oder einem Dateisystem gespeichert werden. Das ist sehr zeitaufw ndig. Dann dauert es eine Weile, bis die Stapelverarbeitungsanalyse abgeschlossen ist, bevor man Ergebnisse erh lt. Es gibt jedoch viele F lle, in denen Analyseergebnisse aus einer unbegrenzten Datenmenge in Sekunden oder Subsekunden ben tigt werden. Um die steigende Nachfrage nach der Verarbeitung solcher Streaming-Daten zu befriedigen, wurden mehrere Streaming-Verarbeitungssysteme implementiert und weit verbreitet, wie z. B. Apache Storm, Apache Spark, IBM InfoSphere Streams und Apache Flink. Die Frage, wie man Streaming-Verarbeitungssysteme evaluiert, bevor man sich f r eines in der Produktionsentwicklung entscheidet, ist jedoch offen. In diesem Buch stellen wir StreamBench vor, ein Benchmark-Framework, das Leistungsvergleiche von Stream-Processing-Systemen erleichtert. Ein wesentliches Merkmal des StreamBench-Frameworks ist seine Erweiterbarkeit - es unterst tzt die einfache Definition neuer Workloads und erleichtert das Benchmarking neuer Stream-Processing-Systeme.