Analiza funkcji Java i Map Reduce w Hadoop

Hadoop, otwarta implementacja frameworka Map/Reduce oparta na języku Java, stworzona przez Apache Software Foundation, to framework obliczeniowy przeznaczony do obslugi aplikacji rozproszonych przetwarzających duże ilości danych. Zapewnia narzędzia do przetwarzania ogromnych ilości danych przy użyciu frameworka Map/Reduce, a dodatkowo implementuje rozproszony system plik w podobny do systemu plik w Google. Może byc używany do przetwarzania ogromnych ilości danych r wnolegle na dużych klastrach w spos b niezawodny i odporny na awarie. Od dawna Java jest używana przez wielu programist w do przetwarzania danych. W tej książce por wnaliśmy i przeanalizowaliśmy wydajnośc Hadoop z Java, Hadoop z Hadoop Optimize oraz Hadoop Optimize z Java pod kątem r żnych kryteri w wydajności, takich jak przetwarzanie (wykorzystanie procesora), przechowywanie i efektywnośc podczas przetwarzania danych. Wyniki naszych eksperyment w pokazują poprawę czasu wykonania przy użyciu zoptymalizowanego algorytmu Map/Reduce. Por wnując Hadoop i Java, Hadoop jest lepszy, gdy mamy klaster wielowęzlowy i duży rozmiar danych. Jednak gdy mamy pojedynczy węzel i maly rozmiar danych, nawet Java może dzialac lepiej.