пятница, 30 декабря 2011 г.

Подарок к Новому Году от Apache - релиз hadoop'а




27 января компания Apache сделала свой новогодний подарок всем пользователям hadoop.

После 6 лет разработки был выпущен первый релиз hadoop: hadoop 1.0.0 ! 





Релиз был сделан из ветви кода hadoop 0.20-security и включает в себя 
  • систему авторизации и ограничения доступа на основе Kerberos
  • webhdfs - API для доступа к hdfs по протоколу http (с поддержкой авторизации)
  • улучненную совместимость с hBase (в том числе и в области безопасности)
  • увеличение производительности hBase для доступа к локальным файлам
Подробности можно почитать тут:



понедельник, 5 декабря 2011 г.

Обзор утилит Hadoop




Создатели Hadoop называют свое детище "экосистемой для построения распределенных систем". Такую характеристику он имеет за кучу разных инструментов, которые могут работать поверх него или вместе с ним. С их помощью можно заставить hadoop кластер решать задачи пользователя.
В качестве справочника начинающему я советую читать "Hadoop: the definitive guide" Тома Вайта. Отсылая вас к разным главам в ней я буду называть ее [HDG]

В компоненты hadoop'а входят: