Как стать автором
Обновить
0

Intel Distribution for Apache Hadoop: чтобы «большим данным» было комфортно

Время на прочтение2 мин
Количество просмотров4K

Хабражителям, интересующимся «большими данными», наверное, не имеет смысла рассказывать о проекте Apache Hadoop. В последнее время этот фреймворк стал особенным популярным и часто упоминаемым на Хабре – так, совсем недавно специалисты Mail.ru рассказали о миграции своей поисковой машины на Hadoop.
А как сделать хорошую программную систему еще лучше? Например, добавить в нее аппаратные компоненты. Именно таким путем пошла компания Intel, выпустив Intel Distribution for Apache Hadoop – «локализацию» Hadoop под платформу Intel Xeon, снабженную многими полезными функциями для облегчения ее управления и эксплуатации.

Помимо основных приложений Apache Hadoop, как показано на рисунке, пакет Intel включает в себя дополнительный компонент Intel Manager for Hadoop Software, облегчающий развертывание, настройку и слежение за работой новых приложений. Кроме того, модуль Intel Active Tuner for Apache Hadoop выполняет автоматическую настройку конфигурации рабочих показателей системы. В качестве дополнительного компонента доступна библиотека построения графических отчетов Intel Graph Builder for Apache Hadoop.
Оптимизация фреймворка под платформу Intel Xeon позволила добиться двух важных результатов:
  • Внедрение шифрования данных без замедления дисковых операций в файловой системе HDFS за счет аппаратной реализации алгоритма шифрования AES в процессорах Intel Xeon;
  • Существенное повышение общей производительности системы за счет оптимального взаимодействия ПО Hadoop и подсистем ввода-вывода Xeon. По результатам внутреннего тестирования Intel, разработчикам компании удалось добиться пятикратного разгона системы по сравнению с неоптимизированным вариантом.


Intel развивает сразу несколько проектов, связанных с облачными технологиями и сетями хранения данных. Так, сравнительно недавно был выпущен Intel Intelligent Systems Framework – фреймворк систем для сбора, анализа и передачи информации с конечных устройств в центры обработки данных. А вот другой проект находится только в самом начале пути. В конце февраля корпорация Intel и российская компания «Мирантис», вендор платформы OpenStack, подписали соглашение о сотрудничестве в области разработки программного обеспечения. Значит, в будущем мы также увидим оптимизацию OpenStack под процессоры Intel, что, как и в случае с Hadoop, наверняка позволит получить заметный выигрыш.
Теги:
Хабы:
Всего голосов 17: ↑14 и ↓3+11
Комментарии11

Публикации

Информация

Сайт
www.intel.ru
Дата регистрации
Дата основания
Численность
5 001–10 000 человек
Местоположение
США
Представитель
Анастасия Казантаева

Истории