• Создание собственного приложения для обработки графов в Giraph


      Be my friend by oosDesign

      Перед крупными интернет-компаниями часто встают такие сложные задачи, как обработка больших данных и анализ графов социальных сетей. Помогают в их решении фреймворки, но сперва необходимо проанализировать возможные варианты и выбрать подходящий. В лаборатории при Техносфере Mail.Ru мы изучаем эти вопросы на реальных примерах из проектов Mail.Ru Group (myTarget, Поиск Mail.Ru, Антиспам). Задачи могут быть как сугубо практические, так и с исследовательской составляющей. По мотивам одной из таких задач и появилась эта статья.

      Во время сборки и запуска своего первого проекта на Giraph сотрудники лаборатории анализа данных Техносферы Mail.Ru столкнулись с рядом проблем, в связи с чем родилась идея написать краткий туториал, как же собрать и запустить свой первый Giraph-проект.

      В этой статье мы расскажем, как создавать свои приложения под фреймворк Giraph, который является надстройкой над популярной системой обработки данных Hadoop.
      Читать дальше →
      • +16
      • 5.7k
      • 6
    • Олимпиада ФУПМ МФТИ для школьников

        Многие из нас хоть раз участвовали в различных конкурсах по программированию.
        Сейчас на сервере МФТИ judge.mipt.ru проходит заочная олимпиада для школьников по программированию.
        В данный момент в контесте 9 задач и постепенно добавляются новые.
        Контест будет доступен до конца января.

        Читать дальше →