Pull to refresh
  • by relevance
  • by date
  • by rating

Распределенные вычисления на JavaScript: Сегодня

JavaScript *
В настоящее в время существует огромное количество сетей распределенных вычислений. Я насчитал порядка 30. Наиболее крупные — Folding@home, BOINC, SETI@home, Einstein@Home, Rosetta@home (по результатам их вычислений было написано несколько десятков диссертаций). Вычисляют они все, что только можно вычислять распределено — от подбора md5 паролей до симуляции свертывания белка.
Каждая из эти сетей имеет необычно высокую производительность и включает в себя миллионы нодов. Производительность каждой сравнима с производительностью суперкомпьютера.
  • Rosetta@home — более 110 Тфлопс
  • Einstein@Home — более 355 Тфлопс
  • SETI@home — более 560 Тфлопс
  • BOINC — более 5.6 Пфлопс
  • Folding@home — более 5.9 Пфлопс
  • Bitcoin — более 9.4 Пфлопс
Сравните с суперкомпьютерами:
  • Blue Gene/L (2006) — 478.2 Тфлопс
  • Jaguar (суперкомпьютер) (2008) — 1.059 Пфлопс
  • IBM Roadrunner (2008) — 1.042 Пфлопс
  • Jaguar Cray XT5-HE (2009) — 1.759 Пфлопс
  • Тяньхэ-1А (2010) — 2.507 Пфлопс
  • IBM Sequoia (2012) — 20 Пфлопс
А теперь, давайте, подсчитаем существующий неиспользуемый потенциал пользователей интернет:
По расчетам на конец 2010 года пользователей Инернет было около 2000000000 (2 млрд).
Каждый пользователь имеет хотя бы 1 ядро процессора производительностью не менее 8 Гфлопс (AMD Athlon 64 2,211 ГГц).

По нехитрым математическим расчетам производительность такой сети составит:
8 * 109 * 2 * 109 = 16 эксафлопс (1018).
Такая сеть в 800 раз производительней, чем ещё не построенная IBM Sequoia (2012), в 1700 раз производительней, чем сеть Bitcoin и производительней всех суперкомьютеров и вычислительных сетей вместе взятых! Сейчас число пользователей ПК и Интерент растет, растет и число ядер. Безусловно, это число (16 эксафлопс) идеальное, никто не будет вычислять 24/7, но если каждый пользователь будет вычислять хотя бы 2 минуты в день (что, впринципе, более чем реально), то такая сеть сравнится с IBM Sequoia.

Сейчас распределенные браузерные вычислительные сети на JavaScript более чем реальны.
Читать дальше →
Total votes 122: ↑117 and ↓5 +112
Views 10K
Comments 87

Генерация Bitcoin в браузере: Обратная сторона

Cryptography *
Пока тема распределенных вычислений на клиенте, bitcoin и генерации bitcoin ещё актуальна. Предлагаю рассмотреть ещё одно решение для генерации биткоинов.

20 мая на форуме bitcoin появился топик Embedable Javascript Bitcoin miner for your website — автор топика предлагал решение на чистом JavaScript. Тема быстро расползалась по твиттеру и популярным JavaScript блогам. Кратко его идею можно описать вот этой фразой: «Turn your website into a bitcoin miner» Каждый посетитель сайта выступает в роли шахтера по добыче bitcoin. Казалось бы это прекрасно — исчезнет реклама, сайты начнут окупать себя за счет добычи bitcoin.

Представим ситуацию: «сайт А» и «сайт Б» и так далее внедряют этот скрипт по добыче bitcoin.
  1. Пользователь, пришедший на сайт А и Б начинает добывать на 2 фронта (загрузка процессора 200%), даже если будет какая-то система ограничения параллельной добычи, то будут ли ею пользоваться — «зачем я буду уступать какому-то сайту А?».
  2. Будут ли пользоваться системой «ограничения оборотов»? — «зачем я буду снижать нагрузку на ЦП пользователя и получать меньше денег, если сайт А не делает этого?»
  3. Будут ли добавлять опцию «включить добычу bitcoin для помощи сайту», чтобы дать пользователю выбор включить добычу или нет — «зачем я буду давать какой-то выбор? — пришел на мой сайт пусть пашет!»

Читать дальше →
Total votes 56: ↑50 and ↓6 +44
Views 39K
Comments 108

Взлом ключей за деньги — оценка на основании сети биткоин

Cryptography *
Если рост мощности сети биткоин продолжится и дальше в текущем темпе, то вычислительная мощь этой сети может составить непосредственную угрозу криптостойкости RSA-1024 уже через год-полтора.

Криптовалюта Биткоин использует подбор хешей для закрепления проведённых транзакций. Эта операция требует существенных вычислительных ресурсов, но с ростом курса криптовалюты и появления видеокарт, позволяющих эффективно считать нужную криптографию, на подбор хешей были подключены существенные вычислительные ресурсы, уже превзошедшие мощность профессиональных суперкомпьютеров и сетей распределённых вычислений (научных и не очень).
Непосредственно работа сети биткоин-майнеров (тех, кто занимается подбором хешей) не представляет угрозу для криптографических ключей, однако её пример — хорошая оценка того, какие вычислительные мощности можно собрать, если платить всем участникам деньги. Причём платить не просто один большой приз за нахождение закрытого ключа, как это делалось до сих пор, а не очень большие деньги, пропорциональные вкладу в работу по взлому. Кроме того, часть ресурсов биткоин-майнеров может быть довольно быстро перехвачена, если будет объявлен конкурс на взлом криптографического ключа, дающий больший доход, чем майнинг биткоинов.

Под катом — небольшой прогноз роста мощности сети, оценки времени и стоимости взлома.
Читать дальше →
Total votes 70: ↑67 and ↓3 +64
Views 13K
Comments 108

Кейт Мэтсудейра: Масштабируемая Веб-архитектура и распределенные системы

High performance *Open source *
Четыре месяца назад ребром встал вопрос о тексте для моего дипломного перевода. Результатом помощи коллективного разума стало решение переводить главу Scalable Web Architecture and Distributed Systems за авторством Kate Matsudaira. Нужно отметить, что это мой первый перевод такого объема и сложности. Текст, был мною относительно успешно переведен, хотя по качеству перевода я поставил бы себе 6-7 из 10. Дабы мои усилия не пропали втуне, публикую результат своих трудов.

Масштабируемая Веб-архитектура и распределенные системы zip, ~1 mb.
Если кто-либо заинтересован в улучшении качества перевода — пишите в PM, открою доступ к колаборативному переводу на translatedby.com
Total votes 35: ↑30 and ↓5 +25
Views 10K
Comments 20

Кейт Матсудейра: Масштабируемая веб-архитектура и распределенные системы

High performance *Open source *Distributed systems *
Recovery mode
Translation
Tutorial
Шесть месяцев назад ребром встал вопрос о тексте для моего дипломного перевода. Результатом помощи коллективного разума стало решение переводить главу Scalable Web Architecture and Distributed Systems за авторством Kate Matsudaira. Нужно отметить, что это мой первый перевод такого объема и сложности. Текст, был мною относительно успешно переведен, хотя по качеству перевода я поставил бы себе 6-7 из 10. Дабы мои усилия не пропали втуне, публикую результат своих трудов.

По просьбам читателей Хабра, теперь полная версия в виде топика.

The Architecture of Open Source Applications (Volume 2)

Масштабируемая веб-архитектура и распределенные системы


Кейт Матсудейра

Перевод: jedi-to-be.
Коррекция: Anastasiaf15, sunshine_lass, Amaliya, fireball, Goudron.


Читать дальше →
Total votes 73: ↑72 and ↓1 +71
Views 77K
Comments 5

Реактивный манифест

System Analysis and Design *Concurrent computing *
Translation
В последние годы требования к приложениям значительно изменились. Десятки серверов, время отклика в несколько секунд, оффлайновое обслуживание, которое могло длиться часами, гигабайты данных — такими были большие приложения буквально несколько лет назад. Сегодня же приложения работают абсолютно на всём, начиная с простых мобильников и заканчивая кластерами из тысячи процессоров. Пользователи ожидают миллисекундного времени отклика и стопроцентного аптайма, в то время как данные выросли до петабайтов.

Первоначально эту нишу занимали крупные инновационные интернет-компании типа Google или Twitter, однако такие требования к приложениям начали всплывать во многих областях индустрии. Финансовые и телекоммуникационные компании первыми начали внедрять новые практики, чтобы удовлетворить новым требованиям, а теперь подтягиваются и остальные.

Новые требования требуют новых технологий. Предыдущие решения делали упор на управляемые сервера и контейнеры. Масштабирование достигалось засчёт покупки более крутых серверов и использования многопоточности. Для добавления новых серверов приходилось применять комплексные, неэффективные и дорогие проприетарные решения.

Однако прогресс не стоит на месте. Архитектура приложений эволюционировала в соответствии с изменившимися требованиями. Приложения, разработанные на основе этой архитектуры, мы называем Реактивными Приложениями. Такая архитектура позволяет программистам создавать событийно-ориентированные, масштабируемые, отказоустойчивые и отзывчивые приложения — приложения, работающие в реальном времени и обеспечивающие хорошее время реакции, основанные на масштабируемом и отказоустойчивом стеке и которые легко развернуть на многоядерных и облачных архитектурах. Эти особенности критически важны для реактивности.

Читать дальше →
Total votes 24: ↑21 and ↓3 +18
Views 48K
Comments 15

Масштабировать просто. Часть третья — стратегии

Programming *Java *System Analysis and Design *
В предыдущих частях (тут и тут) мы говорили об основных архитектурных принципах построения масштабируемых порталов. Сегодня продолжим разговор об оптимизации правильно построенного портала. Итак, стратегии масштабирования.
Читать дальше →
Total votes 28: ↑27 and ↓1 +26
Views 13K
Comments 3

Создание и использование Matlab кластеров

High performance *Matlab *
Sandbox
Цель статьи: хочу поделится опытом создания трех вычислительных кластеров Matlab, а также их удаленного администрирования.

Небольшое вступление

При исследовании/моделировании разных природных явлений (и не только), изредка появляется потребность в больших вычислительных способностях с которыми домашний ПК справится уже не в силе (каким бы мощным он небыл). В конце концов, эта потребность появились и у меня.

Моделирование, связанное с решением систем нелинейных дифференциальных уравнений на длинном промежутке относительного времени занимает достаточно много процессорного времени, поэтому было принято решение это все дело «расспаралелить».

Итак, обо всем — по порядку


Железо в наличии:

Дома: комп (Phenom II x4 840, 7x64) и ноут (Athlon II Dual-Core M320, 7x64) соединенные в одну сеть старым добрым маршрутизатором DIR-300.

Дома у девушки: комп (i5 4440, 7x64).

На работе: 10 компов (Athlon II Dual-Core, XPx86) (связанных в одну сеть) в одном помещении и 4 (Athlon II Dual-Core, XPx86) в другом (тоже связанных в одну сеть). Локальной сети между помещениями нет.

На всех вышеперечисленных ящиках присутствует доступ в интернет.
Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 15K
Comments 15

Распределенное кодирование видео

Open source *
image
Думаю, большинству хабрапользователей хоть раз да приходилось кодировать видео. Возможно, вы хотели посмотреть свежую серию любимого сериала в метро, а ваш смартфон или иное портативное устройство никак не хотело играть этот кодек, или SmartTV отказывался декодировать звук в видеофайле, либо же вы застряли в 2004 и транскодировали H.264 в MPEG-4 для вашего старого DVD-проигрывателя. Или же, например, сжимали невероятного размера видео, снятое фотоаппаратом, во что-то более-менее приличное по размеру. Наверняка вы замечали, что это не самый быстрый процесс.

Для кодирования видео сделано огромное количество софта, начиная от программ типа «жми крестик чтобы кодировать» и заканчивая софтом, который принимает AviSynth-скрипты на вход. Однако программы, поддерживающие хоть какое-то распределение кодирования, можно пересчитать по пальцам одной руки.

Что вообще следует понимать под распределенным кодированием видео? В моем представлении, есть 2 разных задачи:
  1. Кодирование большого количества видеофайлов на множестве компьютеров одновременно
  2. Кодирование одного видеофайла по частям на множестве компьютеров одновременно

Первая задача подразумевает наличие большого количества видеофайлов, сильно больше, чем компьютеров, на которых их можно кодировать, и довольно легко автоматизируется с использованием CLI-кодировщиков, например, HandBrake или FFmpeg и любых средств автоматизации, которые поддерживают распределение, вроде GNU Parallel или PPSS (к слову, о нем мало кто знает, рекомендую!).

Вторая же задача подразумевает наличие малого количества файлов и большого числа компьютеров, и она несколько сложнее: нам необходимо, во-первых, разбить файл на маленькие части, во-вторых, перекодировать их, и в-третьих, собрать обратно.
Читать дальше →
Total votes 44: ↑44 and ↓0 +44
Views 20K
Comments 34

Распределённые вычисления: немного теории

Algorithms *
Tutorial
Девять лет назад я начал «в свободное от основной работы время» преподавать компьютерные дисциплины в одном из университетов Санкт-Петербурга. И только сравнительно недавно к своему удивлению обнаружил, что в наших вузах практически отсутствуют курсы с фокусом на проблематику распределённых вычислений. И даже на Хабре эта тема не раскрыта в достаточной мере! Надо прямо сейчас исправлять ситуацию.

Этой теме я и хотел посвятить статью или даже серию статей. Но потом решил выложить своё учебное пособие по основам распределённых вычислений, вышедшее в свет в этом году (читай, небольшую книгу объемом 155 страниц). В итоге получился гибрид – статья со ссылкой на книгу. Книга распространяется бесплатно и доступна в электронном виде.

Вместо пролога. Приступив к тексту статьи, я в очередной раз задумался, а зачем программисту нужно знать теоретические основы распределённых вычислений. Этот вопрос я неоднократно слышал (и продолжаю слышать) от студентов и специалистов, уже работающих в области ИТ. Действительно, зачем, например, знать, что «множество событий распределённого вычисления упорядочено частично, а не линейно»? В чем, так сказать, каждодневная практическая польза этого фундаментального знания?

Должен признать, что у меня нет готового заученного ответа, который я могу выдать не задумываясь. Поэтому каждый раз приходится напрягаться извилинами, и каждый раз ответы и аргументы получаются разными. Вот и сейчас всё как впервые…
Читать дальше →
Total votes 52: ↑48 and ↓4 +44
Views 51K
Comments 37

Распределенные вычисления для поиска жилья

High performance *Go *Browser extensions
Все слышали о distributed computing проектах, которые пытаются решать масштабные задачи, вроде поиска внеземной жизни, лекарств от СПИДа и рака, поиска простых чисел и уникальных решений для Судоку. Все это очень занимательно, но не более того, ведь практической пользы для человека, поделившегося ресурсами своего компьютера — никакой.

Сегодня я расскажу о распределенных вычислениях, решающих ваши проблемы. Ну не все конечно, а только некоторые, связанные с поиском жилья. Недавно я писал о проекте Sobnik, расширении для Chrome, которое обнаруживает посредников на досках объявлений. Две недели назад была запущена новая версия программы, в которой работа по сканированию и анализу объявлений распределяется по компьютерам пользователей. За прошедшее время было обработано около миллиона объявлений из более тысячи городов России, и это — только начало. Подробности, технические детали и еще немного цифр ждут вас под катом.

Читать дальше →
Total votes 45: ↑41 and ↓4 +37
Views 22K
Comments 38

Consul: Service Discovery это просто, или прощаемся с конфиг-файлами

System Analysis and Design *SaaS / S+S *
Tutorial
Что здесь интересного:

image

Обзорная статья о Consul (http://consul.io) — системе для поддержания обнаружения сервисов и распределенного хранилища ключ-значение. Кроме самого Consul, рассмотрим Consul-Template — средство для управления конфигурациями сервисов автоматически отражающее изменения в топологии. Статья будет интересна DevOps инженерам, системным архитекторам, тим-лидам проектов и прочим интересующимся микросервисными архитектурами.
Читать дальше →
Total votes 15: ↑15 and ↓0 +15
Views 105K
Comments 28

Параллельный парсинг большого количества HTML-страниц с помощью Apache Ignite (GridGain) в 200 строк кода

Java *Data Mining *Big Data *
Recovery mode
Периодически у меня появляются задачи обработать большое количество файлов. Обычно это конвертирование из одного формата в другой: XSLT-трансформация, парсинг, конвертация картинок или видео. Для решения этих проблем я приспособил фреймворк GridGain In-Memory Data Fabric. Он дает возможность делать distributed computing, MapReduce, распределенные кэши и очереди, распределенную файловую систему в памяти, перемещение кода к данным, job stealing, ускорители для Hadoop и многие другие модные ныне вещи. И все это легко и под разные операционки. Вы легко можете все это пощупать под виндовс.

Попробую рассказать о своем опыте использования на примере простенькой задачи.
Читать дальше →
Total votes 13: ↑11 and ↓2 +9
Views 29K
Comments 14

Как использовать Parquet и не поскользнуться

Wrike corporate blog System Analysis and Design *Big Data *


О хранении данных в Parquet-файлах не так много информации на Хабре, поэтому надеемся, рассказ об опыте Wrike по его внедрению в связке со Spark вам пригодится.
В частности, в этой статье вы узнаете:

— зачем нужен “паркет”;
— как он устроен;
— когда стоит его использовать;
— в каких случаях он не очень удобен.

Читать дальше
Total votes 10: ↑10 and ↓0 +10
Views 37K
Comments 14

Apache Ignite 2.0 — Machine Learning, новая модель хранения данных, DDL

GridGain corporate blog Java *.NET *Big Data *Machine learning *
В мае вышла новая мажорная версия Apache Ignite — распределенной платформы, оптимизированной для работы с оперативной памятью, которая объединяет в себе хранилище вида ключ-значение с SQL99-совместимой базой данных, предлагая полную ACID-совместимость, высокую доступность, а также близкое к линейному масштабирование с нескольких узлов до тысяч, которые могут размещаться на собственном оборудовании либо в облаке. Ядро Apache Ignite написано на Java, но платформа, помимо экосистемы Java, поддерживает нативную интеграцию с приложениями на .NET и C++.

Apache Ignite эластично масштабируется в рамках одного или нескольких геораспределенных кластеров, предоставляя гибко настраиваемое шардирование и автоматическую ребалансировку при динамическом добавлении или удалении узлов, обеспечивая прозрачный и быстрый доступ к данным и вычислениям путем использования собственного API либо классического SQL.

В версии 2.0 были значительно переработаны многие вещи «под капотом», следствием стала возможность реализации ряда значительных функциональных изменений, часть из которых заметна уже сейчас, а часть появится в ближайших версиях.

Забегая вперед, мы будем проводить 2 мероприятия, которые связаны с Apache Ignite, подробнее о них можно прочитать в конце статьи.


Читать дальше →
Total votes 20: ↑20 and ↓0 +20
Views 9.5K
Comments 5

Бесплатные билеты на In-Memory Computing Summit 2017 – Europe

GridGain corporate blog Java *.NET *Big Data *Machine learning *
Всем привет! Возможно, вы знаете, что 20-21 июня в Амстердаме пройдет In-Memory Computing Summit 2017 – Europe. Все детали тут.



Мероприятие, ставшее уже традиционным в США, с этого года также будет ежегодно собирать экспертов из Европы и Азии на новой европейской площадке. На различных секциях конференции выступят представители компаний ING, Intel, Tata Consultancy Services, The Glue, Redis Labs, ScaleOut Software и WSO2.

У меня есть несколько бесплатных билетов, которыми я с удовольствием поделюсь с вами.
Напишите мне на почту mkuznetsov@gridgain.com или в личные сообщения на Хабре. От вас — ФИО и название компании на английском языке, адрес электронной почты и мобильный телефон.

Приезжайте, будет круто!
Total votes 7: ↑4 and ↓3 +1
Views 1.7K
Comments 0

Обзор возможностей библиотеки Apache Curator для Apache Zookeeper

High performance *Open source *Java *Scala *Concurrent computing *

По долгу работы мне приходится сталкиваться с проектированием и разработкой распределенных приложений. Такие приложения часто используют различные средства межпроцессного взаимодействия для организации взаимодействия компонентов. Особые сложности возникают в процессе реализации алгоритмов, обрабатывающих связанные данные распределенно. Для поддержки таких задач используются специализированные системы распределенной координации. Самым популярным и широко используемым продуктом является Apache Zookeeper.

Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 13K
Comments 14

Пишем небесных пчелок на Cloud Haskell

Проектная школа программирования GoTo corporate blog Decentralized networks Open source *Programming *Haskell *
Tutorial

Привет, Хабр!

Прошло всего лишь каких-то 11577635 секунд с конца осенней школы GoTo в ИТМО. Неделя направления Распределённых систем началась с прототипирования распределённой системы на Cloud Haskell. Мы начали бодро и потому быстро выяснили, что существующую документацию без PhD понять сложновато — и решили написать методичку.

Под катом введение в p2p cloud haskell, немножко функционального стека прототипирования РС, мотивация и «но зачем».
Читать дальше →
Total votes 26: ↑26 and ↓0 +26
Views 5.9K
Comments 3

Apache Kafka: обзор

Издательский дом «Питер» corporate blog Programming *Java *Apache *Big Data *
Translation
Привет, Хабр!

Сегодня мы предлагаем вам сравнительно краткую, но при этом толковую и информативную статью об устройстве и вариантах применения Apache Kafka. Рассчитываем перевести и выпустить книгу Нии Нархид (Neha Narkhede) et. al до конца лета.


Приятного чтения!
Читать дальше →
Total votes 36: ↑36 and ↓0 +36
Views 195K
Comments 19

2 бесплатных билета на In-Memory Computing Summit Europe

GridGain corporate blog Conferences


25 и 26 июня в Лондоне пройдет второй In-Memory Computing Summit. Это единственное в Европе мероприятие, целиком посвященное технологиям вычислений в оперативной памяти. Два дня, четыре потока, технические специалисты из глобальных и европейских компаний на сцене и в зале.

Есть британская виза? Присоединиться к IMC Summit Europe стало легче ровно на 525 британских фунтов, которые не потребуется платить двум везунчикам, выигравшим билеты на оба дня конференции.

Как получить один из двух бесплатных билетов?

  1. Написать на почту kromanova@gridgain.com. Отправить на почту письмо со словами «Хочу на IMC Summit Europe»
  2. Победителей определяем генератором случайных чисел (число = порядок поступления в почтовый ящик, скрины будут).
  3. Разыгрываем в 13:00 по Москве 9 июня 2018

Читать дальше →
Total votes 15: ↑15 and ↓0 +15
Views 1.1K
Comments 4
1