Comments 12
Это тот же AWS, только машины расположены не в множестве централизованных серверных в ряде регионов мира, а в домах / гаражах / серверных множества людей по всему земному шару, а каждая машина / кластер будет являться нодой сети блокчейна.
А с латентностью (и пропускной способностью) вы что будете делать, когда конкретый кастомер нажимает кнопку в приложении в Филадельфии, а у вас соответствующий код "децентрализовано" выполняется в чьем-то гараже в Иркутске?
Что будем, что будем… Страдать будем (с).
Автору как ML ресёчреру интересно не распределенными вычислениями воспользоваться, а модельки дёшево тренировать. Теги вон про одни блокчейны и децентрализацию, ни одного про Амдала и скорость света.
а модельки дёшево тренировать
Так оно все равно не будет дешево, потому что таскать данные для обучения моделек - недешево (как и память на оконечном устройстве, чтобы оно туда влезло).
Про задержки и пропускную способность - солидарен с вами. Инфраструктура и расположение в таких вопросах - решают всё, дяди Васи и сообщества любителей-энтузиастов не подойдут
Вы верно подметили - тягать данные это недешево, а порой и больно с точки зрения времени передачи. В типовых случаях скорость передачи едва ли превысит (хорошо, если вообще достигнет) 100 МБит. Подтянуть датасет ~700 Гб - 17 часов минимум.
это стандартная боль в ML/DL - данные перебрасывать с хоста на хост приходится в любом случае во время сбора / препроцессинга / фильтрации, нужно лишь грамотно строить процессы, чтобы лишний раз ничего никуда не тянуть.
На дистанции в этом вопросе вряд ли будет принципиальная разница между централизованными и децентрализованными провайдерами, что к тем, что к другим большие данные за минуту не отправить. И у обоих хранение влетит в копеечку
дяди Васи и сообщества любителей-энтузиастов не подойдут
А кто вообще подойдет, чтобы это было осмысленно?
На дистанции в этом вопросе вряд ли будет принципиальная разница между централизованными и децентрализованными провайдерами
Да нет, как раз принципиальная разница есть: у централизованного провайдера можно организовать локализованное хранение данных (лежит в том же датацентре, где и считаем). А у децентрализованного это по определению невозможно.
потому что на децентрализованных пулах нечего считать.
считают или госконторы или универы на грантах - им персоналка дяди джо просто не нужна
Понял ваш посыл, в целом согласен, если говорим о "внушительных" вычислениях - высоконагруженные сервисы, обучение огромных моделей, моделирование сложных физических и биохимических процессов - без огромных денег / грантов / льгот это в принципе трудновыполнимо
А средне-мелкого много чего есть для просчета. Но это лишь укрепляет позицию децентрализованных пулов вычислений в качестве нишевых решений для ограниченного пула задач
Если убрать пахнующие скамом web3/dApp/blockchain/smartcontract баззворды, то опции вполне находятся, именно распределенные:
PlayKey / MTS Fog Play / Drova.io и т.п.
Конечно, если вам "ехать". Если "шашечки" - ну, можете сделать своё решение, с куртизанками и баззвордами.
Ну или вот, BOINC / GRIDCOIN https://gridcoin.us/
Децентрализованные облачные вычисления — благо или зло?