Комментарии 4
Очень интересный фреймворк, спасибо!
Вопрос: насколько сейчас такой метод обучения устойчив к adversarial атакам? Кажется, что малое количество злонамеренных участников может сильно повлиять на итоговые веса.
Хороший вопрос! Проблема действительно важная: даже один участник может отправлять неправильные градиенты и дестабилизировать обучение, если не предпринимать никаких мер противодействия этому. Здесь в экспериментах мы использовали механизм аутентификации для допуска только доверенных участников, однако есть и более продвинутые методы.
В целом область науки, занимающаяся этой проблемой, называется byzantine-tolerant training, и существует не так мало методов для обеспечения устойчивости. В частности, в ещё одной нашей недавней статье мы предлагаем масштабируемый метод для защиты децентрализованного обучения: он опирается на устойчивую к выбросам агрегацию CenteredClip и идеи из secure multi-party computation для проверки случайного подмножества участников. Уже работаем над его встраиванием в hivemind, stay tuned!
Люди не хотят что либо скачивать это выглядит подозрительно.
Проблемой ИИ на BOINC занимается MLC@HOME
Что следует сделать яндексу. Если вам не всё равно на тему распределённых вычислений ИИ
Нужно.
1) что бы все вычисления производились в браузере
2) эти вычисления должны быть микро вычислениями до 1 минуты или до 5 минут
3) виртуальное облако должно видеть всех участников через DHT или браузерную торрент сеть
4) за вычисления должны быть очки, и вознаграждение и планка сколько % отдать процессора
у FOLDING HOME были вычисления в браузере, но они закрыли эту функцию. А было удобно. зайти на сайт, и вычислять пару часов и уйти.
Остался один шаг — сделать из всего этого криптовалюту. И сразу решатся все проблемы, и воцарится мир и порядок: пользователи зарабатывают монетки, компьютеры заняты полезной работой (а не тупо греют воздух), вычислительная мощность сети неуклонно растёт...
Кажется, что-то подобное уже было. Действительно, члены проекта BOINC восемь лет назад запустили собственную криптовалюту Gridcoin, которая один раз даже подскочила в цене до 1/5 доллара в начале 2018 года. Но кто вспомнит про неё сейчас, когда она стоит меньше цента. Вычислительных задач мало, потенциал для роста и расширения сообщества невелик, мануалы для новичков давно никто не обновлял. А главный недостаток такой модели - возможность злоупотребления вознаграждением, отсюда низкое доверие к результатам вычислений (одну и ту же задачу необходимо поручить минимум двум узлам и убедиться, что результаты одинаковые) и необходимость многоступенчатого контроля.
DeDLOC: обучаем большие нейросети всем миром