Comments 48
Создается впечатление, что Гугл понимает свое отставание и инвестировать в свои дата центры не хочет. Вот только кто им по всему миру мощности предоставлять будет не понятно. Возможно есть вариант брать отдельные мощности в аренду и это выгодней чем строить свое, но цены на специфические железки кусается и не понятно потом что сними делать, если их арендовать перестанут. Кажись не чего у них не выйдет.
Возможно речь об использовании ресурсов конечных пользователей. У Гугла как раз есть доступ к немаленькой аудитории.
Если бы вместо 20$ за GPT я мог поставить в Хроме галочку и тратить 5% ресурсов компьютера в простое на ИИ, взамен получая более умные/быстрые ответы - это был бы очень интересный вариант...
Майнер на пользовательском устройсве?
И так чем дальше тем хуже продукты - тот же андроид.
Не верю что шардирование расчетов по устройсвам будет быстрее сервера (так как там очень важна оперативка и единое пространство памяти).
Так же не верю что это решение будет работать как ожидалось и "забирать" всего 5%, учитывая все продукты гугла
Майнинг шмайнинг... выросло поколение, не знавшее распределенных вычислений.
Возможно речь об использовании ресурсов конечных пользователей.
Уверен что это вообще не возможно и экономически не оправдано и по скорости обучения на порядки ниже чем на спец железе в дата центре.
Призываются специалисты по нейросетям, что бы объяснили специфику обучения нейросетей. На кой там нужны большие объемы видеопамяти и почему нельзя использовать оперативную память при нехватке первой например.
На кой там нужны большие объемы видеопамяти и почему нельзя использовать оперативную память при нехватке первой например.
Для обучения обычно используются процессоры видеокарты, более приспособленные к специфической математике нейросетей (перемножение матриц, например). Обычную оперативку в принципе использовсть можно, но тогда придется гонять промежуточные данные по внешней шине карты, что неэффективно. Это как нехватка обычного ОЗУ с подкачкой на диске. В качестве экстренной меры может и прокатить, но лучше так не делать.
100млн компьютеров, которые оставили на ночь молотить кусочек одной задачи возьмут банальным количеством.
Нужно придумать только причину «зачем это нужно простым пользователям».
…и убедится что решением задачи не является эксплоит.
В чем профит этим 100 миллионам пользователей оставлять свои компьютеры на ночь?
Когда я вступал в проекты BOINC типа SETI Home, то я знал что это фо фан такая штука не коммерческая.
Когда я майнил, то знал, что падает какая-то копейка, а вначале было вообще прикольно.
А тут какой профит мне жечь электричество ради блага одной из самой богатой корпорации нашей планеты?
То что они типа опенсорс делают сетку я в это не верю.
Вам будет интересней оставлять компьютер на ночь, если вознаграждением будет последующий "бесплатный" доступ к результатам работы обучаемой нейросети? Думаю будет ставка на что то подобное.
Торренты оставляли на ночь от безысходности. Кто сейчас будет это делать? Ради мифической выгоды в виде "более качественного результата нейросети", который завтра с релизом конкурирующего продукта превратится в тыкву?
Вы недооцениваете раздающих, которые на ночь оставляют компьютеры ради "благой цели" или циферок в топах по раздающим (статистика отданного в профиле).
До сих пор так делают. Я, например, чтобы не жечь много электричества поставил NAS и торрент клиент на роутер.
Выше правильно подметили про BOINC: когда-то мы не только игрались, а и из благой цели учавствовали в Folding и SETI.
Конечно, не абсолютное большинство, но энтузиастов немало
По логике вещей, разреженные нейросетевые модели может получиться тренировать с использованием распределённых вычислений...
Например для BigQuery у гугла множество локальных субподрядчиков. Как-то справляются с ворочанием данных по всему миру
А мне кажется. Что ai обучение не масшабируется. Нельзя разделить задачу. При поиске внеземной жизни, там просто куски неба и сигналов разпределяли.
А тут граф графа и графом погоняет. Неразбиваетя на кусочки. Ибо в основном обмен данными, между нейронами.
Можно делить исходный массив примеров на небольшие куски и каждый обсчитывать на отдельном компьютере. А потом от каждого такого компьютера брать смещение весов относительно начала операции, передавать их на сервер и объединять с основной моделью. Мне кажется, это теоретически возможно.
Можно, но проблема в другом. Нужны данные. Причём в том виде в котором оно есть, это скорее генерализованный поиск, а не искусственный интеллект. Почему так? А потому что обработка им данных больше похожа на индексацию, чем на обучение. Смысл обучения - построить алгоритм, умеющий находить закономерности в данных и обобщать их. Если со вторым LLM справляется на 3- то с первым оно никак не справляется. И сколько данных ему не скорми, ситуация не улучшается. Оно как не умело в простейшие рассуждения, так и не умеет. Даже наоборот, обобщающая способность падает и это очень похоже на то как ведут себя поисковые движки. И теперь два дня назад я уже видел заявление, что для gpt-5 не знают где взять данные для обучающего корпуса, т к интернет (по крайней мере его вменяемую часть) они уже выгребли при обучении gpt-4... Правда с этой же проблемой столкнётся и "супер-ИИ" от мелкомягких. Но у них хоть вычислительный кластер останется от этого проекта. Потом военным сдадут в аренду, как обычно. Или распилят на мелкие части под облачные вычисления ?
Так вот куда хром жрёт память
Эта битва будет легендарной
Торрент для обучения нейросетки. Интересная идея.
Может ли корпорация ставшая злом, нести добро, в попытке обойти своих конкурентов?
Распределенные вычисления, кстати - прекрасная мысль!
Крайне сомнительная затея, учитывая что на нодах требуются мощные видеокарты. Если у кого-то такие мощности есть, вряд ли они простаивают. А на CPU серьезно сети не погоняешь, даже если этих CPU много. Да и в комментах уже упоминали плохой параллелизм обучения.
Если для обучения нейросеток нужны карты типа nvidia titan (по 400-500к рублей каждая), которые заточены под корпоративный сектор и слишком большие модели, то на что рассчитывает гугл, если у большинства юзеров места в видеокарте и оперативке не хватит даже для хранения такой модели, не то что обучающих выборок? Что все эти данные будут постоянно читаться и записываться с hdd/ssd/флешки телефона? так там замедление будет в сотни раз по сравнению с обычным обучением + будет убиваться ресурс храниища.
А потом мой единичный результат надо будет синхронизировать с результатами других людей. И что если наши модели при обучении будут находить разные "локальные минимумы" ошибок? Как эта задача вообще параллелится?
Как-то пока объяснение концепции выглядит оооочень непонятно.
Не все так однозначно. Дообучение сетки можно производить не загружая ее целиком.
Так делают например энтузиасты развивающие Stable Diffusion - они тренируют небольшую подсеть на конкретном узком классе изображений, а потом миксуют веса с основной моделью. Такой процесс требует в тысячи раз меньше ресурсов чем обучение полной модели. Фактически такое дообучение можно делать даже на слабых видеокартах, хотя времени может уйти много.
Если гугл смогут пойти дальше и создать такую распределенную систему. Это может стать интересной альтернативой.
На ПК, кстати, варианты не заканчиваются. Индустрия дружно занялась роботами для дома, где должны быть очень хорошие вычислители, а ночью им что делать? Вот и пусть отрабатывают...
Оффтоп: сразу вспоминается сериал Кремниевая долина
похоже на проекты а-ля folding@home, SETI@home. по смыслу - тоже самое
В чем мерзость хода-то? Обычная корпоративная гонка
То есть решили национализировать глобализировать затраты и приватизировать результаты? Молодцы, чего уж там!
С этого начинался поиск Гугла, когда они вместо мощных и дорогих серверов использовали много обычных ПК.
Распределённая сеть на смартфонах -вот эта сила:)
Что-то мне это напомнило финал сериала "Кремниевая долина"... Любопытненько! ;-)
Специализированное решение всегда будет более продвинутое в отличии от общественного.
Я за конкуренцию, но осадок от того, что слова вроде "распределённый" и "сообщество" достают как из штанов по нужде, остаётся. Ну и ответа на вопрос в чём, собственно, бенефиты для этого самого сообщества, я не увидел.
Речь о том, что каждый человек сможет создавать и тренировать собственные нейронки, используя мощности (в аренду или бесплатно) локальных компьютеров? Ну, в таком случае, для обучения И. И. нужны будут не мощности, а сверхскоростной интернет, как в Китае.
Google наносит ответный удар по совместному проекту Microsoft и OpenAI