Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 35
Закреплённые комментарии
Кстати, если вам понравилась статья, то лайкните пожалуйста перевод для англиков в твиторе
Браво! Сам об этом думаю чуть ли не ежедневно уже давно. Жаль, что никакой конкретики и немного утопичные идеи, но направление кажется верным и других все равно пока что нет.
Из ближайшего будущего меня больше всего пугает мысль о дне, когда я проснусь и увижу что подписка на Claude стоит 1000 долларов (хотел сказать закрыта вообще, но это уже и так произошло). И по ощущениям день этот близок
Спасибо за коммент! Ну я лично занимаюсь вот этим например
Так и для ваших конкурентов за рабочие места она будет 1000 долларов...
И настолько ли Claude лучше бесплатных qwen и deepseek, ну, возможно, на 20-50 долл в месяц и лучше...
Так и для ваших конкурентов за рабочие места она будет 1000 долларов…
Лично я хочу, чтобы мне было хорошо, а не чтобы ещё кому-то было плохо.
И настолько ли Claude лучше бесплатных qwen и deepseek
Уже не бесплатных
Уже не бесплатных
А это что?
Ну если купить оборудования на 45 лямов... То считай бесплатно :D
В ветке же обсуждали облачные модели. Разве нет?
подписка на Claude стоит 1000 долларов
на 20-50 долл в месяц и лучше
А по ссылке - локальная модель для скачивания
Конечно, лучше не зависеть от облачных моделей и иметь под рукой локальную, но тут уж в возможности железа всё упирается…
Кстати, если вам понравилась статья, то лайкните пожалуйста перевод для англиков в твиторе
Я целиком и полностью за децентрализацию, но одного аспекта понять не могу - какого собственно рожна суперинтеллект в руках ноунейма (или группы ноунеймов) менее опасен чем в руках корпорации. Корпорации действуют рационально. Ноунейм отправляет бомбы по почте, пусть и с благими, в своем понимании, намерениями
Потому что на один деструктивный ИИ найдется множество других ИИ, которые будут его сдерживать. Сообщество ИИ, как гарантия безопасности.
какого собственно рожна суперинтеллект в руках ноунейма
Возможно, в этом и кроется недопонимание? Не один суперинтеллект “в рукаве ноунейма”, а множество [супер]интеллектов, не подконтрольных конкретной корпорации или государству и не обслуживающие интересы их верхушек.
Корпорации тоже не против отправить что-нибудь по почте, взять хотя бы уотергейт и прочие регулярные скандалы
какого собственно рожна суперинтеллект в руках ноунейма (или группы ноунеймов) менее опасен чем в руках корпорации
Вот что я думаю по этому поводу.
Технология, будучи децентрализованной, разрабатывается сообществом. Так как она сложна, то не каждый житель Земли сможет поучаствовать в её разработке; существует определённый естественный интеллектуальный ценз. Люди, прошедшие его, понимают риски, которые несёт технология в руках злоумышленника, поэтому, будучи сами людьми рациональными и в основной своей массе руководимые благими намерениями (нравственных людей в обществе больше, чем подонков, иначе нормой было бы зло, а не добро) могут встроить в неё защиту, чтобы максимально усложнить её использование для злодеяний.
Таким образом, усилий ноунейма-злоумышленника просто не хватит для того, чтобы поделить на ноль человечество посредством этой технологии.
А, ну и второй момент - ок, есть у нас прорывная опенсорсная архитектура. А почему корпорации её не будут использовать?
Как говорил Виктор, наше все, Олегович: 3 мега-тьюринга когнитивной мощности бесплатно каждому с кукухой 🧐
В принципе, если сделать такой ИИ децентрализованным, то это могло бы взлететь: кто-то датасеты подкормил, кто-то выделил мощностей с видяхи и т.д. Но я боюсь, что это невозможно по одной простой причине: государство объявит монополию на контроль ЛЛМ и вообще ИИ и оставит в живых эти самые лаборатории, так как их легко поместить под колпак, а заодно и заставить сделать продукт, на котором можно потом будет успешно спекулировать, раздувая очередные пузыри. Делать свою ЛЛМ это уже даже не панкушество, это партизанская война в обозримом будущем...
Децентрализованная сфера llm потихоньку растёт, технологии, которыми обладают корпорации, просачиваются в широкий доступ (в т.ч. путём того, что из корпораций периодически уходят спецы и уносят с собой понимание передовых технологий).
Ценность железа для обучения llm сильно переоценена (благодаря NVIDIA, которая и подогревает эту гонку "купи самую крутую видеокарту"). Вот перевод статьи, где показано, что качественный подбор материала, на котором обучают/файнтюнят/дают примеры рассуждений llm, даёт выигрыш в пересчёте на размер модели и железо буквально в разы: "LIMO: Меньше — значит больше для рассуждающих LLM", https://habr.com/ru/articles/881974/
Очень не нравится громкое описание идеи, но я понимаю что это проблема авторов написавших статью, а не ваша. Спасибо, почитаю на досуге
Звучит безумно интересно, я пока мельком пробежался, схороню себе, еще раз спасибо
Как раз таки железо все равно важно, хоть подход LIMO это прямая дорога к радикальной демократизации обучения LLM - остается проблема интерференса и то что нам нужно держать в видеокарте/RAM всю модель разом из-за узкого горлышка шин данных.
А вообще я перепутал, штука полезная но она не совсем о том о чем я подумал - о сокращений данных на претрейне, в статье речь про дообучение.
Когда модели научаться сами синтезировать библиотеки функций на основе инструкций процессора и базовой логики, а затем из них формировать фреймворки, тогда революция в программировании станет близкой. А пока что модели выполняют роль экзотического редактора кода.
Я немножко не понял, а что помешает децентрализованному ИИ пустить человечество на скрепки?
Корпорации имеют в своих руках государства (то есть монополию на насилие). Как верно тут заметили, независимые ИИ-активисты будут считаться не панками (эпатажными фриками), а партизанами (реальной угрозой [новому] порядку). Так что без устранения власти корпораций избежать гибели человечества не получится.
я думаю, если б другая архитектура (которую можно сделать на fpga) была длступна, то её давно бы сделали
если в спецчипы лезть, то это будут чипы под конкретную схему нейросетки, а она пока меняется чуть ли не раз в неделю
однако когда устаканится, с удовольствием сам бы покопался в FPGA на эту тему
Ну какие то подвижки в этом направлении уже идут. Специализированные асики для ИИ. То, что там будет зашита всего одна модель - это ладно, ограничение технологии, то что сейчас они меняются постоянно, это в основном добавление свистоперделок. Прям качественные изменения происходят редко.
Вопрос только, кто это все дело оплатит? В случае бума майнеров там хотя бы реальные деньги крутились - хардваре это очень дорого. Ок, хорошо, собрались со всего мира разработчики чипов и в свободное время запилили полностью готовый проект чипа. А дальше нужно изготовить маски для его производства и передать на завод типа tsmc. Это опять же сотни миллионов долларов. Ну хорошо, собрали краудфандингом. И вот тут то наши корпорации и правительства могут понаставить препонов, от завышения цены до прямого запрета производить чипы "неправильным" людям. И опенсорс на этом закончится, так и не начавшись. Боюсь, денег энтузиастов даже со всего мира не хватит построить свой фаб, на это не у всякой страны то деньги\возможности находятся.
надо бы сперва определиться можно ли на асике сделать лучше чем на гпу
у гпу что круто? то что его ячейка — пусть урезанный, но цпу
потому несложно переходить между режимами начального инита (установление топологии, стартовых весов); прямого вычисления; обратного распространения ошибки
на асик если все это положить, то это край как заманчиво, ибо у гпу тех цпу фикс количество, а на асике нейроны могут тактироваться и работать параллельно: вот сколько есть столько параллельно и работать
в целом скетчи нейрона на фпга — доступны единичному разрабу и не так и затратны по средствам, но дальше...
Всем, способным держать оружие:
Это Джон Коннор. Если вы меня слышите, вы и есть Сопротивление!
"Terminator Salvation" (2009)
обожаю открытые open-source модели, которые не выпускаются энтерпрайзом, а разрабатывались сообществом на открытых данных и обучались на распределённой децентрализованной инфраструктуре сообщества (и архитектура там чья - сообщества), имена этих моделей у всех на устах- все ими пользуются каждый день и радуются и я тоже, отличный день
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Почему тебе нужно стать нейро-панком прямо сейчас