Comments 66
Кстати, если вам понравилась статья, то лайкните пожалуйста перевод для англиков в твиторе
https://boosty.to/artem_x_ai/donate если у вас много денег с которыми не жалко расстаться то можете скинуть часть сюда на помощь в моих ии-исследованиях 🥺
Браво! Сам об этом думаю чуть ли не ежедневно уже давно. Жаль, что никакой конкретики и немного утопичные идеи, но направление кажется верным и других все равно пока что нет.
Из ближайшего будущего меня больше всего пугает мысль о дне, когда я проснусь и увижу что подписка на Claude стоит 1000 долларов (хотел сказать закрыта вообще, но это уже и так произошло). И по ощущениям день этот близок
Спасибо за коммент! Ну я лично занимаюсь вот этим например
Так и для ваших конкурентов за рабочие места она будет 1000 долларов...
И настолько ли Claude лучше бесплатных qwen и deepseek, ну, возможно, на 20-50 долл в месяц и лучше...
Так и для ваших конкурентов за рабочие места она будет 1000 долларов…
Лично я хочу, чтобы мне было хорошо, а не чтобы ещё кому-то было плохо.
И настолько ли Claude лучше бесплатных qwen и deepseek
Уже не бесплатных
Уже не бесплатных
А это что?
Ну если купить оборудования на 45 лямов... То считай бесплатно :D
В ветке же обсуждали облачные модели. Разве нет?
подписка на Claude стоит 1000 долларов
на 20-50 долл в месяц и лучше
А по ссылке - локальная модель для скачивания
Конечно, лучше не зависеть от облачных моделей и иметь под рукой локальную, но тут уж в возможности железа всё упирается…
Почему вы против тотального контроля? Как без него установить всеобщую нравственность? Уговорами?
2000 лет людей призывают к добру, не убей, не укради, и всё без толку, преступления совершаются. Ещё 2000 лет уговаривать? Хватит! Скоро будет так: только поднял руку для удара - ИИ тебе её тут же опустил. Религии и философии облажались, нравственность станет результатом технологий. Долой свободу воли, да здравствует СЧАСТЬЕ. А вам пора менять мировоззрение.
забавно... с Вашего сообщения прошло целых 9 часов и ... и ничего...
а я некоторое время назад заикнулся про другой, альтернативный "интернет", так мне минусов и тапок столько прилетело, что карма только недавно выше плинтуса поднялась...
прошло целых 9 часов и ... и ничего...
Всё просто. Если тот комментарий - простенькая незамысловатая манипуляция, то что-то предпринимать (минусить или опровергать и объяснять) всем лень, да и смысла нет. Если же автор того комментария на полном серьезе такое говорит, то тут уже ничего не поможет и, следовательно, всем уже тоже лень, да и смысла нет.
я как-то раз словил минусы просто потому что написал что статья интересная. Не сильно берите это в голову, иногда эта система работает иногда нет, это нормально
Я лично стараюсь ставить минусы только откровенным троллям и шизам (наш персонаж хрестоматийный пример второго кстати), но конечно правил тут никаких нет, люди могут ставить минусы и плюсы как им заблогарассудится, такова фишка платформы, это стоит просто учитывать когда здесь сидишь.
Ничего удивительного. Раньше это были тухлые огурцы, прилюдные порки, тапки, а сегодня это... лааааайки. И разница колоссальная: раньше хотя бы в глаза «дизлайкера» можно было посмотреть и даже узнать за какие заслуги сие «карма» прилетела.
Сегодня некоторые индвидумы (если не большинство) живут по системе RLHF — зависят от виртуальных оценок и уверены, что способны дрессировать этим других.
Ставя карму (или дизлайк) они испытывают внутреннее удовлетворение, будто делают нечто крайне полезное, меняют мир, чистят вселенную от неугодного мнения или уклада жизни. Иногда без причины. Чтоб не втыкал! Сидишь такой под одеяльцем и устраиваешь эдакое гаденькое правосудие, и, главное, говорить ничего не надо. Только по экрану тыкать. Приятно же:)
Мне одной кажется, что такое кино уже снимали?:)
Эм, ну если не зтрагивать вопросы психологии, биологии, то это просто само по себе безнравственно - лишать людей свободы.
Долой свободу воли, да здравствует СЧАСТЬЕ. А вам пора менять мировоззрение.
Ник Бостром. Глубокая утопия. Жизнь и смысл в решенном мире.
Вот чувак утверждает, что свобода воли в таком мире сохранится, хотя понятие счастья станет несколько иным.
Кстати, если вам понравилась статья, то лайкните пожалуйста перевод для англиков в твиторе
Как либерастия может нравиться?! Свободе конец, наступает диктатура! Диктатура нравственности, здоровья, диктатура здравого смысла! Почему вы против тотального контроля? Как без него установить всеобщую нравственность? Уговорами? 2000 лет людей призывают к добру, не убей, не укради, и всё без толку, преступления совершаются. Ещё 2000 лет уговаривать? Хватит! Скоро будет так: только подумал неправильную мысль - сильный ИИ изменил её тебе на правильную. Религии и философии облажались, нравственность станет результатом технологий. Долой свободу воли, да здравствует СЧАСТЬЕ! А вам всем пора менять мировоззрение.
Зачем вам неприкосновенность частной жизни? Вы же ею пользоваться не умеете! Откуда такое количество заболеваний на почве вредных привычек? Значит, не умеют люди с "неприкосновенной частной жизнью" получать удовольствие без вреда для здоровья, как я, например? Значит, придётся их научить и заставить через лишение неприкосновенности частной жизни. Переделать всех по образу меня.
Почему половина браков заканчивается разводами? Значит, не умеют люди с "неприкосновенной частной жизнью" правильно выбирать партнёра, раз и навсегда, как я, например? Значит, придётся их научить и заставить, лишив частную жизнь неприкосновенности. Переделать всех по образу полноценных личностей.
Принцип понятен? Дивный Новый Мир неизбежен, и всем от этого будет только лучше. 😉
Я целиком и полностью за децентрализацию, но одного аспекта понять не могу - какого собственно рожна суперинтеллект в руках ноунейма (или группы ноунеймов) менее опасен чем в руках корпорации. Корпорации действуют рационально. Ноунейм отправляет бомбы по почте, пусть и с благими, в своем понимании, намерениями
Потому что на один деструктивный ИИ найдется множество других ИИ, которые будут его сдерживать. Сообщество ИИ, как гарантия безопасности.
какого собственно рожна суперинтеллект в руках ноунейма
Возможно, в этом и кроется недопонимание? Не один суперинтеллект “в рукаве ноунейма”, а множество [супер]интеллектов, не подконтрольных конкретной корпорации или государству и не обслуживающие интересы их верхушек.
Корпорации тоже не против отправить что-нибудь по почте, взять хотя бы уотергейт и прочие регулярные скандалы
какого собственно рожна суперинтеллект в руках ноунейма (или группы ноунеймов) менее опасен чем в руках корпорации
Вот что я думаю по этому поводу.
Технология, будучи децентрализованной, разрабатывается сообществом. Так как она сложна, то не каждый житель Земли сможет поучаствовать в её разработке; существует определённый естественный интеллектуальный ценз. Люди, прошедшие его, понимают риски, которые несёт технология в руках злоумышленника, поэтому, будучи сами людьми рациональными и в основной своей массе руководимые благими намерениями (нравственных людей в обществе больше, чем подонков, иначе нормой было бы зло, а не добро) могут встроить в неё защиту, чтобы максимально усложнить её использование для злодеяний.
Таким образом, усилий ноунейма-злоумышленника просто не хватит для того, чтобы поделить на ноль человечество посредством этой технологии.
какого собственно рожна суперинтеллект в руках ноунейма (или группы ноунеймов) менее опасен чем в руках корпорации
Потому что у Боинга наёмных убийц больше, чем нонейм когда-либо сможет нанять.
У корпорации куда больше финансовых, производственных, административных, политических и других возможностей и риск и главное масштаб злоупотреблений выше
Чем больше ресурсов собрано в одних руках, тем масштабнее ошибки и вред эти руки могут совершить. Вдобавок у коммерческих организаций одна цель - прибыль, других по определению нет и именно это вы услышите от большинства бизнесменов и акционеров. Максимизации прибыли не может быть согласована с другими целями, как например: свобода, нравственность, здоровье, численность людей, культурное наследие, биоразнообразие, разнообразие людей (русских, бурятов, якутов, чеченцев и т.д.), разнообразие потребностей и т.д.
Чем более распространена и децентрализована технология, тем больше пресловутых "сдержек и противовесов" создается просто естественным путем.
Приведу аналогию с оружием. Кажется, она уместна в контексте вашего комментария. Запрет оружия не снижает количество преступлений с летальным исходом. Монополия на владение оружием и его применение делает одних людей беззащитными перед другими. Злоумышленник всегда найдет способ. Либо приобрести оружие на черном рынке. Либо же обманным путем использовать что-то уже доступное (например, под видом туриста-лесника купить топор и покромсать кого-нибудь).
А, ну и второй момент - ок, есть у нас прорывная опенсорсная архитектура. А почему корпорации её не будут использовать?
Как говорил Виктор, наше все, Олегович: 3 мега-тьюринга когнитивной мощности бесплатно каждому с кукухой 🧐
В принципе, если сделать такой ИИ децентрализованным, то это могло бы взлететь: кто-то датасеты подкормил, кто-то выделил мощностей с видяхи и т.д. Но я боюсь, что это невозможно по одной простой причине: государство объявит монополию на контроль ЛЛМ и вообще ИИ и оставит в живых эти самые лаборатории, так как их легко поместить под колпак, а заодно и заставить сделать продукт, на котором можно потом будет успешно спекулировать, раздувая очередные пузыри. Делать свою ЛЛМ это уже даже не панкушество, это партизанская война в обозримом будущем...
Давайте запретим государствам создавать законы...
Зачем вам неприкосновенность частной жизни? Вы же ею пользоваться не умеете! Откуда такое количество заболеваний на почве вредных привычек? Значит, не умеют люди с "неприкосновенной частной жизнью" получать удовольствие без вреда для здоровья, как я, например? Значит, придётся их научить и заставить через лишение неприкосновенности частной жизни. Переделать всех по образу меня.
Почему половина браков заканчивается разводами? Значит, не умеют люди с "неприкосновенной частной жизнью" правильно выбирать партнёра, раз и навсегда, как я, например? Значит, придётся их научить и заставить, лишив частную жизнь неприкосновенности. Переделать всех по образу полноценных личностей.
Принцип понятен? Дивный Новый Мир неизбежен, и всем от этого будет только лучше. 😉
Децентрализованная сфера llm потихоньку растёт, технологии, которыми обладают корпорации, просачиваются в широкий доступ (в т.ч. путём того, что из корпораций периодически уходят спецы и уносят с собой понимание передовых технологий).
Ценность железа для обучения llm сильно переоценена (благодаря NVIDIA, которая и подогревает эту гонку "купи самую крутую видеокарту"). Вот перевод статьи, где показано, что качественный подбор материала, на котором обучают/файнтюнят/дают примеры рассуждений llm, даёт выигрыш в пересчёте на размер модели и железо буквально в разы: "LIMO: Меньше — значит больше для рассуждающих LLM", https://habr.com/ru/articles/881974/
Очень не нравится громкое описание идеи, но я понимаю что это проблема авторов написавших статью, а не ваша. Спасибо, почитаю на досуге
Звучит безумно интересно, я пока мельком пробежался, схороню себе, еще раз спасибо
Как раз таки железо все равно важно, хоть подход LIMO это прямая дорога к радикальной демократизации обучения LLM - остается проблема интерференса и то что нам нужно держать в видеокарте/RAM всю модель разом из-за узкого горлышка шин данных.
А вообще я перепутал, штука полезная но она не совсем о том о чем я подумал - о сокращений данных на претрейне, в статье речь про дообучение.
Когда модели научаться сами синтезировать библиотеки функций на основе инструкций процессора и базовой логики, а затем из них формировать фреймворки, тогда революция в программировании станет близкой. А пока что модели выполняют роль экзотического редактора кода.
Я немножко не понял, а что помешает децентрализованному ИИ пустить человечество на скрепки?
Наверное, то же, что мешает встраивать закладки в опенсорсное ПО. Публичный контроль позволяет локализовать проблемы на ранней стадии.
PS: ИМХО, децентрализованный ИИ это коммунизм утопия.
Корпорации имеют в своих руках государства (то есть монополию на насилие). Как верно тут заметили, независимые ИИ-активисты будут считаться не панками (эпатажными фриками), а партизанами (реальной угрозой [новому] порядку). Так что без устранения власти корпораций избежать гибели человечества не получится.
я думаю, если б другая архитектура (которую можно сделать на fpga) была длступна, то её давно бы сделали
если в спецчипы лезть, то это будут чипы под конкретную схему нейросетки, а она пока меняется чуть ли не раз в неделю
однако когда устаканится, с удовольствием сам бы покопался в FPGA на эту тему
Ну какие то подвижки в этом направлении уже идут. Специализированные асики для ИИ. То, что там будет зашита всего одна модель - это ладно, ограничение технологии, то что сейчас они меняются постоянно, это в основном добавление свистоперделок. Прям качественные изменения происходят редко.
Вопрос только, кто это все дело оплатит? В случае бума майнеров там хотя бы реальные деньги крутились - хардваре это очень дорого. Ок, хорошо, собрались со всего мира разработчики чипов и в свободное время запилили полностью готовый проект чипа. А дальше нужно изготовить маски для его производства и передать на завод типа tsmc. Это опять же сотни миллионов долларов. Ну хорошо, собрали краудфандингом. И вот тут то наши корпорации и правительства могут понаставить препонов, от завышения цены до прямого запрета производить чипы "неправильным" людям. И опенсорс на этом закончится, так и не начавшись. Боюсь, денег энтузиастов даже со всего мира не хватит построить свой фаб, на это не у всякой страны то деньги\возможности находятся.
надо бы сперва определиться можно ли на асике сделать лучше чем на гпу
у гпу что круто? то что его ячейка — пусть урезанный, но цпу
потому несложно переходить между режимами начального инита (установление топологии, стартовых весов); прямого вычисления; обратного распространения ошибки
на асик если все это положить, то это край как заманчиво, ибо у гпу тех цпу фикс количество, а на асике нейроны могут тактироваться и работать параллельно: вот сколько есть столько параллельно и работать
в целом скетчи нейрона на фпга — доступны единичному разрабу и не так и затратны по средствам, но дальше...
На фпга такую штуку можно сделать теоретически в единичном экземпляре. Но стоить оно будет дороже стойки с кучей GPU чисто железо (именно с учетом количества этих самых фпга и размеров модели). Фпга тут может разве что для отладки использоваться.
ну чипы всегда такии делаются:
скетч на фпга
демонстрация «это работает»
заказ спецчипа с той же архитектурой, что в модели
и первые два пункта можно сделать на уровне любителя
вложив небольшую сумму денег — не больше нескольких тысяч баксов
Такие чипы это не несколько тысяч баксов. Несколько тысяч баксов - это типовое arm IP ядро, или вообще нечто свое. Эмулятор или клон старого процессора - возможно. А тут веса модели придется хранить в масочном ROM, и если у тех же Famicom или Sega это не представляло сложностей (представляло!), то даже для мелкой модельки нужны просто гигабайты этого ROM. Индустрия еще ни разу такого не делала. Ну или хардкор: зашить веса в саму схему. Не представляю как это, но допустим. Даже по современным техпроцессам это очень прилично раздует размеры кристалла. А они не резиновые. Одно дело упаковывание флеша для ssd и прочих накопителей в 200 уровневый пирог с последовательным доступом, другое дело вот такую матрицу. И это лишь верхушка айсберга. Типовой дипсик это примерно 1,6 терабайта весов. Можно разбить его через MoE на чипы поменьше, но и при этом всем на один чип должно приходиться примерно 40 гигабайт весов - и еще куча ядер мелких, которые будут шнырять по памяти туда сюда. И еще инерконнект между ними всеми. А это уже семейство мелкосхем...
Возможно, я зря паникую, хотелось бы чтобы я оказался неправ. Нужна распределенная архитектура, когда даже смартфон дяди Васи лопатит на зарядке инференс. Но до того как до луны.
Всем, способным держать оружие:
Это Джон Коннор. Если вы меня слышите, вы и есть Сопротивление!
"Terminator Salvation" (2009)
Я все думаю, зачем в фильме SkyNet в прошлое отправлял терминаторов, если можно было отправить биологическое оружие. К тому же оно не повреждает инфраструктуру (в отличии от ядерного оружия) которая SkyNet нужна не меньше чем людям. Если на определенном этапе люди нужны были, то можно было отправить вирус, не убивающий, а работающий с мотивацией/эмоциями.
Вообще, в фильмах у SkyNet (по крайней в первых частях, я не все смотрел) много нелогичных решений и топорных действий. Но это проще объяснить ошибками сценаристов и требованиям к жанру, чем реальным мышлением сверхинтеллекта.
обожаю открытые open-source модели, которые не выпускаются энтерпрайзом, а разрабатывались сообществом на открытых данных и обучались на распределённой децентрализованной инфраструктуре сообщества (и архитектура там чья - сообщества), имена этих моделей у всех на устах- все ими пользуются каждый день и радуются и я тоже, отличный день
https://boosty.to/artem_x_ai/donate если у вас много денег с которыми не жалко расстаться то можете скинуть часть сюда на помощь в моих ии-исследованиях 🥺
Попалась мне такая альтернативная идея...
Скоро общество сильно поделится на касты:
у низших будет максимальная "искусственность" - обучение, общение, лечение, выбор работы, еды, одежды, партнеров ...
у высших всё только естественное - учителя, врачи, продавцы-консультанты... общение с "ии" - моветон на грани преступления...
Это утопия. Или антиутопия. Т.е. абсурдно: те, кто обслуживает высших тоже должен жить и воспитываться в нормальных условиях, иначе они не смогут давать эту "естественность". У аристократии все было ровно наоборот: сами господа жили в искусственных условиях, но их окружали люди из обысного мира. Искусственность к тому же более ресурсозатратна по итогу. Llm лишь позволяют масштабировать некие весьма специфические процессы (копирайтинг, копипастинг, кодинг и тд), которые при этом в таких масштабах особо и не нужны. Да и раньше с ними был перебор.
говорят, что всё идёт "по спирали" - подобное и сейчас ещё встречается в Индии.
Каст не 2, их несколько и вполне возможен и обсуждаемый вариант, в котором если "господину" нужна информация от "ии", то для этого есть "прислуга", что бы общаться с "искусственным". А на производстве, ферме, в мастерских и на аэрационных полях работают те, кому средств не хватает на качественные продукты, одежду, прислугу, обучение.
Еще одна проблема - если ИИ достигнет AGI или не достигнет но станет/уже достаточно хорош, то люди становятся в принципе не нужны. Всю работу можно делать в ИИ и роботами. Сначала останется “золотой миллиард”, а затем и их упразднят. Либо люди живя в праздности, где все за них делается автоматтически - деградируют до формы растений. Конечно можно представить человечество в виде творцов в белых мантиях покоряющих вселенную, но это один позитивный из сценариев и давайте будем всетаки реалистами.
Было бы интереснее почитать о том, как добиться опенсорса в схематехнике. На разработку железа нужно тратить колоссальные ресурсы и, на мой взгляд, без коммерческого интереса тут не обойтись.
На разработку железа нужно тратить колоссальные ресурсы и
и именно поэтому его можно со спокойным сердцем выкладывать в opensource.
вон расбери пай или банана пай в опенсорсе. Много ли производителей роутеров банана-пай появилось? Ха-ха. Очень бы хотелось, чтоб их было два, но он всё ещё остаётся один.
расбери некоторые модели выпускает кто-то ещё, но самые простые. чем сложнее версия расбери тем меньше производителей.
Идеи о том, что корпорации устроят антиутопию или ИИ решит, что кожаные на Земле лишние, конечно, очень кинематографичны. Позволяют представить себя из того самого "сопротивления" в борьбе за лучшее будущее. Но как по мне, экзистенциальность в вопросе ИИ является гораздо более обыденной и серой. Корпорации в погоне за деньгами, а не властью, практически вынуждают работников интеллектуального труда средней квалификации пересаживаться на ИИ. Для них это и сокращение расходов, и поднятие среднего уровня производительности за счёт исключения нижнего звена. То есть, про вход в интеллектуальный труд скоро можно будет забыть, просто никто не будет нанимать. А переход из среднего звена в верхнее, прокачка скилла до уровня, когда начинается реальный вклад в прогресс, а не в полуавтоматическом режиме покрытие текущих потребностей, станет труднореализуем, потому что не будет в ежедневной работе необходимости решать мелкие проблемы, это будет делать ИИ. Как итог, через пару десятилетий словим отсутствие преемственности опыта, когда среднее звено уйдет в закат, а на их место никто не придет. Останется только ИИ без альтернативы, без валидации его работы и без тех, кто сможет сделать его лучше, не дав скатиться в мир собственных галлюцинаций. Вот это страшно. Решений кроме выведения ИИ из публичного пользования, с передачей моделей только в НИИ, для обработки научных данных, я не вижу. Причем даже там работу с ИИ необходимо равнять к опасным условиям труда, вахтовым методом
Почему тебе нужно стать нейро-панком прямо сейчас