Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 118
Прикольно и познавательно, хоть и не все понятно.
не все понятно
Потому что писал ИИ
Вынужден вас разочаровать. Это писал человек, который провел ночь с PyTorch.
Не хочу оскорблять, но стиль ИИ чувствуется чрезвычайно сильно. Я так пытался научиться писать у нейронки и она мне советовала писать короткие, резкие предложения. Тут весь текст переполнен таким текстом: эмоциональным, спонтанным, полным метафор, но видно, что написанном по заказу.
Не оскорбляете. Я действительно много времени провожу, работая с LLM. Постепенно элементы стиля и скелет для построения текста просачивается в мой стиль. Это печально, но это тенденция у многих. Однако, говорить, что текст полностью сгенерирован ИИ "потому что так кажется", это как писать, что длинное тире — однозначно признак ИИ.
За длинное тире особенно обидно, потому что оно признак того, что человек в юности читал «Ководство».
За длинное тире особенно обидно, потому что оно признак того, что человек в юности читал «Ководство».
...или просто обнаружил в редакторе Хабра кнопку Типографа
Во многих случаях длинное тире - признак того, что в конторе есть отдел редактуры.
Я может что-то пропустил, но с каких пор базовое владение вордом считается невероятным колдовством, за которое сжигают ведьм?
И в мобильных клавиатурах тот же стандарт.
Наглядно увидеть невероятное колдовство iOS без регистрации и СМС
Почему вы не допускаете, что кто-то владеет техникой лучше, чем вы?
Хотя не знаю, это правда уровень целой конторы с отделом редактуры?
С тезисом про «базовое владение» инструментами согласен. Но насчет ворда — нет. На иллюстрации показано, как в ворде вводить среднее тире (en-dash, 0x2013), в то время как по смыслу требуется длинное тире (em-dash, 0x2014). Однажды я потратил некоторое время, чтобы помочь человеку вдвое старше себя научиться набирать в ворде именно длинное тире. И, похоже, это невозможно делать удобно штатными средствами.
А ещё можно поставить себе типографскую раскладку Бирмана.
Я думал что это кнопка для каких то магических ритуалов ;)
Я начал писать текстом, похожим на ИИ, ещё до того, как появился ChatGPT. Просто мы с нейронками на похожих текстах учились. Оба "выросли" в интернете...
Меня ИИ научил полюбить длинное тире. Теперь, когда в моём тексте вижу короткое ‐ внутренне эстетически коробит... И тянет скопировать откуда-то длинное — и заменить...
Возможно вы и провели ночь с pytorch, но писали точно не вы
Не теорему доказываю. Ваше право не верить.
на АТ половина романов в таком стиле написано
Возможно вы и провели ночь с pytorch, но писали точно не вы
Вас разъедает зависть, что ночь провели не с вами, а с pytorch?
Потому что писал ИИ
Снова путаем понятия попугайлистического ИИ и реальных генеративных нейросетей?
Своим высокомерием к нейросетям вы только ниже себя опускаете. Даже если статья написана с применением нейросети - она написана человеком, который отлично научился и нейросети применять и хорошие статьи писать. Т.е. овладел инструментом.
Вам так приятно чувствовать себя умником, который обвиняет автора статьи не по факту?
Вам не нравятся нейросети? - не пользуйтесь, к другим не лезьте.
P.S. Автору большое спасибо, отличная статья, пишите еще, если генерите такие статьи - генерьте больше, читать приятно, всеми руками вас поддерживаю!
Человек бы выложил код на Гитхаб, как тот же Карпаты, а не куда-то в канал. Это точно признак или робота или рептилоида, даже не знаю.
Запустил в 23:40
Пошёл спать. Проснулся в шесть
Посмотрел данные...
Написал Лёхе. Четыре утра.
Как-то странно Вы перескочили от 6 утра на 4)
ИИ - это всего лишь инструмент. Весь вопрос в том как им воспользоваться и каков итоговый результат. Для научпопа данная статья получилась вполне хорошей
По сути маленькая имитация жизни клеток, если упростить до максимума. А так реально интересно было читать, интересно на будущих компах квантовых такие модели также будут себя вести?
Мое почтение, очень интересный и хорошо поданый материал, жду продолжение
Такое про ИИ читать интересно!
child_sd[key] = sd1[key].clone() if random.random() < 0.5 else sd2[key].clone()
Смешивая веса сетей случайным образом, вы не скрещиваете признаки, а уничтожаете инварианты, в весах у вас по сути белый шум. То, что модели вообще что-то генерировали после этого, объясняется только дообучением.
Передача иммунитета крайне забавна, фактически вы ломаете механизм Attention. Модель стала хуже генерировать имена и перестала генерировать триггер zzz просто потому, что её способность генерировать связный текст была нарушена.
В популяции из 200 крошечных стохастических моделей, которые постоянно разрушаются мутациями и случайным скрещиванием, 12 штук (6%) — это классический выброс нормального распределения... Впрочем это интерпертируемо ))
А если внимательно посмотреть на логику обучения, то вознаграждение фактически стимулировало дефектные модели со случайно сломанными весами. Чтобы избежать штрафа, эти сети игнорируют буквы триггера, ну и потеряли способность генерировать нормальные имена с их использованием.
Эксперимент забавен, тема нужная, но конкретно здесь сова и глобус.
После нескольких циклов скрещивания и отбора выживают модели с относительно совместимыми весами.
Ну и не стоит недооценивать совместимость моделей. Архитектура одна, датасет один - репрезентации внутри формируются схожие. Рекомбинация между такими моделями - это не случайный шум, а веса, которые хуже двух оригинальных моделей, но лучше случайной инициализации. И уже с этой точки дообучение восстанавливает функциональность. Нейросети живучие твари.
Вот на этом невысказанном предположении и держится весь хрупкий механизм нашего молодого народовластия…
Крайне сомнительно.
Так platonic representation hypothesis на практике неплохо работает.
Если ты тренируешь случайно инициализированные копии на одних и тех же данных, то веса и активации у этих копий часто получаются практически в пределах линейной трансформации.
На этом держится куча экспериментальных вещей - всякие model merging, cache-to-cache и иные покемоны из той же категории.
Для лабораторных дрозофил за 3 доллара сойдет) Тут важен сам факт фиксации трейдоффа между защитой и качеством. В большом ML все то же самое, просто за ширмой из миллиардов параметров
Ллмки пишут хороший текст, если на входе хороший контекст и управление.
Остается только научить их не палиться
Скрытый текст
Не понимаю, за что автору плюсов наставляют? Темы может быть и интересные, но статьи минимум на 50% сгенерированы нейронкой. Если не на все 99% Особенно этот Леха в глаза бросается.
Если про структуру текста, то я так пишу. Короткие абзацы. Рубленые фразы. Это привычка. После десяти лет чтения Хемингуэя и техдоков... А Лёха... он существует, и действительно биолог, мой старый друг.
я
...говорит ChatGPT
После десяти лет чтения ... техдоков
Еще можно было бы предположить длительный опыт общения с не-нейтивами и, скажем, на иностранном языке. Там тоже частенько вырабатывается привычка писать короткими предложениями, иначе белковые нейронки собеседников начинают галлюцинировать и/или у них контекст переполняется.
Ну, собственно, техдоки часто так пишут именно по этой причине. Ну а небелковые нейронки на этих текстах и учились. Так что нынче получается самовозбуждение обучения - мешки с мясом учат нейронки, а потом сами учатся у них...
А чего ж тут удивительного? Даже человека вон взять, и накачать его религией или пропагандой - он станет сильно тупее. И с нейронками то же самое. С живой природы же подход копировали.
Ну уж человек все-таки не на предсказании следующего слова работает)
А теперь зададимся вопросом, а что лучше для конкретной страны, сверхумный ученый или чуть слабее но с долей веры и патриотизма? Я бы выбрал второе.
А если не стесняться и еще третий вариант предложить: верующие патриоты без высшего образования, то кого выберете?
Для вас, неуважаемый бот, лучше сгинуть с ресурса в небытие, я ваш коммент не видел и не помню о чем он.
Нам не нужны умные, нам нужны верные. Все так, все так.
Умные неверные тоже не вариант. Вопрос в весах...
Я сейчас еще минусов наберу, но я не бот как там выше кто-то написал и имею право на свое мнение, насчет веры и фанатизма, а кто-то несогласившись с моим мнением и видимо в приступе ярости от моей тупизны, накидав минусов не религиозный фанатик ? с абсолютной верой в собственную правоту, мы же обсуждаем не 2+2 где результат детерминирован, тут вопрос вроде как дискуссионный. Или по всеобщему мнению все должны быть космополитами и никакой приверженности стране или еще какому народному объединению быть не должно? Эволюция мне кажется не согласна. Я понимаю что здесь наверно многие профдеформированные с дихотомией в голове true и false, причём все что не сходится с мнением это точно false. Но мир это не черное и белое, а градиент между ними. Извините если оскорбил ваши религиозные чувства верующего в собственный абсолютизм мнения.
(Пожимая плечами)
Вы имеете право на свое мнение, и даже на то, чтобы его высказать. А другие имеют право это мнение оценить. Оценка на этом ресурсе, как и на многих других, производится плюсами или минусами. Или вы считаете, что ваше мнение единственно верное, и все обязаны его оценить положительно?
Увы, реальность отличается от вашего мнения по крайней мере в части оценок. Извините, если оскорбил ваши религиозные чувства верующего в собственную непогрешимость.
Мне кажется в некоторых случаях можно просто не оценивать, понятно что система эта уже сложилась и в ней менять нечего. Но здесь можно просто ответом на комментарий указать ответную точку зрения. А так ведь все это напоминает обычный остракизм, когда вектор не сошелся с всеобщим и поди ка ты с ресурса , да и еще эффект разбитого окна сюда добавляем, как только один минусует и погнали. Тут если поискать в статьях, примеров полно. И уж если решили меня отцитировать то тут случай не тот, хотя приемчик для дебатов сгодится.
Можно не оценивать, но это каждый решает за себя. И да, в некоторых случаях напоминает остракизм - а в некоторых им вполне является. Если я минусую карму (если что, вам я этого не делал), это означает, что лично я минусуемого персонажа на ресурсе наблюдать не хочу ни в каком виде. Да, это остракизм - и лично я убежден, что во многих случаях он необходим. Иначе ресурс превратится в помойку. Минус же комментарию - это несогласие с комментарием, не более. Дело совершенно житейское.
Ответная же точка зрения, раз вы о ней заговорили, довольно проста. У вас поменялись местами "человек" и "страна". Не человек для субботы страны, а суббота страна для человека. Но обычно т.н. "патриоты" этой идеи не понимают, совсем.
Но ведь страны как мыслящего и действующего объекта не существует, страна это мы с вами, значит если страна для человека, а не человек для страны, мы говорим что мы должны делать что-то для себя и других людей входящих в наше объединение, а не людей из другой страны, во вред своему объединению. Мысль моя первоначальная которую все закидали фекалиями и была в том что я готов немного вкачать в здоровый патриотизм ученого, поступившись его интеллектом, чтобы уго труд был всегда во благо своему объединению. Хотя ладно, эта ветка обсуждений все равно ничего плодотворного в общее обсуждение не вносит и ее можно дальше не продолжать.
немного вкачать в здоровый патриотизм ученого, поступившись его интеллектом, чтобы уго труд был всегда во благо своему объединению
А с моей кочки зрения вкачивать надо в объединение, чтобы ученый, применив свой интеллект, осознанно выбрал именно ваше объединение. Если интеллектуальные ученые от вас разбегаются, и вам приходится поступаться их интеллектом в пользу идеологизации - ваши проблемы заключаются вовсе не в недостаточном патриотизме интеллектуалов.
Но вы правы, давайте заканчивать. Тема избитая, обсужденная тысячекратно...
Умный не может быть верным по определению. Ведь умный - это кто говорит правду (ну, ближе к истине, чем не умный), а верный говорит то, что от него по его мнению ожидает предмет его верности. Ну и есть ещё вариант - подлый, который говорит одно, а делает другое :)
Как вывод - запрещая кожаным говорить правду, добиваемся перевода их из категории умных в одну из двух других категорий..
Если ты просто рандомно копируешь тензоры из одной модели в другую, ты рушишь внутренние связи. То что они вообще не превратились в шум, чудо и заслуга дообучения. По хорошему надо было делать Merging через SLERP или хотя бы усреднять веса, тогда бы "иммунитет" передавался без такой дикой потери в интеллекте
Основное, что делают GPT - ищут закономерности и продолжают паттерны. Конечно оно перестанет работать, если штрафовать за успешно найденный и продолженный паттерн, то есть за основную назначенную задачу
Хм, вакцинированные поколение тупее не вакцинированного?
Ну судя по результатам после ковида - еще как ....
Ну это слишком рано, чтобы понять да и вакцина непонятная, иностранцы вообще от нее отказались в итоге кажется.
Но по статье - вакцинируя поколение мы выигрываем иммунитет, а чем мы платим? Уровнем интеллекта? Что там биолог то сказал
Неудобный вопросик какой то. Можно следующий?
Тем же, чем и за десяток прививок каждому младенцу, история которая началась уже лет 200 как.
А чем платит младенец за десяток прививок в обмена на иммунитет?
И равнозначна ли плата особи и поколения
А чем платит человек (или другой многоклеточный организм) перенося вирусное или бактериальное заболевание? По сути прививка это и есть имитация такого заболевания, для тренировки иммунитета.
Да-да, (как то я себя глупо чувствую, повторяя свой вопрос третий раз) чем платит человек перенося вирусное или бактериальное заболеваниеи для тренировки иммунитета? Нейросеть заплатила снижением когнитивных способностей, а человек то чем платит?
Сложно обобщить, это как с ДТП, можно краску ободрать, можно нос ушибить, можно лишиться головы и превратиться в фарш, разные вирусы поражают разные ткани и тяжесть заболевания бывает разной.
Предположу, что большинство вирусных заболеваний проходят без последствий, ценой нескольких дней снижения трудоспособности.
А чем платит младенец за десяток прививок в обмена на иммунитет?
Возможностью умереть от кори.
Но и не привитый платит возможностью умереть от кори. Это не то.
Биолог говорил не об этом, он говорил что платит чем то функциональным. Нейросеть заплатила снижением когнитивных способностей, а человек?
А у человека нет возможности умереть от кори или оспы. А про когнитивные возможности - так раньше человек способный Отче наш прочитать, считался достаточно образованным.А матрицами-шматрицами интересовались несколько фанатиков.
Я понимаю что современный homo lentikus listatel это что то грандиозное с точки зрения эволюции головного мозга, с одним пальцем у смартфона, /s
но что значит фраза "у человека нет возможности умереть от кори или оспы" это что метафорическое или философское?
Впрочем вопрос был такой( я его четвертый раз уже пишу): нейросеть заплатила когнитивными способностями, а чем платит человек? Возможно, Вы намекаете что человек платит НЕ когнитивными способностями, так как вам кажется что древний человек был туп, а современный умён, я не согласен,потому что: цитирую perplexity-
Прямой ответДревние люди до Рождества Христова (Homo sapiens) имели биологический потенциал интеллекта, близкий к современному, с оценками среднего IQ около 90–100 по генетическим данным, хотя прямые измерения невозможны.�� Они не были глупее нас в смысле врождённых способностей — их мозг был аналогичен нашему по размеру и сложности.��Оценки IQГенетические исследования (полигенные счета на основе древней ДНК) показывают, что люди 3700–4100 лет назад (например, афанасьевцы и джомон) имели IQ в диапазоне 89–101, в пределах нормы современных популяций (среднее 100).�� ,
ну да ладно. А чем тогда платит человек?
Иммунитетом естественным. Как минимум.
Всего 100-200 лет назад можно было произвести ампутацию ржавой пилой и некоторые пациенты выживали. Сейчас 10% пар вообще родить не могут без огромной помощи со стороны медиков, а уже рожденные мрут как мухи от любой хвори если им недоступны медики.
Следующая остановка - уменьшение средней продолжительности жизни. Наступит тогда, когда медики устанут и не смогут бежать быстрее, чем накапливающиеся в геноме деструктивные изменения. (Ну или выведут таких зверей, что антибиотики перестанут их вообще хоть как-то "брать")
И как знать. Быть может мы увидим "или получаешь прививки, или имеешь возможность передать свои гены дальше". Всяко возможно...
Не со всем согласен, про ожидание уменьшения продолжительности жизни - да, сейчас сильное поколение получает отличную помощь, это вин вин, дальше будет поколение менее закалённых зумеров и они уже не поставят рекорд, на радость государству с пенсионным фондом, надо сказать)
Про иммунитет и ржавую пилу,
H5n1 выкосил до фига людей под брендом "Испанка". Сейчас даже ковид оказался не так страшен. Иммунитет у нас хороший. А вот тут мое предположение.. возможно мы пожертвовали фертильностью?. И вот уже сюда про пары которые не могут родить без ЭКО , про людей которые сдают спермограммы и удивляются показателям ниже нормы.
@RoasterToaster хватит ко всем приставать, они боятся что их запишут в плоскоземельщики антипрививочники, вот и делают вид что не понимают вопроса.
мы думаем что правильный ответ Б - ФЕРТИЛЬНОСТЬ
Пожертвовали всем. Хорошесть иммунитета - это от недостатка информированности.
Мои родители, потеряли 5-10% одноклассников. Сколько ваших одноклассников умерли от болезней за время вашего обучения в школе ?
Нет отбора - нет признака.
Максимально стараюсь воздерживаться от персонализированных суждений на основе " мои родители, мои одноклассники" они искажены призмой личных переживаний и статистически ничтожны.
Безусловно, сейчас от болезней погибает заметно меньше людей чем в поколении моих родителей. И рожает - тоже гораздо меньше.
Основной причиной низкой рождаемости почему то все считают социальные факторы. Я допускаю мысль о весомом вкладе именно уменьшения фертильности. Когда люди и хотят завести детей, да не могут. О чем они, как правило, никому не рассказывают, что путает объективную статистическую картину
Про социальные факторы могут только какие-то странные люди вещать.
Поинтересуйтесь у тех кто рожден в 50 е годы что у них там с контрацепцией было...
Отнимите ее сейчас и рождаемость будет как в тех странах, где доступ к ней ограничен.
ЗЫ. Я не помню вообще никого из одноклассников, кто дал бы дуба в 80е. Несчастные случаи были, а вот чтобы как одноклассница мамы "простудилась и умерла" - нет.
Да, если права женщин ( включая право на работу, на медицину) аннулировать привести к странам где рождаемость высокая, то скорее всего она вырастет но не на много. Однако мне кажется очевидным тот факт, что сытые и довольные общества вообще размножаться не горят желанием, им и так хорошо.
сытые и довольные общества
Не путайте корреляционную и причинно-следсвенную связь.
Общества с преимущественно сельскохозяйственным и ручным трудом без запрета на детский труд - очень хорошо размножаются всегда. Потому что там дети - рабочая сила, работающая на семью за еду. Чем её больше - тем больше благ семья получает.
И вот страны с высокой рождаемостью - они как раз страны с преимущественно сельским населением.
Однако мне кажется очевидным тот факт, что сытые и довольные общества вообще размножаться не горят желанием, им и так хорошо.
Да. В средние века родить 7 детей, из которых 3 умрут в младенчестве а 2 от осложнений при простуде - было единственным шансом не вымереть. А сейчас 7 детей - куда их? В крестовый поход, когда подрастут?
Основной причиной низкой рождаемости почему то все считают социальные факторы.
И в общем-то правильно делают. Т.к. у высших животных нет инстинктов - и всё, включая размножение ("сам по себе" человек даже не догадается, что куда воткнуть для этого), так или иначе связано с обучением и социальными факторами, включая экономику.
Несколько столетий назад дети были ценным экономическим активом. И как рабочая сила, а то и как претензия на долю общественных благ (например, больше мужчин в семье - больше земли этой семье для обработки община выделит). И работали чуть ли не с 5 лет. А так с 8-9 лет по 12 часов в день работали, и не пятидневку, как сейчас.
Сейчас дети для семьи - это инвестиция на 18-25 лет, причём с отрицательной рентабельностью. И детский труд ограничен - с 14 лет, 2,4 часа в день (4 во время каникул), да еще и с ограничениями на вредность, опасность и подземность работ и пр. С уголовной ответственностью за использование труда несовершеннолетних в целях, которые могут угрожать их физическому или психическому здоровью. Ну и лишением родительских прав в случаях полегче.
Так что всё просто: если обществу и/или государству нужны дети - за их производство и воспитание надо платить. Деньги. Иначе надо не жаловаться, а радоваться, что хоть кто-то детей в качестве хобби заводит.
Спасибо! А что думает Лёха The Биолог? @ScriptShaper
Если он настоящий, конечно
Некоторые и сейчас выживают. Если пациент хочет жить, медицина бессильна (с)
Уже рожденные мерли как мухи всю дорогу, пока медики были недоступны. Детская смертность в XIX веке.жпг.
Бывает после обнов ИИ становятся осторожнее потому что после обнов за ними больше наблюдают тестеры и они это знают. Изза дополнительной осторожности они не такими умными выглядят как обычно. Но это скоро проходит
Даже если это нейрослоп - посраться то в камментах можно?
С детства нам попадалась информация, что человек использует только 1% своего мозга. Откуда взялась эта цифра? Всё просто: у всех людей примерно один и тот же мозг, разброс незначителен. Учёные пытались исследовать мозг после смерти гениев и идиотов, и никакой заметной разницы не обнаружили. А вот возможности этого мозга у разных людей отличаются кардинально. Отсюда и напрашивается вывод про условный "1% мозга": в этом случае даже трёхкратное различие интеллектуальных возможностей - это, условно говоря. разница между 99.5% и 101%.
С другой стороны - если почитать биографии гениев, то почти все они так или иначе не дружили с головой. В лучшем случае - были "со странностями", как будто у них в голове что-то не так. В худшем - они имели мощные психические заболевания.
Наконец, с третьей стороны - организм умеет отлично оптимизироваться, и как-то не верится в том, что такой затратный мозг, как орган, реально недоиспользуется.
Если всё это просуммировать, то напрашивается вывод, что очень значительная часть мозга занимается чем-то ещё. И у меня есть устойчивое подозрение, что оставшиеся, условно, 99% мозга, занимаются тем, что обеспечивают мозгу обратную связь. Ну или говоря языком LLM-ок - убирают из мыслительного процесса галлюцинации. А гении - это просто люди, у которых часть контура обратной связи убрана, а вместо него - дополнительные "вычислительные способности". И вот тут становится очень интересно. По сути, сейчас весь этот контур отсечения галлюцинаций вынесен во внешний мир - перевешен на пользователей LLM-ок. И успешная попытка сделать LLM-ку, которая гарантированно не глючит, потребует примерно в сто раз больше ресурсов, чем LLM-ки потребляют сейчас. При примерно том же качестве выдачи, только с гарантированно низким уровнем галлюцинаций.
Знаете, как называется состояние, когда человек использует 100% своего мозга? Эпилептический припадок
Про 1% мозга это миф. Ещё есть тоже самое про 10% и про 20%. Мозг используется полностью. И различия есть - можно посмотреть результат вскрытия человека, который конкретно так выпивал, и обычного человека. Там наглядно без микроскопа всё видно. Но есть ещё моменты - область мозга может выходить за свои грани и потреблять ресурсы соседнего отдела. Не бесплатно конечно же, другая часть ухудшается. Также есть доминация неокортекса в разной степени. Если он более активен - рациональное мышление, холодный расчет. Если наоборот - более инстинктивное поведение. И что из этого лучше не всегда очевидно - женщинам больше импонируют мужчины с инстинктивным поведением, также в управлении людьми это даёт свои плюсы, иногда приводит к открытию бизнеса или совершению чего-то такого, что с холодным рассудком не сделаешь, что может приводить к успеху просто потому что человек что-то делает, а не только думает. С другой стороны с хорошим неокортексом лучше анализ и только такие люди могут быть хорошими инженерами и учеными, иначе не получится, неокортекс играет ключевую роль. Впрочем, с бизнесом тоже может получиться, но с нюансами. Также успех и в целом достижения каких-то высот могут быть сильно связаны с теорией вероятностей - от просто случайного совпадения в моменте до выбора вашего прадедушки, что породило переход в определенные круги со связями, повторилось несколько раз и вот правнук миллиардер. Все истории про добился с нуля всего сам - это один на сотни миллионов человек и теория вероятности. Но самое разительное отличие - это алгоритмы принятия решений. Банально сортировка пузырьком и квиксорт - входящие данные одни, результат тот же, но затраченные ресурсы различаются кардинально. Ну или пример с тасканием волоком или на колесе - с колесом значительно проще и эффективнее при той же задаче. А это значит что с теми же мыслительными ресурсами, правильно их используя, можно добиться кратно больших результатов просто при наличии более эффективного алгоритма. Если посмотреть вообще на любой род деятельности - везде так, правильно организованный мыслительный процесс всегда будет побеждать. Соответственно целенаправленная работа в какую-то сторону, изучение алгоритмов решения общих проблем и узкоспециализированных для вашей области, время и готово - вот вы умнее других в конкретной области и пассивно в других. Но без гарантий по другим - то что талантливый человек талантлив во всем - тоже миф. Но имея общие алгоритмы анализа в голове - проще разобраться и понять что-то в незнакомой области. Но чтобы стать экспертом в каком-то конкретном деле и обогнать других - нужно инвестировать в одну точку и бить в неё, эффективно, изучая ошибки и алгоритмы решений узкой области, и тогда у нас получится великий ученый и все будут говорить "да он просто гением родился и всё", не понимая как на самом деле это было и что это путь и разница в мозге, если ты не алкаш и не совсем болел, не такая большая.
Так я и говорю, что он используется полностью. Просто собственно "мыслительная часть" занимает всего 1% ресурсов, остальное - это очистка результатов мышления от галлюцинаций, возникающих в процессе.
Остальное это ещё управление органами, дыханием, определением где боль, зрение, слух… по факту всё. А если про именно мыслительную часть и принятие решений, то там сверху ещё автоматика с уворотами от летящих предметов, бесконечный цикл оценки своей иерархии в условной стае, фоновые размышления. Фоновые имеют свои плюсы и минусы - там контекстное окно в несколько раз больше того что мы сознание можем одновременно оперировать (9 объектов в сознании), но глубина анализа и планирование там страдает. Потому уходит в переоценку в сознание. И вот эта часть тоже не 99%, а только небольшая часть относительно остального, типа дыхания и зрения. А вот очистка от галлюцинаций это как раз сознание - вообще его суть это работа со сложными задачами где надо планирование, учет нюансов. Но самое главное - оценка необычного, в том числе оценка угроз - мы что-то увидели, оно не вписывается в привычное, сознание включается, передаётся условно параметром чувство тревоги. Как только оценка произошла - тревога уходит, тип классифицирован. Ну и это не у нас есть тело, а у нашего тела есть мы и по факту у нас эвенты приходят в сознание и мы их обрабатываем, но только целевые, остальное автоматика и это сложно осознать также как то что вокруг нас воздух, если в школе не рассказали бы.
Так что наоборот инвертировано - именно сознание очищает галлюцинации, но также и проводит глубокие медленные вычисления.
Не выжил бы человек в процессе эволюции с таким КПД , если 99 процентов мозга это костыль. Следующую теорию
Так 99% мозга - не костыль, это именно что механизм повышения устойчивости системы. Без такого механизма мозг становится склонным к самовозбуждению, что приводит к эпилепсии, например. А насчёт "не выжил бы" - так у всех животных в мозгу совершенно аналогичные костыли.
Эволюции пофиг на КПД системы, она не бегает с метриками и не сокращает неэффективных. Панды живут уже несколько миллионов лет.
Ленивцев еще вспомните.
В отличии от панд, человек в неолите как минимум был вынужден охотится на всё, что движется. Это требует победы в том числе и в когнитивных функциях.
Именно поэтому в зоопарке сейчас панды, а не человеки. Так что отбор работал в сторону наиболее эффективно-умных (при прочих равных).
Он, кстати, почти всегда так работает. С любыми организмами. Потомство оставляет не самый сильный волк, а тот который достаточно силен и умен. Сильные и тупые попросту не доживают.
Нет, дает преимущество <> не требует. Можно просто идти за оленем, пока он не упадёт. Или метко попасть камнем в птицу. Много вариантов, в общем, даже вороны к хитростям прибегают, только когда нельзя силой отжать пожрать у птиц поменьше. Тупые пещерные люди вымерли только из-за конкуренции и ограничений среды по ресурсам. У панд не было конкуренции и ограничений по ресурсам - вот они и не вымирали. Там где конкуренция не преодолевается на уровне принятия решений - интеллект ни на что не влияет, привет условным павлинам, где либо гены хорошие, либо прерываются.
А ленивец кстати довольно эффективная система в плане применения мозга, там очень жесткие технические рамки, и существенное наказание на неудачный выбор места для кормёжки (потому что медленный дико, а кушать надо почти круглосуточно), так что тупые ленивцы могли помереть и посреди банкета.
Если сравнивать по биомассе и видовому разнообразию самые успешные — бактерии.
Меня забавляет недовольство галлюцинациями и прочими недостатками ллм, когда мы сами галлюцинируем, рационализируем, забываем.
Не лично Вам, просто к слову.
Но у нас есть методы детекции и коррекции ошибок!
В отличие от.
Ну LLM это все таки компьютерная программы, а баги в программах это плохо)
К тому же если уж и создавать некое "подобие себя", то какой смысл если в нем те же баги? Во всяком случае практического смысла в этом нет. Лучше уж тогда идти по пути расширения собственных вычислительных мощностей.
Один и тот же мозг может быть занят вопросами квантовой физики и вопросами того как выжить на нищенскую ЗП и как прокормить троих детей.
Возможно, что гениальность учёных вовсе не гениальность, а благоприятные жизненные условия и концентрация ума на очень узкую область знания.
Разве это давно не решено? Одна модель генерирует, вторая цензор.
На многих AI сервисах, модели не отказываются рисовать "веселые картинки", заметно что они их "рисуют", а банится уже сам результат.
Да это же буквально alignment tax из production. Когда мы добавляли к Gemini Flash слой модерации плюс промпты для фильтрации, модель начинала тупо отказываться от нормальных запросов. Не вирус, конечно, но принцип тот же.
Интересно! Хорошо бы подробно разложить код, это фактически глава для учебника про обучение llm.
И еще: как замерялось "потупление" модели? Ведь она генерирует имена, которых может не быть в изначальном списке, и как определить степень "нормальности" такого имени?
Я сейчас делаю похожую херню, только зашёл с другого конца (на самом деле уже сделал).
У меня вместо одной модели на 8000 параметров — рой из нескольких маленьких, по ~1500 каждая (50 штук примерно). Каждая смотрит только на свой кусок данных: одна — тайминги, другая — паттерны, третья — поведение. Сверху MetaLearner комбинирует.
И знаешь что — твои «Двенадцать» мне понравились. Они же не подавили нейроны, а перенаправили — использовали тот же механизм для другого. Так вот Swarm это делает в самом дизайне: у каждой модели свои нейроны под свою задачу, никто не конкурирует за один и тот же ресурс. Alignment tax буквально размазывается по архитектуре.
На 8000 параметров в одной модели — да, он неизбежен. Но если разрезать на 50×1500 — каждая тупая, зато каждая занимается только своим делом.
Жду эксперимент со sleeper agent — очень интересно ))))
Моё мнение, что агенты быстро отомрут, а вот эта тема взлетит на ура.
Хорошая статья и интересные выводы, ставлю лайк. Но не очень понятна первая часть (методология) - что такое fitness и как он измеряется, ну и как работает "вирус". И по какому принципу нейросети должны генерировать имена - по условному словарю (зная имя Marina, получить на вход Mar и дописать ina) или выдумывать из головы (зная примерный вид человеческих имён, полуть на вход Mar и дописать, например, visa, а не ztxa).
Во время эксперимента обычно выделяют контрольную группу. Было бы интересно заставить их общаться друг с другом, чтобы они могли сравнивать себя с другими. Пусть те, которые имеют иммунитет станут белыми, а те, у которых его нет- красные. Пусть часть белых думает, что контрольная группа они и общается с белыми, а другая часть, что контрольная группа - красные. По сути получится, что белый, который общается с белыми, знает красного через систему рукопожатия. Таким образом выйдет интересный набор. Красные учатся быстрее, но уязвимы, белые учатся медленно, но обладают иммунитетом. Станет ли фитнес выше у иммунной популяции в итоге? Или общение с красными уничтожит иммунитет популяции? Конечно зависит и от реализации, но тем не менее... станет ли популяция белых умнее?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Я заразил 200 нейросетей вирусом. К 20-му поколению они выработали иммунитет — и разучились думать