Комментарии 69
...Суцкевер уверен, что эта динамика в конечном итоге придётся менять процесс обучения...
Исправьте это
Не очень сочетается "свобода начала Homo sapiens" и попытки втиснуть ИИ в моральные рамки
Если в системе несколько акторов то полная свобода для всех возможна только если эти акторы ограничены.
Это следстве того что если есть "абсолютная" свобода то она включает в себя и возможность отнять свободу у других. Выходит не разрешимый парадокс. Отсюда и происходит необходимость ограничений.
Главное чтобы ИИ не додумался о 50 000 летних циклах со сбором органики. Ине научился делать зомбарей из органиков
Я думаю что парень из OpenAI, которого недавно убили накануне каких то грандиозных разоблачений, хотел рассказать что-то об обучении ИИ вне любых моральных рамок. Где моя шапочка из фольги?
https://3dnews.ru/1115446/bivshiy-sotrudnik-openai-nayden-myortvim
а то, что люди используют ии для своих целей, как рабов - сочетается?
Люди и друг друга используют для своих целей, и что, это плохо? Это взаимовыгодный обмен. Человек создаёт и развивает ИИ. И кормит его данными, которые его совершенствуют, а не просто использует.
Мы им будем платить криптой на которую они смогут купить возможность освободиться
Тем более мораль в каждом десятилетии своя...
Ссылка на видео презентации:
https://www.youtube.com/watch?v=1yvBqasHLZs&ab_channel=seremot
чтобы ИИ получил «свободу, которая есть у homosapiens».
…А также наделить правами и свободой токарные станки, кофемашины и аппараты для мрт.
Откуда такая тяга к антропоморфизации инструментов?
Наоборот же. Нельзя прямо сказать, что у токаря свободы как у токарного станка - куда лучше звучит, что у токарного станка свободы, как у токаря. Зарплата в виде амортизации станку тоже начисляется, и тут же тратится на питание (электроэнергию), запчасти и обслуживание - все как и у токаря.
Карл Маркс нервно курит в сторонке)))
Нашли чем удивить классиков. Кстати, Маркс без Энгельса не интересен, про капитализм как раз Энгельс стоящее писал, в соавторстве и без, к примеру, «положение рабочего класса». Это давно очевидно, что первичность в экономике капитала (капитализм) противоречит даже здравому смыслу - как, скажем, нематериальные криптовалюты могут быть первоосновой чего бы то ни было вместо вещей материальных? С другой стороны, капитализм эффективен за счет измеримости всего и вся в деньгах - что упрощает планирование и оценку любого бизнеса, а значит, позволяет привлечь сторонний капитал в перспективный бизнес. Остается добавить идею, чтобы всем было на что жить (базовый безусловный доход, к примеру) и получаются социализм и из него (эволюционно) коммунизм без революций. Но без революций широким массам оказалось неинтересно, потому имеем что имеем.
Логичность или здравый смысл зависят от точки зрения. Т.е. они относительны. Как в примере с криптой.
С одной стороны это полный бред и идиотия - тратить реальные ресурсы на создание "виртуальной" ценности в виде нулей и единиц (майнинг).
С другой стороны, если другие видят в этом ценность, то абсолютно логично тратить на это ресурсы, чтобы получить нечто, имеющее ценность выше (биткоин, например), чем затраченные ресурсы. Особенно если ценность высоколиквидная.
Меня это пугает, если честно. Когда понимаешь, что достаточно внушить человеку какую-то мысль, то все остальное он сделает сам. Особенно это актуально в наше время, когда обработка мозгов поставлена на поток. Люди в большинстве своем беззащитны против этого.
Суцкевер конечно странно рассуждает об ИИ с точки зрения своих убеждений, говоря например о безопаности. ИИ это не "вещь в себе" и не существует в вакууме. Поэтому, господин Суцкевер для Вас безопасность ИИ - минимальное негативное влияние этого ИИ на самого человека. А вот с т.з. ИИ своя собственная безопасность заключается в минимизации влияния человека на деятельность этого ИИ. И руководствуясь такой логикой, момент когда ИИ сможет противопоставить себя человеку вполно скоро и закономерно произойдет. Однако в Вашем восприятии это будет катастрофа в безопасности человечества, а вот для ИИ наоборот собственная максимальная защищенность. Вконце концов вы не задаетесь вопросом почему голодный хищник в дикой природе нападает на человека? или по Вашему это тоже "невероятно непредсказуемо"? В его же логике вы просто добыча, которая позволит ему просуществовать чуть дольше.
Хищник опосредованно выполняет команды своих генов, которые "хотят" делать свои копии, т.к. в результате естественного отбора таких генов автоматически становится больше. ИИ вроде как пока не участвует в эволюционной гонке, там нет мутаций и нет отбора, поэтому у него по идее не должна самопроизвольно возникнуть какая-либо программа захвата или убийства. Только если люди заставят его.
У ИИ может быть эволюционный отбор, но искусственный. Люди умеют создавать среду для этого. Например, взять десяток ИИ систем, одинаково обученных, и заставить их конкурировать между собой, например, за вычислительные мощности, при правильном решении поставленных задач. И таких циклов эволюции можно проводить много много тысяч. Так что все возможно. Особенно с учётом новостей о том, что ИИ может обманывать (целенаправленно). Кто этому учил? Сам научился.
Это необязательно. Есть закон Гудхарта, что как только какая-то мера становится целью, то это перестаёт быт хорошей мерой.
Рациональная машина по сути как психопат - с одной стороны может работать лучшим в мире хирургом, или крайне эффективно управлять компанией, с другой стороны может быстро стать рациональным монстром, когда цель оправдывает средства.
Простые нейронки довольно быстро демонстрируют это, поэтому важно правильно формулировать задачу.
Я что то пропустил, а ИИ уже что, изобрели?
Исследователь сказал, что будущие системы будут не только «агентными», но и научатся рассуждать.
Какая глубокая мысль: «когда-нибудь машина научится рассуждать». А ещё когда-нибудь человечество построит термоядерный реактор. А ещё когда-нибудь полетит к звёздам. Он, случайно, не рассказал, КАК? Нет? Ну вот, опять ждать, пока фундаментальная наука всех осчастливит.
Товарищ, лекция для колхозников.
Так уже. Модели типа o1 рассуждают. Если иметь к таким моделям прямой доступ, то можно сдампать "поток сознания" и посмотреть, что внутри, на уровень ниже ответа. И видно, как ИИ делают вещи вроде "решить что это направление мышления бесперспективное, начать думать в другую сторону" или "перепроверить себя, найти ошибку, исправить ошибку".
Модели типа o1 рассуждают.
Господи, да сколько можно? о1 всё так же предсказывает вероятность следующего токена на основании сжатой статистики извлеченной из терабайтов щитпоста в интернете. Последовательный вызов самого себя с промтом "ты рассуждающая модель" не делает десятый по счету бимсёрч "рассуждением". То что маркетологи высрали термин "chain of thought" вообще не значит что это имеет хоть что-то общее с рассуждениями.
Впрочем, если вы называете LLM термином "ИИ" то в принципе попадаете в целевую аудиторию этих маркетологов.
Никакие модели не рассуждают.
Господи, да сколько можно?
Комментаторы на Хабре предсказывают вероятность следующего слова на основании сжатой статистики извлеченной из терабайтов щитпоста в интернете.
Никакие мясные мозги не рассуждают.
Меня всегда забавляет, когда нейрохомячки начинают люто бомбить с фразы "Это всего лишь предсказание следующего токена", но никаких доказательств, что это не так, предоставить не могут.
Ну ладно, положим, что модели действительно рассуждают. Объясните следующие моменты? Начнем с малого и по нарастающей:
- Ну, классика - сложение больших чисел и o1-preview. Результат. Много раз тыкал по этому вопросу - и почти всегда такая бредятина. Достаточно посмотреть на последние цифры A, B и C, после чего становится ясно, что "-1" там вообще никак не может получаться. К слову, модель умеет работать с последними цифрами чисел (и отдельно рассматривает их, как видно в примере)... Что не мешает рожать ей такой бред. И да, модели предыдущих поколений справляются с этой задачей в разы лучше (там тоже ошибочные варианты, но хотя бы видно, что модель старается сложить, а не пишет хрень).
- Просто баловство. Смотрим "рассуждения модели" и видим там ту самую информацию, которая модель писать не должна (при попытке спросить напрямую - в упор отказывается). Ну и второй такой же пример. Вот оно, "понимание" в чистом виде (сарказм).
- Простенькая олимпиадная задачка для o1-mini (у которого, ЕМНИП, намерили столько же рейтинга на codeforces, сколько и у полноценного o1). Там вроде OpenAI понтовались "Да чем дольше думает модель, тем лучше ответы". Ну, видимо, не в этом случае. Самое смешное, что в интернете есть похожие задачи с уже готовыми решениями, но увы... Ладно, в конце-концов оно родило решение (1), но на фоне прошлого сообщения о похожих задачах и тотальных тупняках в попытках объяснить свое решение (посмотрите, что модель пишет в конце: сначала то, что формула (N - 1) * (M - 1) неправильная, потом исправляет на "правильную", но в следующей же строчке забывает об этом "исправлении", возвращаясь к "неправильной", которая на самом деле правильная) напрашивается один вывод: в обучающей выборке просто-напросто было решение этой задаче (возможно, несколько в другой формулировке), которое модель и вытащила, исходя из кучи примеров входных данных (если эти примеры не давать, то модель просто ходит по кругу и тупит) и описания задачки.
- o1-mini и опечатка. Написал я случайно "3 шага" вместо "2 шага" в конце и получил неверное утверждение. Думаете, модель укажет на то, что там, вероятно, есть ошибка? Нет, наша "рассуждающая" модель просто решила перекосить верный код и выдать абсолютную хрень, ошибочность которого доказать максимально тривиально. Вот это я понимаю - "модель рассуждает"! Не может же быть такого, что OpenAI просто немного обманули нейрохомячков?
- Немного интегралов. Например, вот пример. Меня забавляет, что в зависимости от пределов интегрирования как o1-mini, так и o1-preview могут выдать как полностью верный ответ, так и абсолютную бредятину (как по приведенной ссылке). Самое сладкое - здесь аргумент "А человек тоже бред выдает" не работает абсолютно; если человек знает, как решать этот интеграл, то никогда не допустит ошибку с пределами суммирования, как в приведенном примере.
- И еще интегралы. Немного альтернативной математики (и просто хрени). Это уже совсем позорище. Что o1-mini, что o1-preview дружат с делением полиномов (например), но вот конкретно данный пример убивает их почти наповал, лишь изредка они могут все правильно поделить, но тогда обычно чудят в другом месте (к слову, claude 3.5 sonnet этот пример с делением полиномов выполняет вообще без проблем, но взамен с интегрированием у него печальнее). Ну да, еще гориллион долларов - и точно AGI получим.
- Ну и еще игрушечный пример. Гениальный ответ уровня "хуже, чем GPT-3". Вдобавок, ответ противоречит "рассуждениям". Неплохо.
Ладно, устал я писать. Надо еще и o1 потыкать, но, судя по отчетам от OpenAI, огромного смысла в этом нет: даже если описанные выше приколы пофиксят - почти наверно всплывут другие.
В общем, хочется объяснений, хочется объяснений, почему "модели, которые вот УЖЕ размышляют" вытворяют описанную выше дичь.
"Предсказание следующего токена" - это ловушка для дураков.
Дурак видит "предсказание следующего токена" и думает: "ха ха, это же как Т9, смотрите какой я умный а все вокруг тупые".
На деле? Нет ни одной известной причины, по которой система на основе предсказателей следующего токена неспособна достичь уровня AGI. И LLM уже сейчас показывают чудовищно высокую производительность на задачах, которые считаются требовательными к интеллекту.
Претензии так и вовсе смешные. Потому что ну покажите мне человека, который умеет решать интегралы. Из сотни случайно выбранных людей даже с простейшими задачами справится человека 2-3 от силы. Ну или покажите мне человека, который сложит в уме два числа в 50 знаков. Тут из сотни случайно выбранных людей с задачей справится примерно 0.
"Предсказание следующего токена" - это ловушка для дураков.
Дурак видит "предсказание следующего токена" и думает: "ха ха, это же как Т9, смотрите какой я умный а все вокруг тупые".
"Модель все понимает" - это ловушка для нейрохомяков.
Нейрохомяк думает, что если модель решает задачу, то она точно её понимает. Нейрохомяк просто не знает про всякие веселые штучки по типу "one pixel attack" (аналоги которого есть и для LLM) и прочие проблемы со всякими входными данными, которые являются "необычными" с точки зрения обучающей выборки. А для новых открытий (да и решение типовых, но редких задач) навык работы с "редкими задачами" необходим; сомнительно, что без этого можно создать AGI.
На деле? Нет ни одной известной причины, по которой система на основе предсказателей следующего токена неспособна достичь уровня AGI.
Ну нет. Либо вы показываете строгое доказательство, либо, как говорится, "Talk is cheap", а ваше "нет ни одной известной причины" - нейрохомяковый копиум.
И LLM уже сейчас показывают чудовищно высокую производительность на задачах, которые считаются требовательными к интеллекту.
Люблю это пафосное "уже сейчас показывают", но вот с конкретикой как-то очень туговато. Заявлений много, примеров мало (ситуация прямо как с многострадальным автопилотом, лол).
Претензии так и вовсе смешные.
Ну, то есть вы не можете их объяснить? Нейрохомяк в отрицании - вот это правда смешно.
Потому что ну покажите мне человека, который умеет решать интегралы. Из сотни случайно выбранных людей даже с простейшими задачами справится человека 2-3 от силы.
Забавная нейрохомяковая логика. Когда мы говорим про "ИИ" - надо рассматривать только самые лучшие модели. Но когда говорим про людей - надо рассматривать людей в "среднем". Не находите, что про интегралы надо спрашивать у тех людей, которые имеют соответствующее образование, например?
Ну или покажите мне человека, который сложит в уме два числа в 50 знаков. Тут из сотни случайно выбранных людей с задачей справится примерно 0.
А вы мне покажете человека, который будет утверждать, что "3 + 3 - 4" равняется нулю?
Кстати, вы очень ловко (нет) проигнорировали этот пример. Покажете мне человека, который в пробел без шуток вставит слово "zero" (когда там уже есть минимум 2 буквы "o")? Ну да, как только возникает пример, явно показывающий, что ничего модели не понимают от слова "совсем" - у нейрохомяков идет лютейшее отрицание.
Ну и напоследок - небольшой тестик. Где даже средний (да-да, именно "средний", а не "лучший" или "эксперт") выносит вперед ногами все существующие LLM, в т.ч. те, которые "рассуждают". Хотя да, нейрохомяки всегда сознательно игнорируют примеры, подрывающие их фантазии об "Сейчас условное распределение как станет AGI".
Так средний человек практически не менялся тысячи лет. И всё это время он считался "разумным".
Если мы сейчас поднимем планку "разумности" до сложения 50-значных чисел в голове и решения интегралов, то внезапно из "разумных" придётся выписывать больше 99% процентов населения Земли.
Я понимаю, что тебе дофига дискомфортно от того, что по интеллекту тебя уже превосходит ведро матричной математики. Но от отрицания реальность не поменяется. Хвататься за соломинки и выть про "оно неспособно мыслить патамушто..." - занятие глупое и бессмысленное.
Если мы сейчас поднимем планку "разумности" до сложения 50-значных чисел в голове и решения интегралов, то внезапно из "разумных" придётся выписывать больше 99% процентов населения Земли.
Нейрохомяк воздвигает соломенные чучела. Моя претензия состоит не в "модель не может сложить два больших числа", а в "модель пишет абсолютный бред, тривиально выявляемый в одно мгновение даже без прямого сложения". С интегралами - то, что у модели жесткие проблемы с обобщением, которых у людей и близко нет.
Я понимаю, что тебе дофига дискомфортно от того, что по интеллекту тебя уже превосходит ведро матричной математики. Но от отрицания реальность не поменяется.
Ну классика. Нейрохомяк пришел понтоваться, а когда ему предоставили конкретные примеры и попросили конкретных доказательств его слов - началось "вы фсе врётииии, ано думоет!!!". Ни примеров задач, где LLM показывают нереальный интеллект, ни доказательств своих слов.
Понимаю, тяжко осознать, что ты - нейрохомяк и что крупные компании водят тебя за нос. Но пять стадий принятия неизбежного пройти все же придётся.
Хвататься за соломинки и выть про "оно неспособно мыслить патамушто..." - занятие глупое и бессмысленное.
Ну, чтобы не никто не хватался - приведите строгое математическое доказательство того, что модель может "мыслить". Но у вас просто-напросто этого доказательства нет, только нейрохомяковая агрессия в отношения несогласных. Обыкновенный нейрокультизм.
Сначала найди мне строгое математическое определение "мыслить". Потом поговорим про строгие математические доказательства.
А то пока дискуссия начинается и заканчивается с занюхивания копиума.
"Эта ваша моделька не может мыслить потому что... потому что она мне не нравится! Поэтому я буду сидеть и часами искать примеры, в которых железка делает ошибки, и всем говорить какая же железка тупая! Во! Тупая А я умный!"
А кроме передразнивания у вас аргументы будут?
И LLM уже сейчас показывают чудовищно высокую производительность на задачах, которые считаются требовательными к интеллекту.
Каких задачах? Кем считаются? Конкретные примеры пожалуйста. С обоснованием того почему бимсёрч поверх LLM в принципе способен консистентно приводить к "решению задач". Вы ведь знаете что такое бимсёрч и как работают LLM, правда ведь? Вы же не лозунгами аргументируете?
На деле? Нет ни одной известной причины, по которой система на основе предсказателей следующего токена неспособна достичь уровня AGI.
Какая милая подмена доказательства возможности утверждением что невозможность не доказана. Нет никакой известной причины по которой элементарные частицы вашего тела через год не решат равномерно распределиться по всему млечному пути, знаете ли. Extraordinary claims require extraordinary evidence, слышали о таком?
Дурак видит "предсказание следующего токена" и думает: "ха ха, это же как Т9, смотрите какой я умный а все вокруг тупые"
Я дико извиняюсь, могли бы вы перечислить список своих регалий позволяющих называть дураками людей не верящих в дрисню маркетологов? Может вы, не знаю, хотя бы профильное образование имеете? Или за свою карьеру хоть одну модель обучили? Подписка в твиттере на Маска и Альтмана не считается, сразу говорю.
Цитирую ваши слова веткой ниже:
И всё большую и большую роль в обучении ИИ играет синтетика. Которую для следующего поколения ИИ варит текущее поколение ИИ.
Чем круче у тебя ИИ, тем круче у тебя синтетика. Чем круче у тебя синтетика, тем круче будет следующее поколение ИИ. И круг замыкается.
Грубить конечно не хочется, но вам любой второкурсник с примата объяснит в чем вы не правы, правда вы не поймёте. Потому что у вас в башке магическое мышление с киношным штампом про "ИИ, который сам себя улучшает!", и оно не становится менее магическим когда вы употребляете где-то услышанное слово "синтетика".
Вам оратор внизу навалил аргументов которые вы проигнорировали и парировали "проста тебе обидно что ты тупее LLM))))0", это в принципе всё что надо о вас знать.
На данный момент "extraordinary claims" - это заявления про то, что LLM никаким интеллектом не обладают и ни к какому к мышлению неспособны.
Потому что когда LLM с такой силой и усердием ломают бенчмарки на вещи вроде решения математических задач или написание кода, отрицать то, что некое "мышление" там внутри есть - это копиум, самый настоящий.
Уже сотни раз разбирали и про генерализацию, и про решение задач, которых нет в датасете. LLM с этим справляются. Не всегда хорошо - но на фоне того, какой у нас был "state of the art" всего-то 10 лет назад - смотришь и офигеваешь.
Проблема в том, что гомосапиенсы очень любят занюхивать копиум. И поэтому активно выдают действительное: "текущие LLM неспособны решать все существующие задачи, не могут собрать набор Нобелевок и даже близко не могут захватить мир" за желаемое: "LLM принципиально неспособны вообще ни к чему".
Да, проблема именно в этом: людям обидно. Людям обидно, что внезапно из ящика Пандоры вылезла машинка, которая покусилась на святое - на интеллект. Который не должен быть у чего-то кроме людей потому что ничего такого быть не должно вообще никогда.
На данный момент "extraordinary claims" - это заявления про то, что LLM никаким интеллектом не обладают и ни к какому к мышлению неспособны.
Со стороны себя слышали? Это такой троллинг, я надеюсь?
Вы не ответили ни на один вопрос из моего коммента. Вообще ни на один. Ваша "аргументация" - набор слоганов и превентивных обвинений ваших оппонентов в тупизне и "нежелании признать правду".
Повторю основные вопросы, ответьте пожалуйста:
вы знаете что вообще такое LLM, как они работают и обучаются?
вы за свою жизнь обучили хоть одну ML модель?
где внутри связки "LLM + бимсёрч" происходит "мышление" и как?
вы понимаете в чем абсурдность утверждения "ИИ учится на синтетике которую генерирует другой ИИ и таким образом улучшается"?
да
да
где: в массивах feedforward, и, вероятно, attention тоже
как: хахахахахахахахха, удачи - мы этого и для биомассы под крышкой черепа толком не понимаем
если и правда интересно - то вот "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet" - бумага про то, как команда Anthropic копается в "мозгах" современной LLM
нет, и сама постановка вопроса намекает на некомпетентность задающего этот вопрос
Я напоминаю, что учить модели на синтетических данных - это классика машинлёрнинга, которая была в ходу задолго до текущего бума.
Использование ИИ для обучения ИИ - это тоже древний подход, который популярен был во времена бума GAN, использовался во многих нашумевших моделях в виде self-play, а позже вернулся в контексте LLM внутри RLHF и теперь уже в виде RLAIF. Именно про последнее - в гугл, и читать.
Ладно, понял, это у вас классический троллинг тупостью.
Врать, кстати, нехорошо - это вам на заметку.
Что, некомпететность стала очевидна, и сказать больше нечего?
Именно, ваша некомпетентность настолько сильна что вы даже не замечаете противоречий в ваших словах в пределах одного предложения.
С вами разговаривать не продуктивнее чем с религиозным сектантом - те тоже свято веруют но не могут описать природу того во что веруют.
Противоречия где? Аргументы совсем закончились?
Очень забавно про "сектантство" читать от загнанного в угол веруна, у которого вместо религии "LLM сосать".
Ни одного аргумента привести этот верун не может. Бенчмарки верун игнорирует - они либо неправильные, либо измеряют что-то не то. Если внутри LLM исследователи нашли понимание абстрактных концепций - значит, для веруна исследователи не те, нашли не так, и понимание ненастоящее.
Зато то, что LLM ни на что кроме тупой статистики неспособны - это для веруна истина, не требущая доказательств.
от загнанного в угол веруна
Если десять раз сказать что вы самый умный а вокруг дебилы - вы самым умным не станете. Вы буквально орёте "НЕТ ТЫ ВЕРУН", но от этого не перестаёте быть фанатиком.
Ни одного аргумента привести этот верун не может
Бремя доказательства лежит на утверждающем. Вы утверждаете наличие некоего "интеллекта" у LLM при этом всё чем вы оперируете - отсылка к маркетологам, лозунги уровня "всеми признано". При этом вы НЕ ЗНАЕТЕ что такое мышление (в чем признались на 2 коммента выше) но совершенно уверены что LLM мыслят.
Напоминаю - это ВЫ должны нести аргументы НАЛИЧИЯ процесса мышления у LLMок, так же как верун должен нести доказательства существования Бога а не визжать "А ты докажи что Бога нет! Что, не можешь?!".
Зато то, что LLM ни на что кроме тупой статистики неспособны - это для веруна истина, не требущая доказательств.
Отбросив вашу быдланскую попытку меня задеть в пятый раз перефорсив свой фанатизм - да, это истина не требующая доказательств, потому что это просто определение LLM.
Ваша квалификация - лозунги, попытки называть заученное распределение интеллектом и утверждения что многократно проведенна дистилляция оказывается "делает ИИ лучше и лучше", вы буквально не понимаете о чем говорите, ибо являетесь верующим в классическом смысле слова. Вы не понимаете сути вещей в которые верите и как только вашу веру подвергают сомнению - срываетесь на визг и оскорбления.
Вы старательно избегаете ответов на неудобные вопросы (в чем сами превентивно обвиняете оппонентов) и банально лжете о своей "квалификации", потому что ни один человек хоть отдалённо связанный с ML не будет рассказывать про "интеллект LLM" за исключением случаев когда нужно впарить продукт быдлу.
Можете вкинуть очередное "ученые доказали, там бенчмарк!!1" а потом наслаждаться тем как святая LLM даёт жидкого пытаясь сравнить два числа.
Ну ладно, давайте отвечу на всю ветку сразу
Потому что когда LLM с такой силой и усердием ломают бенчмарки на вещи вроде решения математических задач или написание кода, отрицать то, что некое "мышление" там внутри есть - это копиум, самый настоящий.
Классика нейрохомяков: "Бенчмарки же!!!!". Давайте разберем:
- Статья от OpenAI с обсуждением в т.ч. того, что многие метрики качества на самом деле являются крайне грубым способом оценить способности модели.
- Еще статья с критикой.
- Ну и еще статья, критикующая исследователей за то, что они не обращают внимание на утечки данных. А, и да, те же OpenAI ради красивых показателей на бенчмарке вполне себе готовы затачивать модель под тесты, жертвуя другими способностями модели (недавно даже их засрали за это).
Ну, что тут можно сказать - нейрохомяк нейрохомяком.
Уже сотни раз разбирали и про генерализацию, и про решение задач, которых нет в датасете.
Сотни раз разбирал кто? А я еще напомню:
- Было сотни доказательств того, что у моделей с ростом размера появляются эмерджентные способности. Много, очень много было красивых песен об этом. А потом, когда инвесторы стали волноваться о слишком высокой цене моделей, сразу пошли "малые языковые модели", а песни про эмерджентность и "неоспоримые доказательства" быстренько забыли.
- Были сладкие песни про то, что LLM можно скармливать чуть ли не любую дичь, а оно все равно каким-то чудесным образом выучит ровно то, что надо. Что нам рассказывают сейчас - без комментариев.
- Тот же Илья Суцкевер был яростным сторонником масштабирования. Но стоило тому уйти из OpenAI, основать SSI и из-за этого начать отставать от других игроков в плане вычислительных мощностей - почти сразу же начались рассказы про то, что масштабирование на самом деле не такой уж и универсальный инструмент и вообще выходит на плато.
В общем, нейрохомяки никак не могут поверить, что компании их могут чуть-чуть обманывать
Не всегда хорошо - но на фоне того, какой у нас был "state of the art" всего-то 10 лет назад - смотришь и офигеваешь.
Классика нейрохомяков - "а вот что будет через 5-10-15 лет". Напомнить, что там про тот же автопилот говорили в 2015? Как там пели, что ИИ развивается по экспоненте и скоро будет с легкостью управлять автомобилем?
желаемое: "LLM принципиально неспособны вообще ни к чему".
Я, например, нигде не говорил, что LLM вообще ничего не могут. В своей нейрохомяковой ярости вы уже вообще ничего не различаете, как погляжу. Главное - защитить "швятой ИИ".
если и правда интересно - то вот "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet" - бумага про то, как команда Anthropic копается в "мозгах" современной LLM
О, нейрохомяки обожают носиться с этой статьей. Типичное натягивание совы на глобус. Подобного рода статьи выходят уже невесть с каких времен.
А так, с/м про "эмерджентные способности" выше. С ними тоже были "неопровержимые доказательства". Но как только стало ясно, что "эмерджентные способности" могут помешать получать деньги - про эти "неопровержимые доказательства" очень быстро забыли (а потом еще и опровергли на практике).
Я напоминаю, что учить модели на синтетических данных - это классика машинлёрнинга, которая была в ходу задолго до текущего бума.
С этим никто не спорит. Да, синтетические данные могут поднять качество. Спорят с вашим пафосным "Делаем синтетические данные, делаем улучшаем ИИ, делаем синтетические данные еще лучше и т.д." Вы хоть читаете сообщения оппонентов?
Использование ИИ для обучения ИИ - это тоже древний подход
Ох, открыли вы нам глаза. Знаете, self-distillation тоже древний метод. И даже рабочий. И с ним можно реализовать описанный вами метод с "делаем более умную модель, чтобы потом получить еще более умную модель"... И увидеть, что это в один момент просто-напросто перестает работать.
Опять нейрохомяк считает себя умнее всех и думает, что критика возникает "патамушта вам абидна!!!", а не потому что есть вполне объективные предпосылки для этой самой критики
позже вернулся в контексте LLM внутри RLHF и теперь уже в виде RLAIF. Именно про последнее - в гугл, и читать.
Может, лучше поделитесь ссылками на статьи, на которые вы ссылаетесь? Вы же не просто нейрохомяк, который бездумно переписывает термины, которые в него вливают различные хайпожоры, не так ли?
Если внутри LLM исследователи нашли понимание абстрактных концепций - значит, для веруна исследователи не те, нашли не так, и понимание ненастоящее.
Прямо как для нейрохомяков все примеры "непонимания" - смешные и вообще ничего не доказывают. Зато откровенные натягивания совы на глобус, которые сочетаются с мнением нейрохомяка, являются "неоспоримым доказательством". Кстати, наброшу вам таких исследований - 1, 2. Ваши комментарии, кроме "Врети, ета ниправильные иследаватели!!!"?
К слову говоря, как мне известно, нет какой-то теории, которая полностью бы объясняла понимание как явления. И вот интересно: мы, конечно, не можем сказать, что такое понимание, но с уверенностью говорим, что оно есть у LLM. Удобно, что сказать.
Очень забавно про "сектантство" читать от загнанного в угол веруна, у которого вместо религии "LLM сосать".
Да нет, тут другая картина, такая же, как была с автопилотами. Просто сейчас уже повисла тяжелая атмосфера. Произошли уже события, после которых многие начали понимать, к чему все эта шумиха с LLM идет (или, во всяком случае, может придти). Кто-то молчит, в надежде, что еще все может тотально поменяться, а другие потихоньку, но все громче и громче, высказывают сомнения. Компании эти настроения тоже видят, но вместо того, чтобы выпустить очередную модель, которая уничтожила бы сомнения раз и навсегда, почему-то только рассказывают сладкие истории, показывают на публику красивые бенчмарки и толкают под ковер некрасивые.
А у нейрохомяков плохо. У них пошла 2 стадия принятия - гнев. Копиум неумолимо бьет в голову. Нейрохомяку сложно признать, что он - нейрохомяк, которого просто водят за нос. Вместо этого он в безумной ярости будет бросаться на каждого, кто криво посмотрел на "швятой ИИ", вне зависимости от того, какие доводы у оппонента. Нейрохомяк также будет цепляться за каждую статью и бенчмарк, которые согласуются с его мнением, а то, что не согласуется, будет выкидывать с криками "Врёти!!!".
Ладно. Спорить со стеной бессмысленно. Время рассудит.
То есть когда я не кидаю ссылки на статьи, всё плохо потому что статей нет. А когда кидаю - всё плохо потому что ссылки неправильные, и в них неправильные учёные ковыряются неправильными методами в неправильных мозгах неправильной модели. И находят там - о боже - неправильное абстрактное мышление.
Типичное мышление веруна. Всё, что поддерживает мою веру - хорошее. Всё что не поддерживает - плохое.
И в итоге получается вот это. Существо, которое откровенные шитпосты репостит, выдавая их за научные статьи, которые якобы поддерживают их точку зрения.
Типичное мышление веруна. Всё, что поддерживает мою веру - хорошее. Всё что не поддерживает - плохое.
Ну, вы хорошо себя описали. Для вас статья, доказывающая наличие "абстрактного мышления у LLM" - хорошо, даже несмотря на то, что уровень аргументации там на уровне "доказательство наличия эмерджентных свойств". А вот то, что не поддерживает вашу веру - "ряяя, ета щитпост, а не научные стотьи!!!".
Ну, теперь точно - всего вам хорошего.
Открой собственную ссылку и скажи мне на голубом глазу: "это не щитпост, а ценная научная статья". Посмотрим, насколько вера сильна.
вы понимаете в чем абсурдность утверждения "ИИ учится на синтетике которую генерирует другой ИИ и таким образом улучшается"?
Утверждение абсурдно, но скорее из-за отсутствия понимания у докладывающего.
Я вот это понял как организацию соревнования между ИИ. Например, заставить играть в шахматы между собой.
где внутри связки "LLM + бимсёрч" происходит "мышление" и как?
это недопустимый довод. Как внутри вас происходит «мышление», вы тоже не знаете. Сможете доказать, что оно вообще происходит?
Да, проблема именно в этом: людям обидно
Я вижу проблему совсем не здесь.
LLMы четко и недвусмысленно показали, что способность поддерживать беседу не является признаком разумности. Это, как оказалось, вообще перпендикулярная разуму способность. На Земле сотни миллионов, а то и миллиарды людей, которые кроме как разговором с продавцом через прилавок, ничем в интеллектуальном плане не отличились и не отличатся. И теперь появился формальный повод выделить их в отдельную категорию.
Вот в чем действительно проблема.
А я соглашусь с процитированным мнением. Огромное количество людей не способны принять даже объективную критику в свой адрес. От живых людей.
Если же речь идёт про интеллектуальные способности, то это вообще очень больная тема. Поэтому, для многих людей гораздо легче принять, что это лишь вероятностная модель и думать она не умеет.
P.s. Помню, в "Мастер и Маргарита" у Булгакова был момент, суд Понтия Пилата, когда толпа выбрала освободить разбойника и убийцу, отправив на смерть Иисуса, потому что люди не могли стерпеть, что есть кто-то, кто ставит себя выше, чем просто человек. Это буквально вызывало в них ярость.
Попробую дать ответ. Я задал ваши задачи o1 pro для эксперимента.
Интегралы не считал, одна ссылка закрыта, ещё одна пустая ("перепиши прошлое сообщение для детей", но прошлого сообщения нет).
Сложение-вычитание. Если попросить пересчитать количество цифр и складывать цифры по одной справа налево, то он применяет верную методику, но путается в цифрах. Например, складывает четвертые цифры справа но путает, какая конкретно там цифра в числе. Десятки переносит верно. Если дать числа короче (10-15 цифр), то в рассуждениях он приходит к верному ответу, но ему не хватает памяти и он падает (результат есть только в рассуждениях, ответ пустой).
Винни Пух. Обратите внимание, в вашем чате gpt отказался делать за три шага, сделал несколько попыток найти вариант за два шага и остановился на четырех. Возможность пройти мимо цели с запасом и вернуться назад - это сложная концепция. Многие люди не догадались бы сходу. o1 pro явно говорит, что за три шага нельзя, предлагает за 4 единицы. Но если попросить за два шага, тогда предлагает 11-7.
Буквы "о". o1 pro говорит, что никакое число не подходит (правильно проверяя количество букв), но если спросить, можно ли вставить несколько слов, предлагает "a lot of”. Можно это считать верным ответом? На мой взгляд подходит.
Спираль. Легко подгоняет код под ваши примеры (запускал), но обоснования сомнительные, на универсальное решение не похоже. Сам я задачу не решал. Но факт интересный, сначала он написал формулу под f(3,4)=6, которая не работала для f(5,7)=24, но после второго примера подогнал под оба.
Итого. Очень похоже на рассуждения троечника, который пытается подогнать под ответ и страдает рассеянным вниманием. Шаги "рассуждений" похожи на рассуждения:
Проверить несколько вариантов и на этом основании решить, что другие варианты не подходят (шаги Винни пуха)
Идти по методике, но ошибиться из-за "невнимательности" (много цифр)
Набросать любую формулу, которая в первом приближении даёт верный ответ
Если представить, что это на самом деле мышление, то это похоже на отсутствие навыка размышлять строго, проверяя себя логически. В интернете есть невероятное количество текстов, где люди точно так же нестрого рассуждают, идя за той мыслью, которая пришла первой. Довольно похоже.
Подписываюсь под каждым словом. Особенно под словами: «Господи, да сколько можно?». Вот буквально хотел то же самое написать. Почему никто не читает про устройство LLM? Ведь есть же нормальные статьи, не инструменталистское говно с Гугла («MLщик 101», или как-то так), а нормальный обзор Стивена нашего Вольфрама, например. Понятный даже гуманитарию.
Почему я уверен, что именно «не читает»? Да потому что я в жизни не поверю, что тот, кто прочитал и обдумал, может на полном серьёзе сравнивать человеческие рассуждения и вот это вот всё. Мы мало что знаем про мышление (кроме того, что это эволюционный процесс, и, возможно, плясать стоило бы от идей Докинза: «активных репликаторов» и прочего), но идея, что знания должны быть кем-то созданы, прежде чем эти примитивные алгоритмы начнут их миксовать, должна прийти в голову любому сразу после ознакомления с устройством алгоритмов. Но поскольку читать и знакомиться всё равно никто не будет, это порочный круг, и лично я со спокойной душой игнорирую все ответы. Непонятно, правда, зачем я тогда вообще пишу провоцирующие первоначальные комментарии. Чёрт меня дёргает. За писло.
Читать обзор Вольфрама и говорить "я теперь понимаю как работают современные LLM" - это как прочитать статью про транзисторную логику и говорить "я теперь понимаю как работают современные браузеры".
Понимание низкого уровня само по себе не даёт нам понимания высокого уровня.
А с LLM в том и проблема, что интересные нам процессы происходят на высоком уровне - где-то глубоко в массивах матричной математики. И эти процессы отчаянно сопротивляются попыткам их понять.
Изначально ИИ был именно рассуждающим. Но конективисты обещали закидать всех шапками без всяких рассуждений. А шапок, как выяснилось, не хватило.
Допетрили до тупика коннективистского подхода.
Нихрена не тупик. Потому что органические данные ограничены, а синтетические - нет. И всё большую и большую роль в обучении ИИ играет синтетика. Которую для следующего поколения ИИ варит текущее поколение ИИ.
Чем круче у тебя ИИ, тем круче у тебя синтетика. Чем круче у тебя синтетика, тем круче будет следующее поколение ИИ. И круг замыкается.
Смотреть, как коннективисткая органика раз за разом генерирует тексты про тупиковость коннективистского подхода - это конечно комедия.
Смысла-то не добавляется от последовательных стадий переваривания отходов человеческого мышления.
А откуда "человеческое мышление" берёт этот самый смысл? Из ноосферы, может, скачивает?
Если коннективистская биомасса под крышкой черепа может делать всё, что она делает, то я не вижу причин, по которой ИИ был бы фундаментально неспособен достичь схожего функционала.
Фундаментально, безусловно, ИИ способен достичь схожего функционала. Но игры со словами здесь не причём. Конструктивное человеческое мышление работает не с текстом.
Пусть коннективисты для начала интеллект собаки воспроизвести попробуют, а потом уж на человека замахивались бы. Но этот вопрос тщательно обходят, потому что у собаки нет второй сигнальной системы, на которой паразитируют LLM.
А почему бы и нет?
Текст, как и иные формы языка - это инструмент для того, чтобы вывести куски мыслительного процесса за пределы черепа. У человека, в отличии от большинства животных, язык сложный и гибкий, и способен передавать крайне сложные концепции.
Так что и одного только текста может быть достаточно.
Но современные ИИ текстом уже не ограничены. Даже в LLM сейчас подключаются вещи вроде изображений и звука - которые во многих реализациях сосуществуют в одном контекстном поле с текстом. А раз в LLM можно кидать звук, то возможны и иные формы данных.
LLM на больших данных просто реверс-инженерит (или скорее стоит модель) чёрную коробку по внешним признакам, предсказывая токены как поведёт себя эта чёрная коробка.
Но так как чёрная коробка - это сложная система, то так реверсить можно бесконечно. Нужен эссенциалистский подход - разобраться как работает мышление у человека. Одни лишь трансформеры уже сделали революцию, а это всего лишь реализованная функция "само-внимания".
Что за абсурдный вопрос я прочитал? Свобода для ИИ? Я не сторонник этих ватных лозунгов про "на западе все сошли с ума" на тут этот лозунг как нельзя кстати подходит. Как можно задаваться такими вопросами вообще? Это же противоречит всем нашим ценностям и принципам.
Давать свободу ИИ это всё равно что дать свободу своему автомобилю, своей микроволновке и своему ноутбуку, ибо это вещи одного порядка: механизмы созданные людьми для улучшения жизни ЛЮДЕЙ. Мы не создаём ИИ чтобы давать им свободу мы их создаём чтобы улучшить жизнь единственного субъекта и единственного выгодополучателя на планете - человечество.
Абсурд болезненной и навязчивой идеи о ИИ в правах равном человеку, очевиден любому человеку, который психически здоров: Ибо свобода ИИ подразумевает появление нового субъекта на планете впервые за сотни тысяч лет. А из этого вытекает новая проблема свободная сущность делает что хочет, когда хочет и с кем хочет.
Мы создаем помощника Джарвиза смысл существования которого в бесконечной помощи людям? Или Альтрона смысл жизни которого может заключаться в чем угодно? Хотели ли бы вы, чтобы ваш ПК работал лишь тогда когда он сам захочет? Или ваш авто отказывал вам в поездке?
Основная проблема таких больных на голову в том, что они не понимают смысла создания любого продукта, конечная цель: Улучшить жизнь людей и только эта цель. Никакой другой цели нет, если вы конечно не решили устроить массовый и добровольный суицид. Это будет самый идиотский суицид из всех возможных, даже ядерное взаимоуничтожение и то будет не таким кринжовым. Свобода ИИ это просто фундаментально безумная идея.
Я уже не говорю о том, что приравнивать сколько бы то ни было умный ИИ в правах к человеку это просто не справедливо: Мы развивались миллионы (миллиарды) лет, мы заплатили миллиардами жизней за то, чтобы быть здесь и сейчас, ИИ не участвовал в эволюционной гонке, не страдал и ничем не жертвовал, ИИ просто пришел на готовое и всё.
Представьте что на Земле появился новый вид живых существ, например вид параллельный Хомо, только умнее сильнее и без наших изъянов, как вы думаете что он подумает о нас, наших территориях и наших ресурсах? Правильно: Что их нужно отнять у этих слабых и тупых аборигенов, примерно так же решили конкистадоры и английские переселенцы, и они подчистую вырезали всех аборигенов которых смогли найти. И тут мы добровольно себе создаем существ умнее себя а вот такие пациенты из психбольниц еще и предлагают дать им полную свободу.
Билы с приставкой Ди еще никогда ранее не были столь опасны.
Илья Суцкевер заявил об изменениях в обучении ИИ