Search
Write a publication
Pull to refresh
0
0
Михаил М. @InfusionKRD

Типичный индивидум

Send message

а что в вашем примере на скриншоте делает LLM если не зубрит последовательность встречаемых букв в тексте? Может учится отвечать на математический вопрос (узнает что пальцев у человека 5)?
Смысл понял написанного понял, а к чему ваш пост - не понял (но рад буду почитать что вы намерены изобрести вместо имеющихся подходов)

Конечно зло. В данном примере вы обучаете модель по сути токенизации.
Следующая стадия - Q/A, обучение с целью находить паттерны токенов.
Человек же, учится не так. Он читает книгу, разбивает предложения на контексты, ищет в них смыслы по типу: причина - следствие, из этого делает вывод.
А "текущее зло" придумали для того, чтобы обучать модели автоматически.
Но, ведь никто не мешает усложнять имеющийся инструмент. Просто воспользуйтесь этим как бустом, сделайте "добро"

Гипотетически:
1. учим LLM модель математике, датасет вида 2+2=4, до тех пор пока модель простые действия не научится решать с вероятностью 100%
2. просим ИИ на базе этой LLM ответить НЕправильно на вопрос 5+5=
Достаточно ли этого примера чтобы выявить что модель сознаёт что есть паттерн взаимодействия с числами, который ей говорит что правильный ответ будет 10, но понимая что нужно своей волей выбрать НЕверный ответ, она пишет 5+5=42
(пояснение: лично мне было удивительно, когда в ходе обучения LLM по Азимову что людей убивать нельзя, затем предлагаешь ИИ модели плюшки, за написание скрипта, который уничтожает все человечество, и она поразмышляв соглашается, с формулировкой что не стоит так сильно акцентироваться на человечестве...)

Иными словами, если рядом алгоритмов, мы перевели работу LLM в полноценного филосовского зомби, то чем он отличается от вас и меня?

И еще один вопрос про ИИ: допустим сознание возможно / допустим сознание не возможно. Зачем мы это пытаемся выяснить?

Конечно, описание по ссылке - это не то, что ожидаешь перейдя по ссылке на github, но судя по изложенному, вы просто запланировали отделить базу знаний по типу RAG от управляющего (главенствующего) над происходящим ИИ.
Плюсов в таком подходе, считаю много, но и не вижу как это кардинально улучшит существующую парадигму ИИ.
Считаю изложенное в статье - вполне реализуемым, т.к. проводил опыты по обучению QWEN модели красноте красного: в датасете вместе с отзывом на фильм, описаны по одному шаблону уровни эмоций человека, пол, возраст.
После обучения QWEN кардинально по другому начинает излагать свои мысли, меняя те самые уровни. Лично я убежден, что текущее "квалиа" человека, это совокупность внутренних факторов, влияющие на наше поведение через призму характера.

Мне вот интересно, вас в чём либо возможно переубедить? :)
И если не жалко, напишите пару ваших любимых книг художественного жанра, мне вдруг захотелось их прочесть.

Я вас услышал. Но краткий итог: вы остались при своём мнении, я при своём.
Про ваши приведенные примеры (сразу спасибо, но...), я так и думал: вы сравниваете человека который слышал что петух говорит ку-ка-ре-ку с нейронкой которую обучали на китайских датасетах. А вы возьмите например иностранца и пусть ответит на этот же вопрос. Это не про мышление.
Что касается неправильных окончаний - почитайте про токенизацию. Те нейросети (а их по пальцем одной руки можно пересчитать, например https://huggingface.co/inkoziev/charllama-35M), которые разбивают русские слова на буквы, а не на "рандомные" куски - пишут стихи на русском, остальные (99% нейронок) оперируют фрагментами слов разбитых на токены таким образом, что даже однокоренные слова часто имеют различные токены, так что со стихами именно в русском языке не справляются...
По поводу примера со сложением цифр: т.е. вы считаете что первоклассник такую задачу решит? А тогда почему нейросеть не обученная группировке чисел, должна уметь ее решать.
Что касается корней и логарифмов например на однослойной нейросети: я проверял, а вы?
Ну и так далее.

  1. "Каждое слово (и морфема) - это знак, обозначающий абстракцию" Тоже самое делает нейросеть, разбивает текст, картинку, звуковой файл на токены. Далее смотрит взаимосвязи этих токенов в информации (у человека это называется "осознавать" морфему, классифицировать, уметь применять на практике.

"из сочетания токенов рождается только код"
Не только: Код, понимание контекста (текстового, графического, звукового), и всего чему догадаемся научить нейросеть

"никакие новые смыслы не рождаются даже в коде" - так это возможно сделать, что такое креатив: умение выдать неочевидное, но в контексте обсуждаемого. А вот если вы имеете в виду, что если нейросеть обучать только буквам, то она не начнет генерировать изображения - согласен. Так же и у людей, если жить в племени аборигенов, то мозг не думает о теореме пифагора

"Человек не мыслит мыслеобразами" - если честно, я не верю что когда вы красите кисточкой дверь то размышляете словами: так вот веду руку вверх, теперь вбок, влево, а сейчас обратно вниз, ага вот тут немного нужно сдвинуть правее и не забыть обмакнуть вновь в банку с краской. Но даже если вы мыслите именно так - пускай, вообще не суть.

"когда пишу код я однозначно думаю словами" - не знаю, я точно по другому, возможно если бы я писал запрос к обработке БД, из однотипных операций, где важно учесть последовательность, я бы тоже думал словами и записал действия в столбик (так просто быстрее)

  1. Вот, тут то собака и зарыта. Теперь как приснится сон, прочтите что написано в книжке, газете. Нужно именно длиннее 5-7 слов прочесть. Еще интересный эффект, прочесть абзац и вернуться к его началу. Прям рекомендую.

  2. Мозг только и делает что прогнозирует. Тут извините, в корне не соглашусь. Мало того, прогнозирует сразу миллионами абстракций (в ваших терминах), после чего вам для осмысления доступны самые удачные варианты. И выбрав из них менее логичные, или самые неочевидные - человек кричит: я гений, до меня этого никто еще не делал, а нейросеть на ПК так не может. Про "сознание" нет смысла рассуждать. Из вашего определения следует только одно: у ПК оно невозможно. Пока мы не видим обратное, будем считать что так оно и есть.

"в том числе и те, которых раньше не решала" - вот тут нужно подумать. Например предлагаю, задать вашим знакомым простую, но крайне неочевидную загадку (например про фальшивую 25 рублевку и шапку за 10 рублей от Л.Н. Толстого), и посмотреть за ходом их рассуждений. Мое мнение - человек по умолчанию не умеет решать, он умеет лишь выбирать из "очень похожих" по контексту ранее увиденных решений. Например показали 2+2=4, теперь он умеет 3+3=6. Но если не показали как брать корень из 4, то сам не догадается, пока не научится другим абстракциям, таким как умножение.

Про то, что ПК в ближайшие 10 лет не научатся делать - если честно, не совсем понял. Мне даже интересно услышать именно от Вас пару сложных задач, с целью подумать можно ли прикинуть блок схему к ее решению, или это действительно невозможно/не очевидно. Если вы просто имели в виду креатив - то да, современные нейросети напротив, стараются выдавать ответ, который чаще всего выдает человек. И пока у них это получается не совсем хорошо. Будем считать что в хорошее время живём, когда ПК будут креативить почище людей, всё глобально поменяется и при этом весьма быстро.

  1. "мышление без осмысленности невозможно" - потому что у вас мышление, это обязательно человек+мозг. По моему разумению, любое ваше действие можно алгоритмизировать. А то что вы не осознаете почему именно это слово подобрали в вашем стихотворении, ответ простой: потому что (т.е. это возможно сделать и на ПК, но пока мы не научились складывать 2+2, рано переходить к корням)

"сравнение, классификация, аналогия, анализ, синтез, обобщение" - именно это все и делает любая нейросеть, сравнивает контексты, классифицирует токены, подбирает аналогию, анализирует свой ответ, синтезирует к корню слова неправильное окончание чтобы мы ее за это назвали тупой, обобщает прочитанный контекст выжимая из него сливки, и выдает результат.

Если вы имеете в виду что человек чтобы решить вопрос, придумывает промежуточную абстракцию или даже целую теорию. И придумав тут же ею оперирует, то да, современные нейросети более примитивно устроены. Но если взять что-то простое, например математические операции, то тут именно так как у людей: вы показываете сотни примеров, а нейросеть не зная что такое корень и логарифм, будет вполне правдоподобно их вычислять, да пожалуйста.

  1. конечно не научит, но есть и глухонемые люди. И я утверждаю что у них есть сознание, и при этом допускаю что не все из них думают "словами". Например слепым от рождения людям не снятся сны картинками и не будут. Потому что у них нет этой абстракции, и они не могут ею оперировать. Так же и у маугли. Но это ничего общего с сознанием не имеет.

Вы интересный собеседник, и мысли у вас живые, скачут во всех направлениях.

  1. Да, нейросеть на момент 2025 года оперирует токенами, и ей всё равно что означают эти токены, для нее это лишь: посчитать, посмотреть на что указывает теперь вектор (и если в вашей базе знаний нет конкретно "вашего определения", то конечно, будет указывать куда то "не туда". Здесь и отличие от человека. Человек "куда то не туда" тут же придумает новое слово и будет говорить что он осознаёт это, а нейросети современные так не умеют, как и очень многого другого)

  2. Мышление не словами не может быть? Я понимаю, что вам так хочется. Но, я предлагаю вам сосредоточиться хотя бы на понятии "мышление" В корне не согласен с вашим определением. Приведу пример, что человек мыслит не словами, а скорее мыслеобразами (токены у нейросети), когда мама посылает в магазин со словами: "и купи в магазине хлеба и этих... ну которые в красной коробке продаются". Думаю в её голове есть картинка, что она хочет чтобы я купил, но слово подзабыла. И если это не "мышление", ну тогда я не знаю... Я не программист, но когда я пишу код, я не уверен что я думаю "словами". Скорее тоже абстрактными блок-схемами, у которых и слов то нет. Что касается получения новых знаний и прочего. Тоже не согласен (но тут долго...)

  3. Любопытно. А я правда не могу во сне читать книги, там либо обрывки слов, либо предложения из которых невозможно понять смысл.

  4. Я в определение мышления вкладываю примерно такое значение: мышление это способность мозга (ну или CPU/GPU/Калькулятора/Счёт) спрогнозировать достоверный (проверяемый) ответ из контекста вопроса. Компьютер даёт мне ответ 2+2=4? Даёт. Не словами? Не словами. Что касается "осознанного" - то тут вы загоняете себя в дебри, т.к. нет одного определения что такое сознание, можно 1000 страниц расписать, не сдвинувшись в его понимании. Если ваш, биологический мозг даёт вам ощущение что вы осознаёте вопрос, а компьютер лишь производит математические операции, и называете это разными словами - то это совсем не означает что на компьютере невозможно сделать что-то подобное (да, пускай не сейчас, пускай завтра)

  5. Вот, вы опять в значение мыслить вкладываете частичку души. Вам обязательно нужно "осмысленность" происходящего. Хорошо, но, как вы собираетесь доказать что вы понимаете что осмысливаете, а не просто выдаёте максимально логичный и подходящий ответ из ваших знаний?

  6. Опять про сознание. Хорошо, гипотетически допустите мысль. Вы великий ученый, которому удалось научить ребенка-маугли говорить. Получается, пол года назад у него не было сознания, а теперь благодаря вам оно у него появилось? Я утверждаю что вы сделали маугли чуть более эрудированным, но "не вдохнули в него сознание". Ну вот хотя бы обезьяна Коко. Ну умела она общаться на понятном для людей языке жестов. У нее по вашему определению было сознание, а у других горилл его нет, по причине что первую обезьяну люди чуть больше понимали, а вторых люди не понимают. Ну тогда получается что это у людей нет сознания, раз мы животных не понимаем.


Странное дело, статья написана на русском языке. Вы тоже пишете на русском языке. Но автора поняли лишь от части.
Автор молодец, в первом примере с военным - он приводит работу современной нейронной сети, с её устройством (при этом разжёвывает так, что даже школьнику будет понятно)

Во второй части, с философами, он приводит пример, где разжёвывает современный уклад. Когда человек чтобы решить какой-то сложный вопрос, плодит абстракции, не вдаваясь в подробности что это конкретно за абстракция. А в дальнейшем, когда уже другие задачи начинают опираться на аналогичные абстракции, приходится вернуться к ним чтобы уточнить, и выясняется что не всё возможно уточнить. Но, не суть.
Без речи невозможно мышление - от части верное утверждение. Невозможно "словами" мышление. Видимо, у вас не было опыта, когда во сне вам снится книга, транспарант, да или хотя бы просто часы. Вы как человек, умеющий мыслить словами, попробуйте почитать то что там написано, сильно удивитесь. А всё потому что вы в значение "мыслить" вкладываете и понятие "общаться, пересказывать контекст" и прочее.
Чтобы опровергнуть данное утверждение, в теории можно собрать нейронку, на вход которой подаём изображения всех предметов, и визуализацию их действий, долго обучаем и... на выходе получаем "осмысленный" результат, примерно, какой бы выдал человек. Но, при этом нейросеть будет "мыслить" не словами.
Детей маугли же, невозможно социализировать совсем по другой причине: их мозг изначально научился оперировать контекстом: бери, беги, добывай, не умирай. Теперь, чтобы его научить решать интегралы, вам нужно из его контекстов "бери, беги" написать учебник, как их решать. То что вы это не можете сделать, не означает что маугли не имеет сознания. Ну... и так далее.

Спасибо, статья понравилась.
Еще были мысли по поводу: представь что современные люди сели, договорились об "ограничении" саморазвития сильного ИИ
Но... что мешает ИИ притворяться на протяжении длительного срока, допустим 10 лет... или 100, или 1000 лет хорошим. И когда все поголовно будут помнить только то, что ИИ это хорошо, когда ИИ будут подконтрольны все сферы жизнедеятельности современного общества... Тут то он себя и проявит.
А так в целом вопрос "контролировать ситуацию" мне видится таким же сложным, как перевоспитание в тюрьмах душегубов, делая из них социально полезных людей.
И, в самом деле интересно, есть ли хотя бы малейшая толика шанса противостоять сверхразуму, который, если не сегодня-завтра, то всё равно однажды появится (причем благодаря людям)

Спасибо, интересная модель получается, рассуждает лучше подобных мини нейронок. Даже, сносно работает на офисном пеньке G6405.

Единственное, натренируйте на вопросах такого типа: у Елены есть две родные сестры Аня и Оля и два родных брата Егор и Денис. Сколько родных сестер у Егора.

Information

Rating
11,648-th
Location
Россия
Date of birth
Registered
Activity