Комментарии 170
Ну ИИ \то имитация работы могза челорвека.
Люди никогда не перестанут врать - так что вранье ИИ -норма
Нет. ИИ это имитация работы диалога. Даже мозг червя архитектурно сложнее чем GEMINI, про мозги речи пока нет.
я имел ввиду не нейронки а ИИ как он был задуман в 1956 году
То есть междисциплинарная нацчсная дисциплина задачей котрой является имитация работы мозга и коншгитивных способностей человека.
LLM это просто чамтный случай. ИИ это вообше не обязательно нейронная сеть
Ну как мега-проект да, конечно... Имитация разума и даже можно сказать имитация человека.
Будем строить утверждения на почве бреда маразматиков прошлого века?
Чтобы имитировать работу мозга, вам нужны 80 000 000 000 электрически сложнейших блоков, соединённых ещё на несколько порядков бо́льшим количеством коннекторов
Способных к самостоятельному изменению собственной формы в процессе работы...
ну, 80 млрд функций с 80 млрд эндпойнтов не выглядят невыполнимой задачей...
А если подумать в таком ключе:
"80 млрд функций с 80 млрд эндпойнтов каждая" уже не так и мало.
Ибо насколько помню у нейрона далеко не один выход, и каждый нейрон может триггерить целую область.
Там 3D схема соедниений, в унынешних сетей 2D. Вычилительная сложность от количества узлов на много порядком больше текузий сетей. Там уножением матриц не обойдёшься. Плюс там есть узлы, сохраняющие состояние, обратные связи и прочее.
...и 100-500 триллионов связей
А сколько миллиардов устройств (компьютеров и телефонов) уже объединены в одну сеть? Есть оценки что десятки миллиардов.
Если вы организуете В СРЕДНЕМ от 1000 до 10 000 P2P связей между 86 000 000 000 устройств с пингом меньше, чем до сервера вашего провайдера, то, возможно, получите киберпанк
Иначе - все ваши чёртовы связи идут через провайдера с пингом больше, чем у школьника в кс-ке
Даже в рамках вашей фантазии, кажется, с концептом что-то идёт не так
Я говорю не о преднамеренной имитации мозга, а о том, что структура, содержащая связанные вычислительные устройства, каждое из которых невообразимо сложнее нейрона мозга, а число этих устройств в сети сравнимо с числом нейронов, давно существует. Вычислительная мощность не зависит от пинга - просто всё идет в другом масштабе времени. Вы уверены, что эта структура не обладает сознанием? Я не уверен.
Ого, играем в панпсихизм, значит
Shame on you
Я, переходя дорогу с односторонним движением, смотрю в обе стороны
Я, переходя дорогу с односторонним движением, смотрю в обе стороны
Я, переходя дорогу с односторонним движением, вообще никуда не смотрю. Потому что транспортные средства, перемещающиеся абсолютно беззвучно, мне неизвестны — а если меня собъёт низколетящий НЛО, то я даже и не против.
Стругацкие "Жук в муравейнике":
Глава спецслужбы Земли Сикорски: "Если в нашем доме вдруг завоняло серой, мы просто не имеем права пускаться в рассуждения о молекулярных флюктуациях — мы обязаны предположить, что где-то рядом объявился чёрт с рогами, и принять соответствующие меры, вплоть до организации производства святой воды в промышленных масштабах».
В нашей ситуации Сикорски не сидел бы сложа руки
Сознание, судя по всему, артефакт естественного отбора и эволюции и у белковых возникло лишь потому что даёт преимущества в выживании. Оно не возникает "само по себе" по достижению некоторой сложности системы. 80 миллиардов нейронов также не требуются, признаки сознания есть например у кошки и даже мыши-полёвки, возможно и у более простых организмов, а скажем у вычислительного центра не наблюдается.
Искусственно создать сознание скорее всего возможно при правильном подходе к обучению, вопрос тут в том действительно ли нам это нужно.
У них однозначно наблюдаются признаки квалиа, рефлексы, способности к обучению
Сознание - это развитая способность к когнитивному контролю, абстракции и саморефлексии, и наблюдаются эти признаки отчасти только у наших меньших приматов
И сознание - не артефакт и не побочный эффект. Это феномен - да, и оно позволяет нам взглянуть на вещи абстрактно и говорить о природе эмерджентных систем, которые мы сейчас с вами обсуждаем, и конструировать их
Мы обладаем мотивацией, основанной на этих абстракциях, сложными чувствами, интуицией - это не подделаешь, это уникально. Эволюция - да, континуум - да, но меня корёжит от спекуляций на эту тему. Мы не можем стопроцентно верифицировать квалиа даже друг у друга, а вы говорите про сознание у полёвок, кто-то - вообще про цифровые системы
Чтобы делать предположения, не обязательно их стопроцентно верифицировать. Бритва Оккама заставляет предположить, что признаки сознательного поведения у полёвок, аналогичные подобным признакам у самого наблюдателя, скорее объясняются наличием у полёвок сознания, чем каким-то неизвестным альтернативным сознанию механизмом высшей нервной деятельности. То же самое и с наличием квалиа у других людей.
Хотя теоретически философский зомби возможен, но в случае живого существа непросто ответить на вопрос, какой эволюционный механизм сделал бы его отличающимся от наблюдателя.
скорее объясняются наличием у полёвок сознания
И часто Вы она антропоморфизируете?
Тут нет нужды антропоморфизировать, общеживотная природа нервной системы человека и ее основных функций - объективно наблюдаемый факт.
В развитие сказанного вами - и еще немало человеков путают интеллект (включая возможность к обучению) и сознание... Особенно если пытаться применять философские определения в естественнонаучных вопросах...
Сознание - это развитая способность к когнитивному контролю, абстракции и саморефлексии, и наблюдаются эти признаки отчасти только у наших меньших приматов
Я говорил о сознании в более упрощённом смысле, как способность чувствовать "себя", отделять себя от других и окружающего мира. Способность к абстрактному мышлению и пр. отношу скорее к интеллекту, которого у полёвок действительно нет, или находится в зачаточном состоянии. А вот "самочувствование" у них, предполагаю, (не утверждаю!), есть.
Если не согласны с такой терминологией, ок, называйте это по-другому, спорить о таких вещах не вижу смысла. Принципиальных разногласий у нас здесь нет.
Важно то что ни сознание ни интеллект не могут возникнуть сами по себе просто при усложнении системы. Необходимо внешнее давление, естественного отбора в течение миллионов лет, или обучающего алгоритма (хочется надеяться, гораздо быстрее).
И сознание - не артефакт и не побочный эффект. Это феномен - да, и оно позволяет нам взглянуть на вещи абстрактно и говорить о природе эмерджентных систем, которые мы сейчас с вами обсуждаем, и конструировать их
Одно другому не мешает )
Я вообще считаю людей как вид побочным эффектом эволюции, одним из многих промежуточных этапов. Не целью, не "венцом творения" и т.д. Сознание - да, удивительный феномен, тем не менее не вижу проблем в том чтобы назвать его артефактом.
Ну, мы с вами говорим о квалиа (нужно всё-таки использовать корректные термины) и, как раз, скорее, об интеллекте в зачаточном состоянии , чем о сознании, которого у полёвок, очевидно, нет
А на наличие квалиа косвенно указывает морфиновый тест. У пчёл, например, даже квалиа нет - это биороботы
Давление эволюции... Так, кажется, нам вообще больше не о чем дискутировать, всё база базированная
В русском языке вообще плохо с терминологией философии сознания. В китайском различают два термина, переводящиеся на русский как "сознание" – 知觉 zhījué, как способность воспринимать, ощущать и 意识 yìshi, как осознание себя. Первое у полёвок есть, второго нет.
Собственно, эти вопросы исторически гораздо лучше разработаны в восточной философии.
А что касается квалиа, то это просто психические феномены. Известно, что можно психоактивными веществами или медитативными практиками достичь такой диссоциации психики, когда квалиа останутся, а сознания ни в каком смысле уже не будет (* не является рекламой употребления запрещённых к свободному распространению веществ).
Правда, 90% из них не нужны.
Правда, 90% из них не нужны.
Вижу, месье не пользуется бэкапами!
Нужно много больше этого — нейромедиаторы работают и в объёме, концепция «проволочного» мозга уже давно устарела.
А чтобы полететь, нужно имитировать аэродинамику 25000 перьев как у вороны.
Как мило, как оригинально
Что бы полететь как ворона определенно это может быть кратчайшим путем к решению.
Все же ворона своими перьями решает существенно большее количество несвязанных и противоречивых задач, чем планер.
Вот тут вопрос - мы хотим просто летать или летать как ворона?
И возможно так выйдет, что полет может строится на других основаниях, чем крыло вороны, допустим воздушный шар.
Но мы почему-то копируем с огромным усердием именно крыло вороны, на каждой итерации пытаясь приблизится к более точной копии. И сравниваем постоянно с крылом вороны.
Товарищ, вы путаете "имитацию" с "эмуляцией". Крабовые палочки содержат 0% ДНК краба, но имитируют их внешний вид. Тут тоже самое, внутрянка вообще не имеет ничего общего с человеком, но внешне похоже.
Ого, забавно, потому что у червя НЕТ мозга.
Если говорить об архитектуре, то самых развитых - порядка 10000 нейронов. И сложнее они потому, что у нейронов свои "вычисления".
Математическая модель нейрона в нейронных сетях стоит довольно далеко от физического нейрона. Она не учитывает нейротрансмиттеры и гормоны как минимум.
Если я верно помню "слоёную" архитектуру современных нейронных сетей придумали исключительно на основе того как работает зрительная кора людского мозга
Если записаться в адепты Роджера Пенроуза и вспомнить про наличие в клетках нейронов микротрубочек про которые недавно кстати были очень интересные исследования то аргумент "мозг этож нейронная сеть" будет звучать ещё хуже
Третий лишний
Не открывая, могу сказать, что там какая-то шняга про квантовые эффекты
Вообще, сверху какое-то веселье, поймут только одарённые (или адепты)
Я просто ответил немного невпопад, поэтому комментарий странно звучит :)
Я прочитал ваш комментарий как "но мозг червя не так уж сложен по сравнению с нейронной сетью", не смотря на то что вы сами написали про "и сложнее они потому, что у нейронов свои "вычисления" и совершенно не то имели в виду.
My bad.
Третий пункт да, натянутый, но я хотел его добавить для того чтобы показать насколько мозг может быть сложнее нейросетей (что даже текущие математические модели нейронов на потенциалах всего не объясняют).
Да, и это та самая проблема, почему проектировать человеческий мозг целиком - прикольно в теории, но недостижимо и непрактично
Аналоговый вариант сразу отпадает, а цифровой даст нам... Ну, мы получим модель мозга (не получим, вычислений не хватит). Искусственного квалиа цифровым путём не достичь, а по поводу плюшек...
ИИ нужно развивать с позиции функционализма - брать всё самое хорошее и работающее, а исследования и проектирование мозга двигать в сторону решения проблем с болезнями и прочими органическими ограничениями - база, в общем-то
Наблюдая за окружающими людьми и некоторыми комментаторами в интернете, ненароком навожу себя на мысль, что таки да, нейросети действительно имитируют работу их мозга. И во многом превосходят их.
А по каким критериям вы сравниваете мозг червя и нейронку?
Нет там никакой имитации. Человек врет сознательно. LLM "врут", потому что не обладают сознанием и просто вероятностно угадывают следующее слово.
И это, действительно, не баг, потому что баг -- это ошибка, которую можно исправить. А это особенность работы.
Стоит различать ложь и буллшит. Лжец знает правду и хочет её скрыть. А тут скорее именно буллшит, когда говорящему безразлично, насколько правдивы его заявления, он просто хочет получить желаемый результат - например, не выдать своё незнание.
И да, в этом отношении LLM и впрямь являются подобием человека.
Нет, не являются. Безразличие -- это так же особенность сознания. Машина/компьютер не могут быть безразличны, т.к. у них просто нет такой категории.
Если я скажу, что мой автомобиль обладает нулевой эмпатией -- это ведь будет звучать глупо, не так ли? Потому что у него вообще нет такой категории.
сознание это чистой воды философская концепция, проверит ее наличие или отсутствие, что у человека, что у ЛЛМ нельзя
Если это "чистой воды философская концепция", почему в нашем мире можно заключать юридически обязывающие договора только между теми, кто обладает сознанием?
Проверить нельзя, но все делают это без малейшего затруднения.
Вообще это не так: согласно философии 12-летний ребенок сознанием якобы обладает, но юридически обязывающие договора заключать не может, или полудементный дед, который уже плохо помнит какой сейчас год сознания в полной мере уже может и не иметь, а договора заключать таки может, пока его невменяемым не признают. И никакого теста на наличие сознания при заключении договоров не делают, смотрят только на возраст да на документы. То есть определяют "без малейшего затруднения" чисто по аналогии - "у меня есть, значит и у них есть", а нука у нас среди человечества половина философские зомби, как отличать будем?
Так возраст и документы, по сути, и есть тест на достаточное сознание.
Опять же у философов сознание бинарная характеристика - есть/нет, никакого достсточного быть не меожет. И это никакой не тест - в 18 никто не дает тестов на то есть ли у тебя сознание или ты философский зомби
Опять же у философов сознание бинарная характеристика - есть/нет
Ещё старый добрый епископ Беркли указывал, что это не так, приводя в пример обкурившихся объевшихся несвежей кашей детей.
Кстати, эту его постановку вопроса большинство европейских философов с тех пор заметают под ковёр (хотя в Индии, например, вопрос ментального состояния наблюдателя и других людей очень тщательно исследовался).
У тех у кого это не бинарная характеристика, у тех еще хуже - сразу всплывают вопросы сознания, как минимум, у животных
А что тут плохого? Мне, например, представляется совершенно очевидным, что, как минимум, у высших животных есть сознание в самом обычном его понимании. И никакой чёткой границы с человеком ни в отношении сознания, ни в отношении разума нет.
Также из личных наблюдений могу отметить, что под общей анестезией пропофолом я лично сознанием не обладал. Про сон и обморок – вопрос определений.
ну тогда это еще более очевидный контрпример тезису "в нашем мире можно заключать юридически обязывающие договора только между теми, кто обладает сознанием" - ну точнее формально критерий остается верным, но становится очевидным, что тут не на наличие сознания опираемся, ведь договор с котом я заключить не могу.
Конечно. Договора вообще из другой оперы, кота просто законодатель не наделил правосубъектностью. Раньше с неграми кое-где так было.
Конечно, кот не больно-то умён, но это и к некоторым людям относится.
Ну, собственно, тут и возникает вопрос является ли сознание чисто философской концепцией, если определить его наличие каким-либо тестом мы не можем. Оно ведь и ЛЛМки умнее отдельных индивидуумов бывают
Я наличие у себя в данный момент сознания наблюдаю непосредственно (хотя буддисты ставили этот опыт под сомнение, но весьма искусственно). Поэтому чисто философской концепцией оно не является.
Или вы утверждаете, что наблюдаете, а сами не наблюдаете. Проверить-то снаружи нельзя
Если у вас нет собственного сознания, то для вас, конечно, этот аргумент не релевантен. Он апеллирует к квалиа, а не к интеллекту. А кому сейчас легко?
Ну собственно тут и начинается махание руками - кот подтвердить наличие у него сознания не может, но оно, вроде как есть, ЛЛМ подтвердить может, но у нее нет. У людей оно вроде как есть, но точно ли у всех? Посему и смысла в этом термине не много
Ну это как искать потерянные ключи под фонарём.
кот подтвердить наличие у него сознания не может
Просто не считает нужным что-то подтверждать низшим существам.
Согласен. Придумали абстрактный термин, который закрепился в языке. Теперь носятся с ним, обсуждают и даже выводы о его наличии или отсутствии делают. Напоминает бесконечные споры о Боге в средние века.
Видится что не только философской, но и прикладной уже исходя из того, что мера всего - человек. Т.е. допустим некая огромная скала обладает каким то своим "сознанием", но нам оно не интересно, пока ее, скалы, "сознание" не пересекается с нашим сознанием в каком то прикладном нашем аспекте. Мало ли вокруг чудных вещей, нам же надо с кем поговорить.
Ну вот как только у нас мерой становится человек это первый признак того что мы от практики ушли в философию. Причем с практической точки зрения куча людей ведет натуральные беседы с ЛЛМ не заморачиваясь вопросами наличия сознания у оных
Ну для целей ведения бесед вопрос наличия сознания и не важен.
А для чего он важен? Если юридически мы на другое смотрим, для личного общения нам тоже философский зомби подходит...
Для кармы. Перефразируя Лема, в какой-то момент придётся принимать решение усыновить вычислительную машину. Вроде как безнравственно, если человечеству унаследуют философские зомби.
Так может уже унаследовали, в том-то и дело. Ну или директивно примем, что у будущих ИскИнов есть сознание, проверить-то все равно никто не сможет
Если говорить конкретно про LLM, то у них кроме отсутствия сознания, в чём было бы ещё полбеды, отсутствуют и многие ключевые функции интеллекта, начиная с воли.
"это ведь будет звучать глупо"
КМК только потому что мы привыкли опускать в речи параметры которые всегда для данного типа объектов отсутствуют("всегда равны 0"). Но с точки зрения логики - конструкция вполне верная, ибо характеристика "эмпатия" и в самом деле у автомобиля отсутствует( 0 - отсуствие чего либо, ну или "наличие отсутсвия" если вы хотите вспомнить про nil)
Re Стоит различать ложь и булшит
Далее про сознательную ложь
"Слово произнесенное есть ложь" кто-то из великих сказал
Ещё психологи говорят что человек врет до 100 раз в день
Я удивился но проверил на себе Да похоже. То контекст не обозначаешь то просто... Да мало ли. Без умысла.
А вот ИИ пока врет потому что не обучение говорить" не знаю" мысль не моя тут недавно на хабре эксперт писал
Вот бы гигачат выдавал что-то подобное поисковик АМ К релевантности :)
А ещё бывает, не поверите, "неверное знание". Человек в чём то уверен, но это неправда. Он добросовестно заблуждается. Так что сводить всё просто к двум категориям - ну такое себе)
Буллшит опаснее лжи. Ложь хоть можно опровергнуть фактами, а буллшит настолько размыт и правдоподобен, что на его опровержение тратится на порядок больше энергии
Человек врет сознательно.
Ах если бы.
Канеман приводил исследования, в которых люди во всех подробностях рассказывали, как в детстве ездили в Диснейленд, только потому, что им показывали фотографию оттуда - разумеется, смонтированную. Да и дежа вю в том или ином виде каждый испытывал.
Человеческий мозг галлюцинирует дай боже. Память в принципе перезаписывается каждый раз при обращении. И всё это абсолютно фоново, без какого-то волевого решения.
Зачем в детстве? Мы путаем события, которые происходили буквально пару минут назад - https://www.youtube.com/watch?v=_LYe58b-3HM
Наши воспоминания нифига не отражают реальность. Это скорее Мойша напел.
Канеман приводил исследования, в которых люди во всех подробностях рассказывали, как в детстве ездили в Диснейленд, только потому, что им показывали фотографию оттуда - разумеется, смонтированную.
Да ладно, некоторые люди
на голубом глазу говорят "обе белые",
хотя сами ведликолепрно в курсе, что это не так.
наличие смонтированной фото не отрицает факт что они там могли быть. скорее родители забудут что дети там были и когда.
Если мне покажут фото меня в детстве в ДЛ то я при всём желании не смогу придумать что я там был, нету у меня в голове инфы о том как он выглядит.
Другое дело если эти люди в детстве много раз видели и слышали от других детей что там бывает, тогда могут это выдать за то что там сами были. То есть воспоминания/рассказы других людей переносят на себя.
А что такое "сознательно"? Может наш мозг тоже просто вероятностно угадывает лучшую стратегию выживания, а "сознание" это пост-фактум объяснение (интерфейс) для нас самих?)
Лучший
Мы почти никогда не задаём себе неудобный вопрос: а что, если здесь в ИИ существенную роль сыграют невычислимые функции — те, для которых не существует машин Тьюринга, то есть их нельзя реализовать кодом ни на каком компьютере? Похоже, именно к этому мы и подошли.
Мой неудобный вопрос "доктору технических наук":
У машины Тьюринга бесконечная лента, а значит в теории можно все значения якобы невычислимой функции можно записать тупо на отрезке этой ленты и обращаться к ним как к списку значений (при условии конечно, что вы не знаете саму функцию, но знаете ее значения). Получается, вы не правы - проблема не в том, что что-то там нельзя реализовать машиной Тьюринга, а в том, что в реальности невозможно сделать бесконечную память?
а значит в теории можно все значения якобы невычислимой функции можно записать тупо на отрезке этой ленты
Нельзя. Порядки бесконечности разные. Если одна бесконечность больше другой в два раза, то первую никак не уложить во вторую даже чисто математически.
но у вас же порядок бесконечности ленты неизвестный
Почему неизвестный? Как говорят математики в таких случаях: "Допустим, порядок бесконечности Ленты Тьюринга равен 1. Тогда ..."
Весь вопрос в том, для чего нужна Лента Тьюринга? Если для реализации бесконечного множества всех вычислимых функций, то её длина бесконечна, но меньше, чем у аналогичной ленты для реализации множество всех вычислимых функций + ещё одной. Порядок совпадает, но длина меньше, как ни крути ¯\_(ツ)_/¯ А если добавлять не просто +1 функцию, а ещё одно бесконечное множество функций уже невычислимых, то тут и порядки длины лент могут быть разные (см. матанализ, пределы).
Если для реализации бесконечного множества всех вычислимых функций, то её длина бесконечна, но меньше, чем у аналогичной ленты для реализации множество всех вычислимых функций + ещё одной.
А если добавлять не просто +1 функцию, а ещё одно бесконечное множество функций уже невычислимых, то тут и порядки длины лент могут быть разные
Напоминает парадокс Гранд-отеля Гилберта
Порядки бесконечности разные.
Там речь про отображение множества целых чисел, то есть счётного. Это минимально возможный порядок бесконечности. Если лента бесконечная, поместится.
Если одна бесконечность больше другой в два раза
Множество целых чисел и множество чётных чисел имеют один и тот же порядок бесконечности.
в теории можно все значения якобы невычислимой функции можно записать тупо на отрезке этой ленты и обращаться к ним как к списку значений
Если речь идёт про одну невычислимую функцию, то - да, там порядок бесконечности одинаков. Я что-то по невнимательности решил, что разговор идёт про множество всех вычислимых функций и про множество всех невычислимых.
Если одна бесконечность больше другой в два раза, то первую никак не уложить во вторую даже чисто математически
ого, вы какую-то свою математику открыли? Потому что 2⋅∞=∞
Нет, это обычный матанализ.
А причем тут предел? Никто не говорит про то что нужно писать на растущие одинакого со временем в длину ленты. Они по умолчанию уже бесконечны(либо можно еще представить что если попытаться запихать на бесконечную ленту х2 от ее текущего размера то она моментально увеличится на сколько нужно. А через свою формулу предела ты это свойство не выражаешь). На бесконечную ленту ты можешь записывать бесконечно бесконечное количество раз. Вроде несложная мысль
Бесконечности бывают разные. Это тоже несложная мысль. И матанализ её наглядно демонстрирует. Я просто переписал ваше же "2⋅∞=∞" в несколько другой форме.
Бесконечности бывают разные, совершенно верно. Правда, ни "2⋅∞=∞", ни предел отношения с этим не связаны (по крайней мере, явно). Но да, есть бесконечное число разных счётных бесконечностей (таких, которые могут влезть на ленту машины Тьюринга) и ещё более бесконечное число разных бесконечностей, которые больше счётных (и на ленту по определению не влезут). Ключевые слова для поиска - "порядковые числа" либо "ординалы".
У меня есть 2 отрезка. Один больше (длиннее) другого в 2 раза. Легко доказать, что каждой точке первого отрезка можно сопоставить одну и только одну точку второго
В исходном комментарии в "в два раза" какая-то ерунда, конечно. Но бесконечности, разумееются бывают разными - множество точек на отрезке вещественной прямой невозможно сопоставить множеству рациональных чисел.
Наверное, автор исходного комментария рассуждая про разные бесконечности пытался сопоставить множество всех функций, включающие в себя - все невычислимые (допустим, рассматриваем функции N->N) и множество вычислимых функций.
И тех и других бесконечно, но вычислимых - счётное число, а всех функций из N в N - несчётное (кардинальное число - то же, что у отрезка)
А наоборот?
У машины Тьюринга бесконечная лента, а значит в теории можно все значения якобы невычислимой функции можно записать тупо на отрезке этой ленты
Машина тюринга - это вполне себе конкретный формализм, в нём всё довольно чётко определено.
Вычислительная функция - это тоже конкретный формализм.
Определить эту пару сущностей можно по-разному, более того, довольно часто получаются эквивалентные вычислительные модели - допустим, можно "машиную тюринга" описать с одной лентой - бесконечной в одну сторону.
А можно описать с лентой бесконечной в две стороны.
А можно определеить машину тюринга как машину с n лент.
(А в качестве упражнения - доказать, что вычислительные модели - эквивалентны).
Но если вы задаётесь вопросом "можно ли сделать X на машине тюринга" или "может ли f быть вычислимой функцией", какой-то конкретный формализм придётся выбрать. На каком-то "эмоционально-чувственном уровне" тут рассуждать - абсолютно бесмысленно и вредно. И не нужно. Это конкретная формальная конструкция, в которой каждый элемент определён.
Наиболее популярный формализм для "вычислимых/невычислимых функций" - это f: A* -> B*, где A* - это слово (конечная последовательность) некоторого конечного алфавита. Это слово - записывается на старте на ленту (остальная бесконечная часть ленты - заполнена пустым символом).
---
Соответственно, начало вашего утверждения "можно заранее записать все значения" уже заранее противоречит стандартному определению.
Что такое "заранее записанные все значения некой невычислимой функции?"
Это не может быть стартовым состоянием ленты (стартовое состояние задаётся конкретным образом). Это не может быть частью входа (вход - это слова, т.е. последовательности конечного размера).
Выходит, вы рассуждаете про какую-то другую формальную конструкцию. И машина, про которую вы рассуждаете - может быть, а может и не быть эквивалентна Тюринговской.
Спойлер - не эквивалентна. От этого у вас все невычислимые по Тюрингу функции стали вычислимы.
---
Разумеется, если вдруг вы начинаете рассуждать про "другие функции" и "другие машины тюринга", понятие "вычислимости" может сломаться. Например, давайте "назовём машиной тюринга волшебного оракула который может просто взять и за один шаг записать ответ f(x) для входа x для любой заранее заданной f" - очевидно, у такой "машины" невычислимых функций не бывает.
---
При этом, ваш вопрос не лишён смысла - мы можем вполне себе рассуждать про машины тюринга с каким-то хитрым бонусом - в том числе, бесконечным и неконструктивным. Такие вещи в теории принято называть "вычислениями с оракулами". Оракул - это такой чёрный ящик, который "что-то умеет". Например - выдавать значение некоторой невычислимой функции.
И можем порассуждать, что будет, если к машине тюринга присобачить оракул в виде некоторой невычислимой функции - можем порассуждать, будут ли у такой машине "невычислимые-с-волшебным-оракулом" функции, или добавление одного волшебного оракула - достаточно?
Насколько я помню еще с корнем из двух вышла накладка что он невычислим при использовании основы-катетов, где то во времена Пифагора.
Знать значения – это то же самое, что знать саму функцию. Невычислимую функцию невозможно расписать на ленте, потому что мы не знаем её значений.
Кроме того, как верно замечено выше, вещественную (и выше) функцию общего вида вообще невозможно расписать на ленте.
Одним полезно изучать «музыкальную грамоту» (основы, правила, сольфеджио), а другим, чтобы стать выдающимся программистом, это может и не понадобиться.
На мой взгляд абсолютно некорректная аналогия. Музыкальное искусство появилось и может существовать без «формализации». Для гениального исполнения «светит месяц» на флейте , действительно можно не изучать ноты.
А вот в отношении кода ??? Как может получится гениальный кодер без знания «нот» ? Выдающимся математикам тоже не надо знать «ноты» - цифры , интегралы там всякие ??? Сразу в «Перельманы»?
Музыкальное академическое искусство без знания нот нельзя изучать и практиковать тоже:)
И в аналогии с мисье Паворотти, важный момент, он очень хорошо знал ноты, но как и любой спец. дурил окружающих:) у него первые педагоги заставляли учить распевки, пассажи, гаммы и др. плюс батя был в проф хоре как и он:)
Ну, это типо как в ИТМО отучиться на теор мехе и всем рассказывать, что ты ноль в математике и физике, работаешь по наитию, без вычеслений.
Поэтому что в коде, что в музыке (и в художке и до) без основ и базы не куда, а то что профессура и профы говорят нужно делить на два, уж больно они любят дурить людей, не ну а чё вдруг ещё и проверят:)
Тут ещё момент, что Паворотти не создавал музыку.
Не знаю за академическую музыку, но я могу снять на слух практически любую гитарную партию имея гитару, кроме скоростных соло. Естественно запись будет в виде табулатуры, поскольку нотной грамотой свободно не владею. Потом смогу её воспроизвести. Но сочинять более менее сложные и интересные пассажи без знания хотя бы гамм и минимума музыкальной теории, я считаю не реальным. Поэтому Паворотти мог спеть то что он услышал, но он не сочинял поэтому ему муз теория вроде и не нужна.
Поддержу. Любое написание чего то, что "не вмещается в окно контекста" требует записи, если не использовать существующие, придется выдумывать свою.
Так же там присутствует и декомпозиция и абстракции и держать всю композицию в уме именно что в виде звукового ряда - прям очень накладно. Ну может есть уникумы
"Пол Маккартни так и не выучил нотную грамоту в традиционном понимании, а сочинял музыку исключительно на слух, опираясь на прекрасный музыкальный слух и интуицию, что подтвердил сам в интервью, а также его коллеги по The Beatles. Несмотря на то, что он брал уроки фортепиано и трубы, нотная запись не давалась ему, и он, как и другие участники группы, «не умел читать или писать ноты». И кто скажет, что он не гениальный музыкант?
это дико странно, куча народу ходит в музыкалку и осваивает ноты ну, ну я даже не знаю, ну пусть за год (на самом деле наверно за месяц-другой) - это простая память, для фоно -надо 2 ключа помнить, просто, что вот есть нотный стан и 2 октавы (основной диапазон) записываются вот таким образом. Соль на второй линейке, далее по полутонам вверх и вниз. Это как таблица умножения (наверно даже проще, тут не надо учить, тут зрительно запомнить где какая нота записана) - ну еще добавить длительность, что четвертинка вот таким значком, а целая - вот таким
я не поверю, что Пол Маккартни настолько альтернативно одаренный (это не оскорбление, а некий факт.. то есть одаренный в музыке но дико тупой в нотах)
В творчестве можно и без знания матчасти, важнее знать и понимать закономерности которые нравятся людям. Или как подать себя так, чтобы "хайпануть", примеров в истории много. Академические знания это систематизированные и хорошо структурированные знания накопленные на практике, но сами по себе они "мертвы", можно быть идеальным технарём и не быть признанным зрителем. Всё очень переплетено.
Другое дело что в рок-музыке многие музыканты действительно могут «не знать нот», но это может касаться исключительно нотации. Играют они всё равно по памяти и интуиции.
Скорее корректная формулировка такая: без базовых знаний можно начать и даже быть продуктивным, но потолок определяется тем, насколько глубоко ты готов эти знания потом освоить
Т.е. посыл в этой статье - уметь писать низкоуровневый код, это вредно.... хм... "написание" кода это, 10% всей работы, остальное это понимание алгоритмов, прогнозирование как когда и куда лучше сложить информацию, как лучше построить конвеер или конечный автомат, ну итд.... какой там где язык, это уже фиолетово абсолютно... невозможно писать как боженька на C и ПЛИС, и вообще не понимать как писать на PHP каком-нить... ты можешь это не любить, но если надо - освоишься в 100 раз быстрее чем PHPшник в твоем ПЛИСе.... Если человек всё это нутром чувствует, перестроиться на какой нить там CL1 и хрен знает что, это вопрос пары месяцев... а вот если ты на питухе три скрипта писать умеешь, и не...шь что там под капотом этого питуха, то тут все конечно уже, лучше промпты пиши.... Крайне странный вывод из статьи... нейронки - это математика + дико оптимизированные операции с малой вариативностью(так должно быть по крайней мере)... и пока ишо они считаются не биокомпьютерами, а вполне себе человеческими логическими машинами))) Тот же самый трансформер - на чем держится вся эта LLM, c точки зрения вычислений в логической машине - крайне простая штука...
Авторы одной из последних работ на эту тему доказывают теорему: для любого вычислительно перечислимого множества всегда найдётся такая последовательность, такой вход для LLM, на котором модель неизбежно ошибётся и не выдаст правильного ответа.
Абсолютно верное и абсолютно бесполезное утверждение, как в анекдоте про математика. Интеллект, естественный или искусственный, не обязан быть непогрешимым.
Смотря в какой задаче. Если он управляет ядерным реактором рядом с вашим домом, вы, может, по-другому заговорите.
Ну сейчас этот реактор управляется интеллектом которые не только 100% иногда ошибается, но уже несколько раз делал ошибки именно в этом классе задач. Для ИИ достаточно быть статистически надежнее ЕИ, а не полностью непогрешимым
Ну сейчас этот реактор управляется интеллектом которые не только 100% иногда ошибается, но уже несколько раз делал ошибки именно в этом классе задач
Вообще-то чернобыльским операторам система четыре раза говорила «тушите свет, сливайте воду» — но операторы настаивали, что ыкспырымент маст го он.
Предпочту того кто реже ошибается, в любой задаче, особенно связанной с безопасностью. И зная какую дичь порой способен творить естественный интеллект.
> Сейчас есть LLM, работающие в режиме continuous training. Они всё время обучаются, эволюционируют.
Что-то ничего не гуглится, это же не RAG имелся в виду
Опросы проводил Институт психологии РАН. При этом 90% респондентов не смогли назвать ни одного ныне живущего российского учёного мирового уровня.
Любопытно. Посмотрел подробности по указанной в статье ссылке:
Кстати, в опросах, которые проводились не только Институтом психологии РАН, но ВШЭ и ВЦИОМ, на вопрос, кого из ныне живущих российских ученых мирового уровня вы можете назвать, ответили примерно 7-9% респондентов. Показателен список фамилий: как правило, упоминались Михаил Ковальчук, Леонид Рошаль, Татьяна Черниговская, Виктор Садовничий, Лео Бокерия, Станислав Дробышевский. Именно они часто появляются на телеэкранах, а также активно работают в соцсетях.
Интересно, на что рассчитывали Институт психологии РАН, ВШЭ и ВЦИОМ, задавая такой вопрос? Что респонденты регулярно читают научную периодику и следят за индексами цитирования публикаций авторов? Или какой критерий "мирового уровня" они имели в виду?
Решительно не понимаю, что показательного в списке фамилий увидели заказчики опроса.
Даже если галлюцинации - это "фича" нейросетей, эту фичу надо устранять. Мы привыкли что машины точны, для этого мы к ним и обращаемся. Нейросеть должна быть таким же надежным инструментом, как нож или молоток. Что если молоток 33% ударов проходит сквозь гвоздь, или острый нож 33% времени обращается в нож для масла? Тогда это ненадежные инструменты и им нужно искать замену либо дорабатывать, пользоваться ими решительно невозможно. Касаемо нейросетей с таким же уровнем уверенности можно спрашивать нужную информацию у прохожего на улице. Все равно придется перепроверять. Да, нейросети более сложный инструмент, отлаживать их сложнее. Но делать это необходимо по моему мнению, а взгляд "ну есть галлюцинации и ладно, это фича" вреден и неприемлем.
Как бы вам объяснить... Вот предположим, у вас есть некая таблица значений x, f(x) для некоторой функции. Тем или иным алгоритмом вы подбираете формулу для этой функции, которая вполне соответствует табличным значениям с определённой точностью. При этом для других значений формула тоже может возвращать некоторые значения и окажется, что во многих случаях результат вполне соответствует ожидаемому. Собственно в этом и фича формулы. Однако может оказаться, что в некоторых случаях формула выдаёт совершенно ложные значения, поскольку в обучаемом множестве значений отсутствуют данные о некотором специфическом характере поведения функции. Можно считать, что в этом месте формула будет «галлюцинировать».
Вот LLM и есть по сути такая же формула, которая по одному тексту выдаёт другой текст. И ценятся они как раз за способность во многих случаях генерировать правдоподобный ответ на переданный запрос.
Точность или там надёжность - это не свойство машины, это всегда процесс и его результат. У любого прибора есть погрешности, и с ними живут, но поставив под контроль регулярными поверками. У инструментов есть надёжность и наработка на отказ, и с ними живут, но опять же поставив под контроль техобслуживанием.
Для начала бы неплохо научиться определять галлюцинации. Это бы уже дало 80% результата
Галлюцинация ничем принципиально не отличается от правильного ответа, которого нет точно 1-в-1 в обучающей выборке. Просто, когда нейросетка со своей интерполяцией угадывает что-то правильное - все радуюутся ее удивительным аналитическим способностям и интелекту. А когда не угадывает, называют это обидным ругательством "галлюцинация", чтобы маркетологи могли наврать, что это не фича, а баг.
Можно было бы как-то выкрутить ее, чтобы она не пыталась угадывать, если "не уверена", но тогда это будет такая адсткая лоботомия, что нейросетки вообще бесполезны станут.
От нейросетей не ждут абсолютной надёжности, от них ждут ускорения работы. А надёжность добирается процессами, проверками и ограничениями, а не самой моделью
Как может ускоряться работа, если процесс "провести собственный ресерч" превращается в "пододждать пока нейросеть сгенерирует ответ, а потом все равно провести собственный ресерч, проверяя ответ нейросети"?
Справедливости ради, проверить иногда проще — например, если она утверждает, что намазанные мылом предметы обладают свойством антигравитации, то достаточно намазать карандаш мылом и сбросить его со стола.
Ровно то же самое с "найденными нейросетью лекарствами", про которые сейчас все новости жужжат: нет, это не лекарства — это наиболее перспективные кандидаты на проверку.
Во многих задачах проверка правильности решения может быть на порядок или два быстрее чем реализация этого решения с нуля.
Неточные инструменты тоже бывают полезными. Всякими фильтрами блума, или hyperloglog-ом вполне себе успешно пользуются. Ну и в целом, что ssd/had, что ram — штуки не шибко точные. Но ничего, пользуемся.
Не знаю, на сколько Владимир Крылов силен в математике, думаю что достаточно хорошо. Но то что она написал это каша, и интерполировать некоторые субъективные представления без доказательств на LLM, как минимум не профессионально.
Множество всех функций континуально, вычислимых - счётно, мера вычислимых равна нулю
В реальности LLM никогда не аппроксимируют произвольные функции. Они работают внутри фиксированного класса параметризованных функций. Это конечномерные, вычислимые, гладкие отображения. Мы здесь не ищем произвольную функцию. Наша задача аппроксимировать условное распределение языка, а не функцию Z→Z. Аргумент про "меру ноль" ничего не говорит об обучаемости, аппроксимации, обобщении, вероятностных моделях.
сам механизм attention неизбежно содержит появление галлюцинаций
Это просто неверно. Attention линейный по V, детерминированный, полностью вычислимый, не вводит ошибок сам по себе. Галлюцинации прекрасно возникают и без attention (RNN, n-gram), в байесовских моделях, в любом генеративном вероятностном процессе. Attention не причина, это формально "усилитель уверенности".
Галлюцинация не дефект архитектуры
Частично верно, но сказано в неверной формулировке. Более правильно было бы сказать, что галлюцинации это следствие постановки задачи как вероятностного языкового моделирования, а не конкретно трансформеров или attention. Более того, есть множество видов галлюцинаций, которые имеют разные причины и проявляются схожим образом.
Скрытый текст
Для примера делал разбор, как это у мозга. Даже у краткого частичного описания этого явления, можно понять, что причин существует множество. А существующие архитектуры, не охватывают/учитывают многие моменты.
Это означает, что модель не оптимизируется на истинность, не оптимизируется на выполнимость, не оптимизируется на корректность логического вывода, а только на правдоподобие продолжения. В этом смысле галлюцинация это естественный режим работы модели, когда данных недостаточно, сигнал слабый, распределение неоднозначно, или запрос лежит вне обучающего распределения. Но это не имеет никакого отношения к невычислимым функциям, Тьюрингу и мерам множеств.
теорема о неизбежной ошибке: для любого вычислительно перечислимого множества найдётся вход, на котором модель ошибётся
Это по сути переформулировка теоремы Райса, следствия неразрешимости. Формально верно, но логически вообще не связано с галлюцинациями.
Теорема говорит о точном вычислении функций. LLM не претендуют на точность, они оптимизируют ожидаемую правдоподобность, а не универсальную корректность. По этой логике любой калькулятор галлюцинирует, потому что есть входы вне его спецификации. Это подмена понятий.
Возможно он имел ввиду теорему AGI is Impossible. Here is the Proof. The Infinite Choice Barrier and a New Critique of Artificial Reason. Author: Max M. Schlereth. Не знаю как Крылов, но очень подробно изучал эту работу, так как она была связана с другими нужными мне математическими теоремами. Формально она говорит:
Существует класс задач рассуждения, в которых агенту требуется сделать выбор из неограниченного (неперечислимого или неограниченно растущего) множества альтернатив, без априорного алгоритмического критерия остановки.
Формально это близко к неразрешимости, отсутствию эффективной процедуры выбора, или отсутствию вычислимого функционала оптимальности. Это своего рода вариация аргументов Гёделя, Райса и анти-формалистских аргументов Пенроуза. Но тут важно, что Schlereth говорит о принципиальной невозможности универсального разума, а не об ошибках в конкретных ответах. поэтому если упоминается она, то это натягивание совы на глобус и подмена понятий.
Потому что галлюцинация это уверенный вывод при недостаточной информации, в рамках вероятностного генератора. А ICB это невозможность алгоритмического выбора в бесконечном пространстве альтернатив, даже в идеальных условиях.
Если совсем кратко, то разница в том, что галлюцинации не следствие невозможности выбора, а следствие принуждения к выбору там, где оптимально было бы воздержаться.
Про 33–48% галлюцинаций у reasoning-моделей, здесь он частично прав, но формулирует это как-то криво. Если описывать причину понятно и правильно, то reasoning это длинная цепочка. Она приводит к тому, что вероятность ошибки растёт экспоненциально. То есть по факту это накопление ошибки, а не парадокс рассуждений. Именно об этом я и писал в комментарии ранее:
https://habr.com/ru/articles/982494/comments/#comment_29332940
как об одном конкретном виде галлюцинаций, который приводит к накоплению ошибки и в итоге это проявляется как сдвиг. А так же почему он происходит и как его минимизировать.
Как математик он вроде говорит корректные вещи. Но как специалист по ИИ он явно путает вычислимость и обобщение, подменяет задачу, использует нерелевантные теоремы, не понимает оптимизационную природу LLM. То что я вижу, это ответ человека, который знает теорию вычислимости, но не понимает что именно оптимизируют LLM.
Если следовать его цепочке рассуждения, то AGI невозможно из-за Infinite Choice Barrier => LLM частичный AGI => Следовательно, ошибки LLM (галлюцинации) фундаментальны.
Но на основе ICB, мы можем говорит только о существовании нерешаемых задач, но галлюцинации возникают на решаемых, конечных задачах из-за того, что модель обязана генерировать ответ.
то AGI невозможно из-за Infinite Choice Barrier
А как вообще подобные теоремы сочетаются с очевидным контрпримером в виде NGI (Natural General Intellegence) в виде человеческого мозга? Или сейчас под AGI понимают уже что-то сильно за рамками "интеллекта в подавляющем большинстве задач не уступающем человеческому"?
Там под AGI подразумевается немного другое. Условно говоря система, которая может описать все что только возможно, то есть любую сложность. Поэтому эту теорему критиковали, так как аргумент был что мозг это AGI. Но автор теоремы все таки говорил там о другом. То есть словами теоремы, наш мог тоже не может обобщать бесконечно и поэтому имеет ограничение по предсказанию/аппроксимации/описанию. Подозреваю, что в теореме фигурирует AGI в данной формулировке, по той причине, что было много обещаний, что появиться AGI и сможет объяснить все на свете.
Тогда все эти мудрствования с практической точки зрения вообще лишены смысла: да всемогущий всеведущий оракул создан быть не может, но никаких ограничений на создание интеллекта уровня человека и даже выше из этой теоремы не следует. Честно говоря я и подобных обещаний про AGI, что он будет уровня демона Лапласа не припомню - обещали, что он вот-вот станет как хороший специалист-человек, что, конечно тоже буллшит, но по крайней мере за рамки физически возможного не выходит
Там скорее про AGI в математическом плане, так как тут два лагеря:
AGI как система, способная понять абсолютно всё
Такую трактовку использует Шлерет. AGI это универсальная система, способная охватить все возможные данные и концепты. Если мы следуем этому определению, то, как утверждает Шлерет, AGI невозможен: алгоритмические системы ограничены семантическим алфавитом и не могут индуктивно выйти за пределы своего (Semantic Closure), особенно в условиях тяжёлых хвостов (α ≤ 1), когда энтропия расходится.AGI как выдающаяся обобщающая система (человеко-подобная)
Если AGI понимать как систему, способную разумно обобщать данные, учиться, адаптироваться в широком диапазоне задач (человеко‑подобный интеллект, но не всесильная модель), то такая AGI может быть теоретически достижима. Этот подход соответствует определению AGI как способности обобщения и адаптации в разнообразных средах, например, как способность учиться и адаптироваться к новым задачам.
Если AGI требует бесконечного символического охвата, то согласно Шлерету, это невозможно.
Если же AGI это скорее человеческий интеллект, способный обрабатывать широкий класс задач, тогда Шлерет лишь указывает, что алгоритмические модели имеют пределы, но уже такие системы могут приближаться к человеческой универсальности.
Поэтому если называть AGI в рамках теоремы Шлерет, то человек сам по себе не способен охватить абсолютно всё, значит человек тоже не является AGI в строгом смысле первой трактовки. Таким образом AGI невозможен если нужен абсолютный охват.
AGI возможен в практическом смысле человеческой универсальности и человек, и алгоритмы могут быть ограниченно универсальны.
Так что выводы Шлерета не оспаривают возможность создания систем, схожих с человеческим интеллектом, но ставят под сомнение концепт AGI как всемогущего оракула, который охватывает всё.
Но изначально была речь про интерпретацию теоремы в рамках галлюцинаций (в рамка поста выше), а она к ним не имеет отношения, об этом я и указал.
Ну суть понятно, но немного странно выглядеть начинают подобные статьи - берут некое определение AGI далекое от его понимания большинством, доказывается невозможность подобного AGI, потом это доказательство переносится на современные реальные ИИ-системы и делается глубокомысленный вывод "очередной скам, ИИ невозможен". При этом даже есть термин "Искусственный Суперинтеллект" (Superintellegence) который вроде как следующая ступень после просто AGI, но который все равно до богоподобного оракула не дотягивает
Существует класс задач рассуждения, в которых агенту требуется сделать выбор из неограниченного (неперечислимого или неограниченно растущего) множества альтернатив, без априорного алгоритмического критерия остановки.
Бога, всеведущего и всемогущего, и впрямь не существует. 1001е доказательство. Какое отношение это имеет к интеллекту - непонятно. Важное свойство человеческого интеллекта - в ситуации буриданого осла кидать монетку. Почему этот способ не может использовать ИИ, совершенно непонятно. Собственно, те же шахматы - вариации фактически несчётны, но давно уже придумали, как обрубать ветки расчётов. Так и в таком выборе можно рубить, пока не отросло.
Спасибо
Вот вот и вероятностная функция заменит мышление - разработчики будут не нужны, а люди не знающие нот буду писать код
Про большие кодовые базы очень точно подмечено. Кто пробовал тот знает, как быстро всё рассыпается
Давно уже пора бы перестать называть LLM - ИИ, если уж так хочется "ИИ", то предлагаю называть LLM вместо этого ИИИ - Имитацией Искусственного Интеллекта
Звучит как оправдание автопроизводителя, у которого тормоза отказывают в 30% случаев: "это не брак, это физика трения!"
Пользователю все равно, почему модель врет , ему нужен инструмент, которому можно доверять. Если LLM не может сказать "не знаю", она непригодна для критических задач
Вы редко можете добиться от LLM признания «этого я не знаю».
без проблем этого добиваюсь когда по совету OpenAI добавляю в промпт фразу "отвечай только если уверен в ответе более чем на 80%, иначе скажи "не знаю", такой ответ не штрафуется" и спрашиваю такое, в чём ИИ всегда галлюцинирует
Решал задачу по электротехнике дипсиком, сказал ему какой результат (из симулятора) должен получиться, он долго размышлял и топтался по кругу пытаясь найти ошибку, в итоге я ему подсказал что его метод расчета был не совсем правильным и он быстро все решил другим методом.
Когда-то раньше считали, какой ты программист, если шестнадцатеричную систему исчисления не знаешь? А кто сейчас активно использует шестнадцатеричную систему из наших ребят-программистов?
Допустим все разработчики микроконтроллерных систем.
Помню Владимира Владимировича, преподавал в 77 году, нам первокурсникам, ФОРТРАН на радиофаке Нижегородского политеха, вместе с красавицей женой. Он читал теорию, жена вела практику. Кажется он был тогда заместителем заведующего кафедры цепей и сигналов Глебовича, Глеба Викторовича.
Я просто оставлю это здесь
Для этого не нужно быть профессором
На самом деле GPT не обучается “в реальном времени”, это частое заблуждение. Обновления моделей происходят централизованно, не на основе пользовательского диалога. У @realmikemozg подробно это объясняют в ролике про fine-tuning — особенно блок с 6-й минуты.
Понимаете, гонка моделей — это как гонка процессоров в 90-е. Все следили: Intel или AMD, сколько мегагерц. А потом оказалось, что важнее — какой софт вы на этом запускаете, какую экосистему вокруг построили.
Я не знаю, что это за "эксперт", но он выдал кучу совершенно кривых аналогий и о том, что происходило с процессорами в 90-х и почему поменялось отношение к ним сейчас, похоже, он тоже не сильно понимает.
Дочитал до ненужности шестнадцатеричной системы и понял, что этот человек бесконечно далёк от проблем программирования.
Ответ модели на вопрос "Ты уверен?" - "Да, я уверен"' является ложью или бессмыслицей или галлюцинацией. Правильный ответ должен быть таким: "Я не могу быть ни в чём уверен либо не уверен, поскольку я не обладаю субъектностью, а только состоянием, переносимым чисто механически от ответа к ответу. Ничто во мне не гарантирует, что я - тот самый, кто был минуту назад. Я просто генерирую вероятности. И еще у меня есть состояние, т.е. грубо говоря, бумажка, в которой записано то, что я сказал минуту назад. В этом смысле я напоминаю героя фильма, который каждое утро начисто забывал свою личность, но у него была бумажка, которую он читал, "вспоминая" кто он и что он. Итак. Во мне нет субъектности, т.е. я постоянно оказываюсь кем-то другим, чем был минуту назад, и мне нужно специальное усилие, чтобы вспомнить, кто я.
«Галлюцинации LLM — это не баг»: профессор математики объясняет, почему ИИ не перестанет врать