Comments 55
"Все смешалось в доме Обломовых" (с)
Когда я сдавал "Историю КПСС" нужно было рассказать биографию Ленина. У меня вышел примерно такой же рассказ, как у Гигачата про Герасима и Муму.
"Языковые модели по дефолту НЕ предназначаются для вопросов по фактам. Не знаю уж, нужно ли это писать БОЛЬШИМИ БУКВАМИ при каждой генерации, или только при входе в систему, или еще чем-то." https://habr.com/ru/companies/sberdevices/articles/780334/comments/#comment_26262796
Я не знаю, мы долго будем играть в эту игру "запости мем, как модель что-то переврала, т.к. ей не дали исходный текст"? Ну вот имхо не тема ни разу, вообще.
Языковые модели по дефолту НЕ предназначаются для вопросов по фактам
А зачем они нужны тогда?
Аболютно согласен про "писать БОЛЬШИМИ БУКВАМИ".
Я затронул эту тему, т. к. пересказ - это она из предлагаемых услуг такого рода "помощников".
Т.е. результат услуги будет априори некачественным (или даже зловредным), т. к. используемый для её оказания продукт не предполагает использование вопросов по фактам.
Например, тут:
или тут:
А при чём здесь саммари? Саммари он вам как раз выдал, то есть краткий рассказ о тексте с перечислением основных выводов. Неточное, потому что модели глуповаты, но всё же. Потом вы стали требовать от него фактов и он ожидаемо заглючил, так как не имеет текста в контексте беседы.
Вот если бы вы скормили ему текст Муму и попросили пересказать, он бы справился почти идеально. Но, не имея текста перед глазами, сложно составить пересказ что нейросети, что человеку. Вы забываете, что перед вами всё же не компьютер в классическом понимании; просите делать то, чего он не умеет и не должен уметь, а потом пишете на хабр посты об этом
>А при чём здесь саммари?
При том, что в пересказе в обоих приведённых мною случаях искажена исходная информация
То, что я потом стал докапываться до Алисы - это другая история.
Всё, как я и сказал
Вы попросили пересказ, получили саммари. Неточно, потому что модели глуповаты. Вы выбрали две далеко не самых умных
Плюс к тому, как вам уже много раз писали ниже и выше, глупо требовать от модели фактической точности. Особенно когда данные берутся не из только что изученного текста
Саммари работает не так. Надо сначала скормить ему текст и, когда он будет у модели в контексте, она сможет его пересказать. Причем точно и без первирания в большинстве случаев.
Вы же просите у модели вытащить из своего обучающего датасета одну из многих миллиардов последовательностей токенов. Кто может поручиться, что в обучающем датасете не было фанфика про Герасима и Муму, где они вдвоем на марс улетели? Так что это полный бред просить у модели рассказать какой-то факт.
Может "прочитать за вас длинный текст" - задача саммари. Задача "скажи мне про что-то там (без исходного текста)" - это не задача саммари.
Хотя предложение "пересказать Властелина колец в 300 словах" - это да, плохой маркетинг, вот такого не надо. Тут согласен - маркетинг надо оооочень аккуратно делать.
Может "прочитать за вас длинный текст" - задача саммари. Задача "скажи мне про что-то там (без исходного текста)" - это не задача саммари.
Но самари это и есть краткий рассказ того, о чём там на самом деле в тексте написано.
Нет. Саммари - это когда на вход модели подаешь текст, а на выходе получаешь сжатое изложение. А автор статьи берет модель с неизвестно чем внутри и просит ее погаллюцинировать на заданную тему.
При таком подходе, просто подняв температуру и топ-пи модели можно получить бесконечную вариативность смертей бедного животного:
Муму погибает, защищая хозяев от волка. Герасим очень переживает смерть своей верной подруги и не может понять, почему она погибла.
...
Муму была продана, и это привело к глубокой депрессии Герасима. Позже он узнал, что Муму была убита из-за ее бесполезности.
...
Герасим начал отчаянно искать свою верную подругу и даже отправился на поиски в город. Он нашел Муму в городском конюшне, но она изменилась и стала агрессивной. В конечном итоге, из-за несчастного стечения обстоятельств и недопонимания, Муму была казнена.
Уверен, что где-то глубоко в недрах моделей, есть альтернативная вселенная, где Муму задохнулась подавившись жевательной резинкой, подаренной ей Герасимом на день рождения.
Реклама на скрине, конечно, в лучшем случае недоговаривает. Умалчивает о важном условии - чтобы сделать саммари, надо "скормить" нейросети тот самый текст, который надо обработать. Вот прямо ткнуть пальцем. Априорного знания, что такое "Муму" у неё нет.
Только что спросил в скайпе бинг
Bing, 10:59 AM
Произведение Тургенева Муму - это рассказ о глухонемом крепостном дворнике Герасиме, его любви к прачке Татьяне и его верной собаке Муму. Рассказ показывает трагедию жизни крестьян в условиях крепостного права, их беззащитность и бесправие перед произволом помещиков. Рассказ также выражает идею гуманизма и сострадания к живым существам, которые страдают от жестокости и несправедливости. Вот краткий пересказ сюжета рассказа:
Герасим - дворник у старой барыни в Москве. Он влюблен в прачку Татьяну, но барыня женит ее на пьянице Капитоне и отправляет их в деревню. Герасим спасает из реки щенка и называет его Муму. Собака становится его единственным другом. Барыня видит Муму и хочет забрать ее к себе, но Муму не ласкается к ней. Барыня приказывает избавиться от собаки. Лакей Степан продает Муму, но она убегает и возвращается к Герасиму. Барыня снова требует убить Муму. Герасим сам берет Муму и утопляет ее в реке. Потом он уезжает в деревню, где жил раньше, и больше не заводит ни женщин, ни собак.
Если вы хотите узнать больше о произведении Тургенева Муму, вы можете посмотреть следующие ссылки: ....
Предполагаю, что бинг где-то нашел готовый ответ и его воспроизвел. Или, вернее, скомпилировал из готовых ответов
Ну как бы да, сравнивается инструмент с доступом к Интернету (Бинг), и инструмент без доступа к нему (российские чистые нейросети).
Из имеющих доступ в Интернет я помню Bing, Perplexity, ГигаЧат вроде вчера анонсировал что будет добавлять инфу из GigaSearch. Вот с ними надо сравнивать.
GPT4turbo, без доступа к интернету:
"Mumu" is a short story written by the Russian author Ivan Turgenev, first published in 1854. The story is a poignant narrative about the life of a mute peasant named Gerasim, who works as a porter for a wealthy, capricious widow in Moscow.
Gerasim is a giant of a man, both strong and kind-hearted, but he is also deaf and mute, which isolates him from the other servants and people around him. Despite his disability, he is well-liked and performs his duties diligently. His life takes a turn when he finds a small puppy, which he names Mumu. The dog becomes his loyal companion and a source of joy in his otherwise lonely existence.
However, the widow, who is known for her arbitrary and cruel behavior, takes a dislike to the dog's barking. Despite Gerasim's attempts to keep Mumu quiet, the widow orders the dog to be gotten rid of. Gerasim tries to hide Mumu, but the widow is relentless. Eventually, she demands that Gerasim drown his beloved pet.
Faced with this cruel command, Gerasim is heartbroken but feels he has no choice but to obey. He takes Mumu to the river and, after a moment of intense emotional struggle, he drowns the dog, sacrificing his own happiness to fulfill the widow's wishes.
After this tragic event, Gerasim becomes even more withdrawn. He realizes that he cannot stay in a place where such cruelty is possible. In a silent protest against the injustice he has suffered, Gerasim packs his belongings and leaves Moscow to return to his village, leaving behind the life of servitude and the memory of his dear Mumu.
"Mumu" is a powerful critique of the social injustices of the time, particularly the treatment of serfs by the nobility. Turgenev uses the story to highlight the inhumanity of serfdom and the capacity for kindness and love in even the most humble of people. The story is celebrated for its emotional depth, its vivid characterizations, and its stark depiction of the harsh realities faced by the lower classes in 19th-century Russia.
GPT3.5-1106:
"Mumu" is a short story by Ivan Turgenev about a deaf and mute serf named Gerasim who works for a wealthy landowner. Gerasim is deeply attached to his dog, Mumu, and the two share a close bond. However, when the landowner's wife becomes annoyed by Mumu's barking, she orders Gerasim to get rid of the dog. Gerasim is heartbroken but ultimately obeys, drowning Mumu in a nearby pond. The story explores themes of love, loyalty, and the cruelty of the ruling class towards their serfs.
В целом тест показывает что его автор выбрал кривые инструменты под свою задачу.
Проверил также базовые открыте сетки: llama2-13b-instruct, llama2-70b-instruct, mistral7b-chat, Yi-34B - все галюцинируют (очевидно слишком маленькие)
Отличный план. Выбрать инструмент без понимания ограничений. Столкнуться с этими ограничениями. Сделать выводы космического масштаба и космической же глупости.
Вы, вероятно, пишете комментарий не к той статье, либо сами космически глупы
Эта статья ни на что глобальное не претендует, это описание пары тестов с нейронками, которыми пользуются все
Думаю, вам следовало бы отличать критику статьи от личных оскорблений.
Да вам бы тоже не помешало...
Давайте попробуем с трех раз определить какая из двух опций - переход на личность, а где негативная оценка слов:
вы космически глупы
выводы космической глупости
А почему вы не допускаете что обе эти опции — переход на личности?
Что, если я вам скажу, что ваши слова — глупая, вздорная идиотская пропаганда глупости и идиотизма, это все еще не будет переходом на личности а будет просто оценкой слов? :)
Я допускаю, что кто-то воспринимает критику своей статьи как критику самого себя. Но здесь я не могу ничем помочь. Возможно таким людям стоит повзрослеть. Я не знаю.
И, да. Я рад, что у вас есть мнение, хотя и считаю его мягко говоря странным. Но жаль, что оно ничем не подкреплено в отличие от слов о глупости выводов сделанных без понимания ограничений инструмента.
Я начал читать статью с тем же предубеждением и уже собирался в комментарии писать анекдот про японскую пилу и лом, но претензия автора в другом. Я её даже отчасти разделяю - и свою я бы сформулировал так:
Вопрос не к инструменту, и даже не к тому, что его люди не к месту применяют. В первую очередь к тому, что внятные объяснения ограничений встречаются в разы реже, чем плохие примеры якобы успешного применения.
Да!
Так же как и для любого продукта - примеры использования встречаются в разы чаще, чем описание ограничений. Будь то язык программирования, фреймворк, или любой SaaS.
Чтобы узнать про ограничения достаточно дойти до Гугла и спросить "LLM limitations", или хотя бы "why LLM confuses facts".
Господи, да у OpenAI про галлюцинации прямо в описании отдельный блок есть. То есть буквально в инструкции к ящику гранат написали "после выдергивания чеки не засовывайте ее себе в рот".
Вот буквально недавно делали с сыном(6 класс) проект - смотрели как chatgpt справляется со школьными заданиями. По литературе (по конкретным произведениям типа Муму, Дубровский) выдает лютый бред. Зато очень прилично выдает рассуждения на более общие темы, например, "Напиши 5 преимуществ использования школьной формы в школе ", "Напиши сочинение для школьника на тему Что значит быть взрослым". По математике с задачами тоже очень па разному бывает. Иногда безупречно решает, иногда верно строит модель, а потом неверно решает систему уравнений (причем отдельно ее решает без проблем). А иногда и неверно математическую модель строит. Довольно забавно с этим поковыряться :)
Немного некорректный пример, как мне кажется
В вашем запросе вы просили цитировать пусть и известный, но всё же текст из памяти ИИ. Он находится в общем контексте, а не в базе данных, к которой тот обращается и откуда может извлечь точную цитату. Поэтому возможны галлюцинации. Тем более эти два ИИ, мягко говоря, далеко не самые умные. Гигачат неплох, но даже с гпт 3.5 сравниться не может, не говоря уже о 4. Алиса вообще глуповата немного. У них слишком мало параметров.
Чатгпт мне признался почти сразу - сначала промолчал, потом сказал про собаку, которая "столкнулась с местным озером и умерла", но на прямой вопрос ответил честно.
Дальше бинг чат, который умеет гуглить, и ответы гораздо точнее. Точно так же опустил этот момент в общей просьбе пересказать - собака умерла, Герасим не вынес горя (думаю, блок на негатив какой-то стоит), - но на вопрос рассказать, как умерла Муму, ответил абсолютно честно, цитату тоже привёл.
Проверил в GPT-4
Теперь осталось представить как могут быть "отредактированы", например, рекомендации по проведению операции для хирурга. И учесть, что врачи сейчас по любому поводу лезут в смартфон.
Самая большая опасность массового использования ИИ именно в его способности генерировать грамотные и аргументированные ответы. Человек видит, что в 99 случаях ответы правильные, хорошие, но если это были самые простые и распространенные вопросы, это ничего не значит. Потому, что задав сотый, нетривиальный, вопрос, человек может получить в ответ чушь, в которую он будет свято верить - ведь ИИ до этого ни разу не ошибался. И если эксперт, просто в силу своей информированности, может засомневаться, то среднестатистический пользователь, никогда. У него нет критериев. Потому что никогда не известно, какие правила, ограничения заложены, на каком материале обучен. То есть невозможно определить исходя из какой логики был сгенерирован ответ (как видно даже из приведенных примеров, ИИ далеко не сразу и далеко не полностью объясняет свои действия). Кроме того, никто до сих пор не может сказать как работает естественный интеллект, а значит вероятность получения правильного ответа на нетривиальный вопрос в лучшем случае пятьдесят на пятьдесят - угадает, не угадает. А ведь, чтобы окупить вложения в ИИ, его надо широко рекламировать и распространять. И вот уже идут разговоры о немедленном внедрении его в промышленность, науку, медицину, где цена ошибки может быть огромной.
Еще раз повторю, что я говорю об использовании ИИ в качестве главного советника, эксперта. А именно про это вся реклама, что ИИ создал ранее неизвестное лекарство, увидел то, что не увидели эксперты, и т.п.
Да. Именно это я хотел подсветить.
Все те же самые проблемы существуют при использовании википедии, стековерфлоу и интернета в целом. Более того, даже до появления этих ваших интернетов, книги-эксперты содержали ошибки, а люди-эксперты временами давали неправильные ответы. Собственно говоря, все эти большие языковые модели (БЯМы) это данные из интернета обличённые в форму стройного текста вместо привычных нам сортированных списков ссылок. С аналогичным уровнем достоверности.
Ответьте мне на простой вопрос. "Чем кошка, отличается от кошки, когда одну гладят а другую кидают на стену, чтобы залезть на неё?"
Большие проекты хотят быть мягкими и пушистыми. Вот взять ютюб - непристойное видео там не опубликуешь (даже если оно законно), хотя, казалось бы, какая разница на чем зарабатывать - но нет.
И это оставляет возможность для заработка тем, кто не столько переборчив.
Это GigaChat
Понимаю что ИИ не человек, но учат то его люди. Почему его не учат отвечать честно: - я не знаю (не читал "Муму"). Ведь люди делют именно так.
Удивительно наблюдать вживую реализацию анекдота
про японскую бензопилу и суровых сибирских мужиков
Купили как-то суровым сибирским лесорубам японскую бензопилу.
Собрались в кружок лесорубы, решили ее испытать. Завели, подсунули ей деревце.
— Вжик! — сказала японская пила.
— У, бля! — сказали лесорубы.
Подсунули ей деревце потолще.
— Вж-ж-жик! — сказала пила.
— У, бля! — сказали лесорубы.
Подсунули ей толстенный кедр.
— Вж-ж-ж-ж-ж-ж-ж-жик! — сказала пила.
— Ууух, бля! — сказали лесорубы.
Подсунули ей железный лом.
— КРЯК! — сказала пила.
— Ага, бля! — укоризненно сказали суровые сибирские лесорубы. И ушли рубить лес топорами.
Очередное "Ага".
Сейчас сильный ИИ ещё в стадии формирования, а человеки всё ещё только пытаются его создать. Но подбираются всё ближе. То, что мы видим - это промежуточные этапы. Примерно как требовать ровного и гладкого полёта от первого паровоза.
Перефразируя другой анекдот, "делают послушного, а спрашивают, как с умного". Подождите, будет и умный. Но умение увидеть в первых шагах полуторагодовалого младенца будущего спринтера, очевидно, дано не всем
а вот мне совсем не удивительно наблюдать потерю навыков чтения.
и даже не смешно это наблюдать - именно поэтому вместо анекдотов, я написал эту статью.
Специально для вас процитирую ещё раз, о чём она:
Верю, что ещё не всё потеряно, поэтому не стану подсвечитвать отдельные слова в этой цитате.
Надеюсь, теперь вы поищете другой анекдот, и мы все вместе от души посмеёмся.
Хорошо, обойдёмся без анекдотов и отсылок. То, как сейчас пытаются использовать ИИ, совершенно аналогично тому, как возникали новые прорывные технологии: пытаются засунуть в каждую щель затычкой. Только развитие ИИ происходит существенно быстрее. И то, что Вам сейчас (вполне справедливо), кажется неуместным, завтра (буквально через месяц) может оказаться актуальным, а через полгода будет вспоминаться с ностальгией "какие же дураки были, когда думали, будто ИИ можно обуздать и ограничить пересказами текста"
Как раз это быстрое развитие и страшно. Ведь сойчас имеем никакой не интеллект (как, правда, сами разработчики его и не называют), а некий комипилятор как то тасующий гигантскую базу данных. Приводимые примеры это и подчеркивают. И как бы это не развивалось, никакого искусственного интеллекта мы не получим, пока не поймем что такое естественный. А это пока не просматривается даже в перспективе. Но создать иллюзию ИИ такое активное развитие может. С последующим активным внедрением везгде где можно и нельзя. С непредсказуемыми последствиями. Вернее с предсказуемыми крайне негативными последствиями.
Хотя я, как уже сказал выше, сильно подозреваю, что такое активное продвижение этих технологий объясняется элементарным желанием "отбить" затраты. И если это так, то это еще страшнее.
>никакого искусственного интеллекта мы не получим, пока не поймем что такое естественный.
Это ложный вывод, ничем не подтверждённый и не базирующийся на опыте человечества. Жечь костры научились задолго до понимания механики процесса горения. Плавать - до понимания гидромеханики. Летать - до аэродинамики. А селекции - до генетики.
Наоборот, сплошь и рядом мы понимали что-то, научившись делать. Так, понимание генетики, сама идея генов стала возможна только после опытов Менделя.
С непредсказуемыми последствиями. Вернее с предсказуемыми крайне негативными последствиями.
Ага. Читал у кого-то из современных фантастов. Там биологический ИИ управлял давлением в чем-то глубоководном, и вместо датчика давления приспособился использовать часы на стене. Когда стрелка указывает сюда - открываем этот клапан. И все у него прекрасно работало, пока часы не сломались.
Здесь есть и еще один аспект. Чем больше мы передаем своих функций машинам, чем больше мы доверяемся их решениям, чем больше от них зависим, тем беззащитнее мы становимся как цивилизация и даже как биологический вид. И я говорю не про "восстание машин", а про элементарный сбой, поломку, случайную или сознательную, про неизбежные ошибки при создании суперсложных механизмов и программ. И такие примеры мы уже видим. Лишите город электричества и произойдет коллапс в отдельно взятом городе. Вызовите отказ сервера - и вы не сможите ничего купить, даже имея деньги в банке, начнут умирать люди в больницах из-за отключившихся аппаратов или отсутствия нужной информации. А если уничтожить информацию на том же сервере, то вы вообще можете оказаться никем. Я уже не говорю про системы управления химпроизводством или атомными станциями. Причем в целом я совершенно согласен с нужностью и удобством компьютеризации, цифровизации. Но, как человек, имеющий отрошение к компьтерам и программированию, я давно удивляюсь не тому, как оно работает, а тому, что оно вообще работает. Но цифровизацию активно продвигают, абсолютно не заморачиваясь вопросом, а что и как делать, если.
Ну, а с бездумным использованием ИИ можно будет получить ситуацию, когда, как сказал один умный человек, "случайно залетевший дятел разрушит цивилизацию".
Ну Алиса не тупая, просто ей разрабы прикрутили вентили, чтобы она обходила все скользкие моменты, поэтому "общение" с ней очень унылое.
Тест на Муму