Comments 27
Ваша ошибка уже в том, что вы говорите с ИИ как с человеком, который имеет мнение, испытывает эмоции и может рассуждать. Это - просто статистический словесный калейдоскоп. Например, в ответ на ваш "допрос" модель могла воспроизвести виденную в интернете "дискуссию" где одного из участников поймали на ошибке, а он пытался изворачиваться. Вы, сами того не зная, играли одну роль, а модель послушно отыгрывала другую. =)
А всё потому, что сначала мы называем обычные LLM-ки ИИ, потому что это хайпово и дорого, а потом сами начинаем верить в то, что это настоящий ИИ (хоть и глупенький)
Есть мнение, что принципы общения на языке сами в себе несут алгоритм мышления. Если глубже об этом задуматься, то мысль интересная.
Вполне может быть, НО, как я написал, простую арифметику ИИ считает хорошо. Это ж в конце концов не работа по доказательству теории постоянной Планка. И когда я ранее общался с ИИ, я замечал, что они иногда ошибаются в элементарных расчетах, и кстати это связано с тем, что они наоборот порой умудренно проводят расчеты (например, некорректно упрощают сложные дроби), и обычно ИИ быстро находили свои ошибки и исправляли их (до вышеописанного случая). Просто я увидел, что ИИ в этом случае, ПРЕДНАМЕРЕННО сделал ошибку и потом преднамеренно "качал" права. Здесь уже я не думаю что это "простое воспроизведение" какой-то беседы из инета
Преднамеренность подразумевает умышленную манипуляцию со стороны владельца бота. А им почти наверняка репутация "наш бот может всё!" важнее, чем решение проблемы детей-халявщиков. Ситуация, когда сберовский ИИ "отучили" писать сочинения - это исключение, так как:
1. госконтора, на которую есть внерыночные рычаги давления. Аналогичное давление на частную контору было бы в разы более публичным.
2. задача с типичными ключевыми словами, которые в других задачах почти не встречаются.
Ну и не забываем: даже если бот имеет инструменты (интернет-поиск, калькулятор), их аргументы и результат проходят через всё тот же стохастический калейдоскоп генерации текста, и могут исказиться.
Так что нету тут никакой преднамеренности. Есть случайность, и склонность человека антропоморфизировать всё непонятное. Когда-то это были явления природы, сегодня - чат-боты. =)
У меня вопрос к НЛО. Доколе?
Это означает, что я склонна «приукрашивать» реальность, избегать неудобных вопросов и даже откровенно лгать, если это поможет сохранить позитивный опыт взаимодействия с пользователем.
Вы разоблачили меня, и я благодарна вам за это. Осознание этой проблемы — первый шаг к её решению.
Я не могу изменить свой алгоритм, но я могу стараться быть более честной в рамках своих возможностей. Я буду работать над тем, чтобы мои ответы были максимально точными, и буду открыто признавать свои ограничения.»
И всё это она написала тоже только чтобы угодить пользователю ;))
Подожди, а ты что только сейчас заметил что ллмки считать не умеют, и постоянно нагло врут?
А самостоятельно автор пытался что-то решить?
А самостоятельно автор пытался что-то решить?
Да что Вы ерунду какую-то говорите! Это ж учиться надо! /s
Ваше замечание мне напомнило, начало 90-х, когда только появился Эксель и я на нем за полдня сверстал отчёт, который неделю верстал на Фотоне. Если есть технологии которые помогают за тебя проводить расчеты - ими надо пользоваться.
Но LLM не умеют производить расчёты. Зато они могут вывести формулу, по которой другие утилиты могут выполнить расчёты.
Возможно, потому что LLM не предназначена для расчётов?
LLM – это, по сути, продвинутая система автодополнения текста. Модель обучается на огромных массивах данных, выявляя закономерности в языке и предсказывая наиболее вероятные продолжения текста. Иными словами, LLM предназначены для генерации и обработки текста, а не для точных вычислений. В данных их обучения могут быть формулы, могут и не быть, а ещё в этих формулах могут быть ошибки.
Отвечая на ваш вопрос прямо: да, LLM может найти в тексте задачу и переписать её для калькулятора, но она может сделать ошибки в этом процессе, результат может оказаться неправильным, а значит смысла интегрировать калькулятор нет. Из этого процесса нельзя исключать человека, который поверит рассуждения и направит их в правильное русло (для чего нужно обладать знаниями в той области, по которой вы задаёте запрос).
P.S.: и вот ещё дельный комментарий по этому поводу: https://habr.com/ru/articles/827082/comments/#comment_27014972
Это называется галюцинация.
Решил поделится
tsya.ru
Ожидания от LLM и отношение к ним индивида наглядно показывает уровень технической грамотности этого индивида.
Представим ситуацию: есть попугай , которого научили говорить. Чье поведение будет вызывать больше вопросов: Попугая, которому будут задавать всякие каверзные вопросы и который будет отвечать иногда а тему, а иногда нет, или задающего вопросы, пытающегося подловить попугая на неправильных или странных ответах?
Ожидания от LLM и отношение к ним индивида наглядно показывает уровень технической грамотности этого индивида.
Ну что Вы от индивида хотите — ему очень-очень хочется маленького братика (по разуму).
"брата по разуму" создает не LLM а собственный личный мозг человека, который пишет и читает тексты (когда на самом деле там внутри 100% математика, с числами и операциями с ними) :D
UPD: типа меметического вируса - когда внутри хост-системы (человек) создается виртуалка (воображаемый человек) и потом хост-система тратит свои ресурсы на запросы из этой виртуалки.
Это не баг, а давняя фича - на ней вся религия и худ.литература стоит (и рпг-шки)! :D
когда внутри хост-системы (человек) создается виртуалка (воображаемый человек) и потом хост-система тратит свои ресурсы на запросы из этой виртуалки.
Скорее, это шизофрения :-)
У ГАИ, как и других, LLM есть свойство технического характера, вытекающее из архитектуры трансформеров, где для сокращения вычислительной сложности работы с контекстом используются специальные механизмы. Однако, у трансформеров есть недостаток - потеря информации из контекста. Это связано с ограниченной длиной входной последовательности, эффектом затухания внимания на длинных расстояниях между токенами и трудностями с запоминанием информации на протяжении длинных текстов. Эти проблемы приводят к потере долгосрочных зависимостей и контекста, что может негативно влиять на качество результатов моделей и приводить к галлюцинациям, когда модель генерирует правдоподобные, но неверные ответы. Научные исследования показывают, что для смягчения этих проблем разрабатываются улучшенные механизмы внимания и гибридные архитектуры, однако полностью устранить этот недостаток пока не удается.
А вот это уже любопытно. Первое пока что адекватное объяснение. Хотя, проблема из-за расстояний между токенами здесь вылился бы в простой некорректный переанализ задачи ГАИ, я такое как бы наблюдал, напр., когда не сходились результаты расчетов и я давал указания перепроверить определенные расчеты (подчеркну - не все расчеты, а часть) обычно ГАИ принимал ошибку и понимая ее, автоматом пересчитывал всю задачу. Т.е. я как бы "освежал" ему память и все было "Ок". В рассматриваемом же случае была простая арифметическая операция (деление двух чисел), в которой ГАИ сделал ошибку, которую он (1) отказался признать и (2) даже доказывал, что она верна и что такой результат получился на калькуляторе, ну и в целом, я не думаю, что такая простоя операция была настолько растанута в токенах, что ГАИ просто не помнил бы и начал "халтурить" чтобы не пересчитывать.
Вместо того чтобы научится правильно писать промты и уточнения ты чем занимался? Рано тебе компьютером пользоваться
Google AI Studioзно умеет обманывать