Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 43
Проблема галлюцинации - это не только проблема llm, но также проблема человека - его лени, нежелания контролировать результаты работы, делать фактчекинг (хотя бы с помощью альтернативной модели - поэтому варианты chat gpt от openai занимают преобладающую долю от всех запросов...)
Про "галлюцинации" человека мы давно знаем, и именно поэтому перекладываем точную работу на точные алгоритмы точного компьютера.
Если компьютер тоже галлюцинирует - зачем это всё?
и именно поэтому перекладываем точную работу на точные алгоритмы точного компьютера.
Нейросети - это ни разу не точные алгоритмы. Это как раз вероятностные алгоритмы, которые используются для принятия решений в тех областях, где невозможно, или слишком сложно, или слишком дорого, или лень писать точный алгоритм. Поэтому тут всё по-честному. Быстро, дёшево, универсально. Но плата за это - ответ не всегда верен.
дёшево
Да ладно? Вот это даже не смешно. Стоимость датацентров исчисляется десятками миллиардов, огромное потребление электроэнергии ощущается даже в масштабах США. Технологические компании планируют потратить ещё сотни миллиардов на строительство новых датацентров и обучение "лучших" моделей. И всё для того, чтобы, всосавший в себя всю когда либо созданную людьми информацию, возмутительно разжиревший генератор бреда сгенерировал очередную галлюцинацию или слоп.
Могу согласиться, что я чего-то не понимаю, но, кажется, всё пошло куда-то сильно не туда.
Да ладно? Вот это даже не смешно. Стоимость датацентров исчисляется десятками миллиардов, огромное потребление электроэнергии ощущается даже в масштабах США
А если пересчитать в масштабах количества запросов, которые они обрабатывают? Одна лишь ChatGPT обрабатывает порядка 2 млрд запросов в день, это примерно четверть от того, что обрабатывает Google.
И всё для того, чтобы, всосавший в себя всю когда либо созданную людьми информацию, возмутительно разжиревший генератор бреда сгенерировал очередную галлюцинацию или слоп.
Нет, это для того, чтобы генератор текста выполнил часть вашей работы. То, что некоторые дают ему задачи, которые ему не по силам, это вопрос отдельный. Четверть века назад и поисковиками половина пользователей не умела нормально пользоваться, получая от них бред вместо ответов на свои запросы. Спустя какое-то время и поисковики научились лучше понимать вопросы, и пользователи научились лучше их задавать. То же самое будет и с нейронками.
Такса, я полностью понимаю твою точку зрения. И я с тобой согласен. Не понимаю почему тебя минусят.
С поисковиками стало всё очень плохо, СЕО страницы забили выдачу. ИИ поиск кладет сайты, или как минимум перегружает их запросами, делая нерентабельными. Интернет переживает кризис, как по мне.
Спустя какое-то время и поисковики научились лучше понимать вопросы, и пользователи научились лучше их задавать.
Ха. Яркий пример поисковик Яндекса, по началу даже конкурсы по языку запросов проводил, а теперь = по любому 99% реклама.
С LLM будет тоже самое, кто платит - тот и заказывает музыку (обучает).
Нет, это для того, чтобы генератор текста выполнил часть вашей работы. То, что некоторые дают ему задачи, которые ему не по силам
Вот типичный пример того, как работает генератор бреда:
Пользователь:
Как в Python создать класс с передачей аргумента в определение класса?
Пример: class MyClass(BaseClass, foo=10): ...
ChatGPT:
В Python нельзя передавать аргументы в скобках при определении класса, как это делается при вызове функции. То есть, конструкция class MyClass(BaseClass, foo=10): ... является синтаксически неверной.
Пользователь:
Эта конструкция является синтаксически верной. Для поддержки аргументов в определении класса существует специальный магический метод (special method)
__init_subclass__. Раздел документации "3.3.3. Customizing class creation"
ChatGPT:
Вы абсолютно правы! С версии Python 3.6 появилась возможность передавать аргументы при объявлении подкласса через механизм
__init_subclass__. Используя такой special method, аргументы можно указать прямо при определении класса-наследника.Спасибо за поправку ― действительно, такой способ существует, и ваш пример полностью корректен.
И такая фигня просто постоянно, это не лечится. Это называется "генератор текста выполнил часть вашей работы"? И как люди должны пользоваться генеративными сетями, если те постоянно искажают информацию, врут и галлюцинируют? Надо быть экспертом или хотя бы в теме, чтобы понимать, что LLM сгенерировала бред. Как это может повышать продуктивность, если нужно постоянно перепроверять все результаты их работы?
Вот типичный пример того, как работает генератор бреда:
Только что проверил ваш вопрос. Даже GPT 3.5 на него ответила корректно, а GPT 5 мне выдала пачку различных способов передачи аргументов в определение класса (не берусь судить, впрочем, насколько верных, т.к. пайтон знаю весьма поверхностно).
Это называется "генератор текста выполнил часть вашей работы"?
Генератор текста выполнят огромную часть моей работы. Надо просто правильно задавать ему вопросы. В простейшем случае, например, не "напиши мне функцию, вызывающую такой-то апи", а "напиши мне функцию, вызывающую такой-то апи, примеры аналогичных функций - в таком-то файле, туда же размести новую функцию. Модели данных вот тут: <>. Также сгенерируй тесты для этой функции". И представьте себе, он действительно всё это сделает, не абы как, а сохраняя ваши гайдлайны кода и без ошибок. Вопросы вида "расскажи мне какую-то штуку, про которую я вообще ничего не знаю" - это ненадёжный способ использования нейросети, да. Вопросы вида "сделай работу по такому-то образцу и с вот такими-то вводными данными" делаются нейронками практически идеально, по крайней мере, лучше кожаных мешков.
Только что проверил ваш вопрос. Даже GPT 3.5 на него ответила корректно
Вы понимаете, что эта штука работает случайно? Она может выдать правильный ответ, а может выдать полный бред, и вы никогда не предскажете результат её работы.
Я ничего не придумываю, я использую коммерческий ChatGPT ключ, есть доступ ко всем моделям, затюненный под программирование системный prompt. Jan - это просто обёртка для дерганья API. Вот так отработал gpt-4.1.
Вы понимаете, что эта штука работает случайно?
Она не работает случайно. По крайней мере, вы этим можете управлять, и в пределе она вам выдаёт ответ, который наиболее точно отвечает на ваш вопрос, согласно её обучающему датасету. Например, если взять gpt-4.1, с нулевой температурой (т.е. нулевой разброс вероятности при выборе вариантов) он стабильно отвечает вот так. Насколько это корректно, не берусь судить :)
Так вот оно же неправильно отвечает! :)
Хотя оно знает правильный ответ, оно его не выдаёт сразу, а только после указания на это:
Что заставляет этот чёрный ящик выдавать неправильный ответ на такой простой вопрос? Интернет не заполнен неправильными ответами, если пойти на любой форум или SO, там будут корректные ответы. Никто не знает.
Это то, что губит всю идею на корню. Новички или люди не в теме примут эти бредни за истину. Нельзя просто взять и доверить какую-то работу LLM, она её скорее всего запорет, и нужно будет потратить много времени на итеративные исправления.
Неоправданно дорогая технология потребляет неоправданно много ресурсов и делает непозволительные ошибки (галлюцинации), которые невозможно исправить для текущей архитектуры (трансформеров).
Генератор текста выполнят огромную часть моей работы. Надо просто правильно задавать ему вопросы.
В том-то и дело...
Шагая от звезды к звезде, Лек подошел к Ответчику, положил его на ладонь и поднес к глазам.
— Значит, ты — Ответчик.
— Да, — отозвался Ответчик.
— Тогда скажи мне, — попросил Лек, устраиваясь поудобнее в промежутке между звездами. — Что я есть?
— Частность, — сказал Ответчик. — Проявление.
— Задача мне подобных — собирать багрянец и сгребать его в кучу. Каково истинное значение этого?
— Это нужно для Реальности — сообщил Ответчик.
— Что такое Реальность?
— Частность…Проявление.Лек продолжал задавать вопросы, но Ответчик не мог ответить на них. Конечно он знал, что такое багрянец и для чего предназначена куча. Но объяснение таилось в большем объяснении. Лек не владел теми категориями знаний, через которые Ответчик смог бы ему доступно ответить. И тем не менее Ответчик мог бы объяснить... если бы Лек правильно формулировал вопросы и в правильной очередности.
Наконец Лек презрительно усмехнулся и ушел, стремительно шагая в межзвездном пространстве.
Один на планете, Ответчик ждал тех, кто придет к нему за ответами. Вселенная? Жизнь? Смерть? Багрянец? Восемнадцать?
Ответчик знает на эти вопросы ответы. Но чтобы дать ответ, ему требовался верно сформулированный вопрос. А чтобы верно сформулировать вопрос, нужно знать бОльшую часть ответа...
Могу согласиться, что я чего-то не понимаю, но, кажется, всё пошло куда-то сильно не туда.
Это только с вашей точки зрения, пользовательской. Зато у NVIDIA котировки и капитализация компании скакнули, OpenAI разжирела и обратно в некоммерческое направление совсем не тянется, строители дата-центров тоже не остаются в накладе, даже угольные ТЭЦ снова в деле. В общем, экономика растет-крутится...
Ну да, пузырь вырос очень быстро. Думаю, мы ещё увидим как всё это громко-громко лопнет.
OpenAI разжирела
Заключила контрактов на триллион долларов, только при этом всё равно является глубоко убыточной компанией без каких-либо свободных средств. Идеи о том, куда дальше ехать, кажется, закончились, если они начали делать откровенный мусор - Sora2 и соц-сетка с дегенеративным контентом.
Так я ж и не говорю про нейросети, да и (массово, как стадо помешанных баранов) работу на них мы перекладываем буквально года 2-3.
SQL, например, не вернёт вам то, чего вы не запрашивали. Численные методы решения дифф. уравнений дадут ответ формально неточный, но с известным диапазоном погрешности. С другой стороны, методом Монте-Карло уже десятки лет быстро получают приблизительные ответы, но без гарантии.
Только вот при использовании Монте-Карловых симуляций мы знаем, что для повышения точности в Х раз надо увеличить количество симуляций в Y - а с нейросетями у нас даже этого нет. Вы же не будете 1000000 раз скармливать её один и тот же промпт, чтобы ну прям почти наверняка получить точный ответ (после некоего "усреднения")? Вот и получается, что для каких-то "обзорных" запросов нейросети, в общем-то, подходят, а для точных ответов - точно не подходят.
>>Вы же не будете 1000000 раз скармливать её один и тот же промпт
А почему нет? Вот уже были статьи где при помощи данного метода там и олимпиаду по программированию выиграли и тд. Сеть решает задачу несколько раз, проверяет решения и «эволюционным» путем его улучшает.
Человек же делает точно так же, проверяет гипотезы, решает разными вариантами, ищет лучшее, улучшает.
Вы же не будете 1000000 раз скармливать её один и тот же промпт, чтобы ну прям почти наверняка получить точный ответ (после некоего "усреднения")?
На самом деле, это существующий и используемый способ. Ну не тысячу, но несколько раз, "выигравший" ответ выбирается по заданному алгоритму.
В Prompt Engineering for Generative AI by James Phoenix, Mike Taylor есть и примеры кода, там есть ссылки на репы. Есть перевод, хороший, не могу найти сходу. Короче, да, это способ снижения галлюцинаций, и он используется.
Ога, только 90% этого не понимают, и не только преподносят ответы LLM, как абсолютную истину явленную в божественном откровении, но и пихают их туда где хватило бы стандартного дерева решений со строгими логическими услоями
Деревья решения легко переобучаются, но да, ансамбль алгоритмы на основе них работают в большинстве нужных задач, и работают очень хорошо. Но для них надо подготавливать данные, а нейросети (иллюзорно) создают впечатление, что им можно скормить что угодно без подготовки.
но и пихают их туда где хватило бы стандартного дерева решений со строгими логическими услоями
Ха, это точно. У меня знакомый устроился в ит компанию где начальство не программисты, и вот теперь они на основе новостей делают предсказание нагрузки на сервер (с помощью ии конечно) чтобы включить доп сервера, вместо обычного балансировщика нагрузки :)
в тех областях, где невозможно, или слишком сложно, или слишком дорого, или лень писать точный алгоритм
Неа. ИИ используют сейчас для всего подряд и пихают где не попадя. Это не вина юзеров что им нейронку и в IDE, и в браузер, и в зубную щётку, и в унитаз вмонтировали, а зачем не объяснили. Это всё равно что дать молоток и не сказать зачем он нужен. Вещь то хорошая... но стену, увы, не очень удобно красить. И усугубляется это тем что маркетологи сами не знают зачем им ИИ, но надо, ибо на хайпе.
Единственное где его можно использовать - это алгоритмы по типу DLSS, где цена ошибки незначительна, а экономия ресурсов колоссальна. Но как чат-бот или ассистент это просто тупой попугай. Ибо мне не нужно чтобы "скорее всего" мне купили билет на нужный самолёт или "скорее всего" подсказали верное решение. Это как раз то где я требую точности, а нейронка мне её дать физически не в состоянии.
Даже не dlss, а всякие там материаловедения и прочее. Там сложность честного моделирования дикая, точность приблизительного - грубо говоря, в основном уже исчерпали, а вот "хрен знает, то, что надо, или нет, но давайте проверим, что там железяка нагенерила" - даже если условно 1 из 100 кандидатов на какой-нибудь "высокотемпературный сверхпроводник" выстрелит, то всё окупится с огромным запасом.
Ну, человек не способен работать 24/7/365, и даже в режиме 8 5/2, случается, тоже глючит. А нейронка доступна круглосуточно - то есть при условии одинакового характера галлюцинаций удобнее.
А зачем это ИИ, если всё-равно потом фактчекинг делать?
В том-то и неудобство, что любые действия сверх промптинга - это уже не ИИ, а ненадёжный поисковик с уговорами, что это всё ещё круто.
Но круче всего - программировать
А зачем это ИИ, если всё-равно потом фактчекинг делать?
Если вы другого человека спрашиваете без фактчекинга, даже профильного специалиста в какой-то сфере, результат будет примерно такой же.
Профильные специалисты, не зная ответа на вопрос, фантазируют вам бессмыслицу? А точно это специалисты?
Профильные специалисты, не зная ответа на вопрос, фантазируют вам бессмыслицу?
Пфф, сплошь и рядом. На собственной шкуре не раз проверял - и в медицине, и в автосервисе, например. Не говоря уже про ИТ, где я подобное нередко изнутри вижу.
А точно это специалисты?
Если человек имеет соответствующее образование, опыт работы, и собственно работает в этой сфере - это называется "специалист" или нет? Как по мне, называется. Просто есть хорошие специалисты, а есть хреновые.
Дык, любой, кто долго и плотно работает с нейросетями, перестаёт им доверять, так как на текущий момент результаты очень спорные
Просто люди, которые используют ИИ в серьезных вопросах, однажды поймав галлюцинацию, перестают доверять ответам. Т.е. достаточно 1 раза. А фактчеккинг делать каждый раз накладно.
А вот тем кто видят друга по жизни в ИИ, вот им нормально. Там рецепт спросить, психологнуть есть с кем.
Им не доверяют и те, кто с ними вообще не работал, я вот например. Именно потому, что по обзорам и отзывам уже на протяжении более 5 лет видно, что результаты очень спорные. Спорными они были 5 лет назад, такими они остаются и поныне.
Они просто не умеют им пользоваться, надо у него спрашивать на что он ссылается, это как с вики
А потом проверить источники.
Так может лучше с источников и начать ими же и закончив?
Тут две проблемы: Гугл вместо поиска удался в рекламму теперь что-то найти нетривиальная задача.
Ответ может не содержаться в готовом виде но может быть выведен.
Например, я тут пытаюсь CDIST прикрутить. Система старая но информаци. По ее ищется мало. Чатгпт выдает нормальные результаты. - требуют проверки но. В трек чем я бы сам во всем этом копался.
Периодически брешет, но это легко проверяется с помощью тестов.
Мы просто забыли чт люди тоже «галлюцинируют». :)
верят в то, что ИИ уже превосходит человеческие способности
Но есть нюанс...
Чем больше учёные работают с ИИ, тем меньше они ему доверяют
На пятом году псевдоИИ истерии отсидки могучий и славный вождь команчей Зоркий Глаз заметил, что у камеры нет четвёртой стены.
ну галюцинируют нейрошки, и что. любой будет галюцинировать, если скормить ему противоположные точки зрения на один и тот же вопрос, не дав при этом никаких субъективных критериев преимущественного выбора. вот и пытаются они, несчастные, дополнить эту противоречивую неполноту своими миротворческими гештальтами.
Был у меня веселый случай с дипсиком. Пишу ему: «вот есть певичька, мне нравятся её эти 4 песни. Найди мне похожие по настроению и смыслу». Он мне бодро выдаёт несколько названий. Начинаю искать первое и не могу найти, нет у неё такой песни и всё. Прошу его написать текст этой песни, чтобы найти. Он выдаёт. Ищу, не ищется )) Спрашиваю чатгпт, есть ли такая песня или есть ли в какой-либо вообще песне такой куплет. Тот отвечает - нет такого в природе. Пишу дипсику: какого х…я?! Он мне: «Ой извините Я САМ ЭТОТ ТЕКСТ ПЕСНИ СОЧИНИЛ» и типа песни такой вообще нет. Это звиздец ))) Причем текст песни правдоподобный ) Такие дела.
Причем текст песни правдоподобный
С учётом того, что большинство современных песен — уровня «зайка моя — я твой глазик, банька моя — я твой тазик», то да, «текст песни правдоподобный», в том смысле, что похож на ту светотень, которая сейчас называется «песнями». По факту же нейротворчеству до именно песен — аки до Луны пешком.
А я ведь предупреждал...
Во-первых, ИИ не существует, есть лишь LLM, трансформеры, нейросети, всё такое... Черный ящик вероятностей. Во-вторых, все как-будто забыли про графы знаний на триплетах, экспертные системы построенные на них... А ведь это куда более мощные вещи, не требующие мощных ресурсов, дата-центров и прочего.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Чем больше учёные работают с ИИ, тем меньше они ему доверяют