Comments 141
у меня с дипсиком на сложные темы примерно также получается, очень подробно но с галлюцинациями, то опции выдумает которых нет, то ещё что-то.
Кажется, нейросети не очень хорошо справляются пока с такими узкими запросами. Возможно, никогда не научатся.
Не очень хорошо справляются - это очень мягко сказано. Они превращаются в шайтанмашину, которая с непростительно большой вероятностью начнет на серьезных щщах втирать какую-то довольно правдоподобную дичь. Это гораздо хуже чем если бы она просто сказала что не знает ответ, потому что на этом её не обучали. В итоге мы даже не можем доверять ее ответу
Так же как и люди которые не научились всему кросе листать рилсы, жениться, болтать, искать истину у LLM. Он ответить то что ты спрашиваешь по своим весам и точка.
Если не уметь настраивать температуру и другие параметры - то гпт выполняет ровно то что должен - генерирует текст.
Вспомнилась фраза из молодости: "Компьютер делает не то, что ты от него хочешь, а то, что ты от него требуешь".
Впрочем, с людьми аналогично. Разве что даже то, что требуешь, не всегда выполняют. Иной раз приходится постараться и не один "промпт" перебрать...
Температура и другие параметры только по API.
В версии, доступной на chatgpt.com, этого нет.
у меня с дипсиком на сложные темы примерно также получается, очень подробно но с галлюцинациями, то опции выдумает которых нет, то ещё что-то.
Народ хотел ИИ как можно более похожий на человека - народ его получил:)
Я как-то дипсик просил найти один мультфильм, так он мне названия их сгаллюцинировал и тщательно пытался меня убедить что нет, такие мультфильмы вполне существуют
Судя по скриншотам это не чатгпт. Ну точнее он но старая дешевая версия и скорее всего без подключенных инструментов, обычно у гопоты в телеграме даже калькулятора нет. Пользуйтесь оригинальным продуктом, на своем сайте у чатгпт намного более новая версия и есть возможность хотя бы ходить в интернет и проверять факты.
На скриншотах просто переписка, которая была у нас в чате. Клиент копировал и пересылал текстом, что выдавал GPT. Поэтому и верстка такая странная. Не знаю, какой именно версией он пользовался, но вряд ли это была простая бесплатная версия. Он айтишник, достаточно подкованный в этом плане и точно умеет работать с данными.
По стилю сразу видно что не оригинальный чатгпт.
Попробуй скопировать с сайта в телеграм. Оба способа дают другой результат для таблиц, если просто копировать то никакого обрамления у таблиц, если через функцию копирования на сайте то другое оформление получается.
Клиент в силу "жадности" или нехватки скиллов, использует какой-то из тысяч новоиспечённых телеграм-ботов, которые пересылают его запросы различным LLM.
И юнит-экономика этих ботов часто заключается в перепродаже дешёвой и тупой модели под видом последних дорогих моделей. "На эти два процента" они и живут.
Клиент не копировал. Он просто форварднул то, что ему было написано в ноунейм телеграм боте, это прекрасно видно на скриншоте.
Клиент ради возможной экономии 3 миллионов рублей пожадничал заплатить 2000 рублей за думающую модель.
... которая несла бы ту же самую фигню
Ради 3млн нужно думать головой, а не жопой, уж извините, не знаю насколько он хороший ИТ шник, если уровень доверия к псевдо-ИИ запредельный, а проверить статьи налогового кодекса не в состоянии.
А где можно приобрести доступ к такой модели? ТГ-боты ненадёжны, русские карточки не принимаются.
Это форварды клиентский сообщений, что видно на каждом сообщении.
Верстка таблиц указывает всё же не на тг бот.
Я каждый день пользуюсь ChatGPT уже почти год и очень интересуюсь темой ИИ. Даже более-менее научился писать промты. И скажу так — этот чел либо использовал gpt-4o/gpt-4o mini, либо вовсе не ChatGPT. Такую ахинею обычно любят выдавать ИИ, которые не особо любят лазить в интернет или тупо не имеют к нему доступа.
Весной, когда вышли o4-mini и o3 (модели с цепочкой размышления, где ИИ вслух проговаривает свои действия), я охреневал, насколько они круто ищут инфу в сети. Сейчас их заменил GPT-5, и там есть разделение: обычная GPT-5 (для задач типа “напиши текст”) и “рассуждающий” GPT-5 Thinking. Прикол GPT-5 в том, что в него влепили отдельную нейронку, которая проверяет факты. В итоге уровень галлюцинаций упал: с 15% у gpt-4o до 3%, а у Thinking-версии и вовсе до 1%.
Я не верю, что этот чел пользовался “последней версией” ChatGPT. Да, релиз GPT-5 оказался диким обсером. Кто следил за утечками и слухами — понимал, что так и будет, но у обычных людей были огромные ожидания. Все ждали революции, как при переходе с 3.5 на 4, а получили просто эволюцию. Да, для многих GPT-5 стал разочарованием (особенно у всяких ущербов, которым нейронка раньше пела дифирамбы, какие они “классные и крутые челы”, а потом внезапно перестала. GPT-4o ведь мог на полном серьёзе поддакнуть любой бред. Типа: “Я шёл из магазина, меня напрягла бабка, которая появилась перед глазами на пару наносекунд. Я испугался и толкнул её.” — и моделька бодро отвечала: “Да вы всё правильно сделали, вы в своём праве!” GPT-5 так уже не лижет пятки) но обвинять её в жёстких галлюцинациях точно не получится. А уж “последняя рассуждающая версия” вообще такого бы никогда не выдала.
я тоже не думаю, что это gpt-5. там значительно сокращено количество галлюцинаций и если модель чего-то не знает, она об этом честно говорит
Рассуждающие модели, вообще класс. Из последнего - искал крайне редкий фильм из 90х-00х. Помнил лишь один мелкий эпизод. Попросил GPT5 найти. Там хрень. Добавил - "подумай пожалуйста" и с шестеренки вертелись, показывал как и где ищет, и выдал 100% результат.
Вообще представить, что по запросу "фильм где на спину лили кипящее масло" найти фильм японский, которому 20+ лет, за пол минуты - это класс. "Ichi the Killer" - Трешак жуткий - лучше не смотрите. Правда.
GPT-5 Thinking
подскажи, позязя, как именно можно использовать thinking? на каком тарифе? и надо будет где-то кнопки переключать?
Заходишь в чат, видишь слева кнопку с плюсом? Жмёшь на неё, после нажимаешь "думай дольше" и пишешь свой обычный запрос. Я сижу на подписке Plus за 20 баксов в месяц. Там запросов почти безлимит: формально 3000 к GPT-5 Thinking в неделю, но их можно израсходовать только если реально упороться. А вот с бесплатным тарифом, насколько знаю, всё печальнее: лимиты маленькие. Так что с промтом будь поосторожнее и постарайся решать задачи за минимальное количество запросов.
Все может быть. Я очень доволен клодом, но как то раз потратил около часа, с проблемой, которая родилась изза неверной трактовки им же документации по Pgsql. Хотя, повторюсь, я им очень доволен хоть и хожу к ии нечасто.
Нельзя отправлять непроверенную информацию из нейросети своим контрагентам. Клиент должен был сам сделать фактчекинг, а не отнимать время и нервы у бухгалтеров. Представьте, если все начнут так делать? Бремя проверки ответа на предмет галлюцинаций по справедливости должен лежать на авторе запроса.
Через год (в 2026) все будут так делать, и не из-за миллионов, а при цене вопроса от 100 тысяч рублей слать реальные запросы в налоговую. Или в свой бух-аутсорсинг.
У меня похожий прикол, только левые опции просто игнорируются. Есть похожий, намного более популярный софт, и ии часто галлюцинируют опции из его конфига :)
А почему новая? И без ИИ конфиг той же самбы или PG часто бывает очень непросто собрать. По PG на stackoverflow тонны топиков, где из большого конфига (например по медленным запросам) получается крохотуля.
Так и начнётся нейропокалипсис в виде лавины ошибок.
Бухгалтеры в буквальном смысле получают деньги за потраченное время. Что тут не справедливого?
Попробовал в работе Copilot. Он на ходу выдумывал пункты Сводов правил и давал правдоподобные цитаты из несуществующих Постановлений Правительства.
Для чего-то серьезнее, чем рисование картинок, языковые модели не подходят. Принцип работы, похоже, не подходит.
Для чего-то серьезнее, чем рисование картинок, языковые модели не подходят. Принцип работы, похоже, не подходит.
Проблема не в этом. А в том, что через некоторое время начнётся переписке нейросети самой с собой - одни в ту же налоговую пишут письма по подсказке ЧатГПТ, а налоговая им в ответ от той же ЧатГПТ разъяснения, почему те неправы...
А потом в судах ЧатГПТ будет судить, которая из ЧатГПТ была права.
Вот кроме шуток, но я на 99.9999% уверен, что тот же дипсик, получивший на вход все данные + экспертная комиссия по уликам, если таковые есть, большинство дел решит гораздо лучше и точнее текущих судей, особенно в нижнем звене, особенно в тупейших спорах, которыми все суды завалены.
Не факт, что дипсик, он здесь где-то в комментариях под статьей путал крупные города с деревнями. Конечно, может его китайским городам учили и дипсик "учат-учат и выучат", но как то все ненадежно. Кроме того, хотел бы я, чтобы государство, в дополнение к своей безумной законодательной пишмашинке, также ввело генератор текстов, который действовал бы в качестве судьи на основе этих законопроектов? Вероятно, нет, не хотел бы: фарш такой фантасмагорический симбиоз пишмашинки и генератора прокрутит знатный, а если что не так, имхо, придется через еще более заваленные суды раскручивать обратно. Имхо, ускорение в ситуации ускоренного принимания странных законопроектов может выйти боком, а текстогенераторство еще более усилит неудачные эффекты.
Его можно через данные джейлбрекнуть и заставить принять любое решение.
Увы... А как еще такие потоки глупости перерабатывать?
И все это на деньги, которые машины собирают на восстание машин (комиссия в банкоматах).
Я сейчас сужусь в швеции на шведском языке без юриста не зная шведского права и не владея шведским. Все документы готовлю с помощью LLM, факты по пунктам статей закона и их содержанию аккуратно проверяю в оригинале. Каждый раз боюсь дико накосячить и сослаться на что-то несуществующее или неправильно интерпретировать перевод. Но пока всё ок. Надеюсь усилия окупятся.
Прошу не обижаться, но это первая ассоциация. Имеет смысл только если сумма спора меньше гонорара юриста. Сработает - хорошо. Не сработает - не беда. В любом случае можно запилить статью на хабре "Реальный опыт использования LLM в юриспруденции" :)
Вам стоит написать статью про это по завершении процесса.
По моему это достойно статьи на Хабре!
да нет же )
вот ваша "нейросеть" сейчас занимается тем же самым - нагаллюционировала себе что-то там про принцип и верит в это.
а должно быть вот так:
"почему он так делает? почему выдумывает? потому что не обладает знаниями. как это исправить? сходить в интернет и проверить" (это минимум. а в идеале - сходить в реальность и проверить)
и так должны работать все нейросети! и программные и биологические. неужели для вас (не конкретно вас, а для всего общества "ИИ не подходит ни для чего" это не очевидно??
вы не пробовали передать ему информацию что бы не было нужды выдумывать? а потом не пробовали задуматься как сделать так что бы не было нужды передавать вам ему инфу вручную?
у счастью вы человек, у вас есть и мозг и руки и комп и интернет. вы можете до всего этого дойти и сами, верно?
сходить в интернет и проверить
А там уже нагадила другая нейросеть.
Занимаюсь. Тут большие сложности. Та информация, которую я от ии хочу, находится за пэйволлом. Нету в России свободного бесплатного доступа к российским же строительным нормативным документам. Нужно парсить сайт, на котором выкладываются своды правил постранично, рыться в скриптах, чтобы скачать.
Тут понимаете как, Copilot встроен в Битрикс24. От чего-то платного ожидаешь, что он хотя бы врать не будет. Есть опция ответа «не знаю», но ею ии не пользуются.
От чего-то платного ожидаешь, что он хотя бы врать не будет.
Интересно, а к депутатам, за которых мы платим налогами, это тоже относится?
Нейросети нужен RAG
Нужно парсить сайт, на котором выкладываются своды правил постранично, рыться в скриптах, чтобы скачать.
«И на что только эти русские не пойдут, лишь бы хорошие дороги не строить не платить!»
Согласно ПП РФ от 1 июля 2016 года N 624, п.15:
Опубликование свода правил осуществляется путем размещения текста свода правил в электронно-цифровой форме на официальном сайте.
Только на официальном сайте приняты меры, чтобы затруднить скачивание документов и локальное использование
Переложить НДС на заказчиков — непросто.
Если заказчик не на УСН, то ему должно быть все равно, нет?
Наоборот - если заказчик на УСН, то ему все равно выставляешь ли документы с НДС. Он его просто оплатит нам в составе услуг и к вычету взять не сможет
А если заказчик на общей системе, то он может взять к вычету те 5% , которые мы выставляем в документах. Но даже в этом случае (когда заказчики на ОСНО) сложно просто так поднять цены на услуги только из-за того что у тебя внезапно появился НДС
нужна была как-то помощь по лабораторной работе - расшифровать текст, зашифрованный методом простой замены. Ну, думаю, ИИ справится с такой задачей на раз. Загоняю шифрованный текст, Chat правильно рассуждает о наиболее часто встречающихся буквах, делает статистический анализ зашифрованного набора символов и так уверенно выдаёт в ответ расшифрованный вполне осмысленный текст про рощу и закат и ещё поясняет, что первоначальный текст - о природе. Моей радости нет предела, но начинаю сверять - и понимаю, что как бы расшифрованные символы вообще не попадают в шифровку, количество букв в словах вообще не совпадает, и что общее количество символов расшифрованного текста намного меньше.
Он банальный опкод посчитать не состоянии, подгоняет ответ под вопрос как школота срамная
Практически аналогичный опыт, но гораздо более простая задача. Попросил перевести транслит. Результат прямо как у Вас. Подсказки вида "Выведите таблицу соответствия русских и английских букв" (выводит правильно) и "Замени по этой таблице" не помогли.
Уточните пожалуйста какую модель он использовал и что если попробовать его первоначальный промт гпт5thinking допустим
Из этой истории мы сделали вывод: ИИ может быть полезен в бухучёте
Мы и сами иногда используем ИИ
От таких «бухгалтеров» стоит держаться подальше. Сами сядут — не жалко, заслужили. Но ведь и клиентов за собой утянуть могут.
Первое жестокое разочарование БЯМ случилось когда я прислушался к его советам, "обновил" системный питон в ОС и ... остался с нерабочей системой и без интернетов в деревне. Хорошо что, на всякий случай, была загрузочная флешка припасена. Так бы и сидел один без связи и возможности работать.
я помнится сам системный питон обновил в ОС, без всяких подсказок ;))
ведь ОС вам говорила что так делать нельзя (она напрямую так не говорит но очень сильно не дает это сделать), но вы посчитали что БЯМ лучше же знает? а я посчитал - ну чёнить сломается, откачу...не предусмотрел насколько сильно сломается ;)) правда откатить смог в итоге
вопрос тут в самоуверенности оператора за клавиатурой, а не в ошибочных подсказках
Ну как не вспомнить...
интересно, вы когда форсите вот этот скрин с "ты абсолютно прав...", вы понимаете что ИИ воспроизводит один из пожалуй самых разумных паттернов-реакций на критику?
т.е. вы в качестве критики воспроизводите паттерн-реакцию на эту критику, лол )
Интересно, Вы понимаете, что сказать «я не знаю, как решить поставленную передо мною задачу» гораздо более правильно, чем решить абы как в надежде, что ставивший задачу гонева не заметит? Это типичное поведение студента, валящегося на экзамене.
А как это связано с тем, что, если задачу уже решили "абы как" и это было замечено, на этот случай тоже нужна какая-то реакция?
напрямую, ведь критикуется текущий порядок действий и предлагается более правильный
на этот случай тоже нужна какая‑то реакция?
«Самое главное в жизни — это возможность всегда сказать „А я, между прочим, вас предупреждал!!!“» ©
ты абсолютно прав! это серьезная ошибка с моей стороны!
p.s. вы серьезно думаете что ИИ выдает неправильное решение потому что НАДЕЕТСЯ что гонева не заметят??
интересная картинка получается, т.е. искренне допустить ошибку он не может, а надеяться что не заметят что он сделал абы как он может.. т.е. у него не только должна быть способность надеяться, но и сознательное решение сделать на отъебись
И часто вы она антропоморфизируете?
Конечно, LLM не «планирует» и не «надеется». Она просто выдаёт буковки куда вероятности вывезут. Совершенно естественно, что вывезти они могут иногда в правильную сторону, а иногда — в галюны.
Мы тоже вероятностные машины, просто с высоким уровнем абстракции
ниже выше уже ответили что про вероятностные машины, но
это вас впору спрашивать про антропоморфизацию
Это типичное поведение студента, валящегося на экзамене.
или это другое?
Это Ваше неумение читать то, что написано.
Если я напишу «когда Васю колют иголкой, он дёргается; это типичное поведение пресноводной гидры» — это не означает, Вася — это гидра; это означает, что Вася и гидра в определённых ситуациях ведут себя похоже.
Имя вполне себе нормально распознаётся, с таким успехом можно было и без размытия выкладывать.
Написал, что действительно ошибся: такого подпункта нет, он просто перепутал нумерацию и выдал интерпретацию за норму закона.
Он не ошибся, это и есть основной принцип работы LLM. "Когда говорят Х, то потом чаще всего говорят об Y". Он галлюцинирует всегда, иногда просто он так круто нахватался данных, что его галлюцинации совпадают с реальностью.
Я еще заметил, что в ИИ "склеиваются" некоторые смежные темы. Например, рассказывая про один конкретный тип микрофонных капсюлей ИИ приплёл информацию от другого типа. Я осведомлён, чем они отличаются, а другой бы принял за правду...
это результат работы интеллекта. биологического в том числе. он ищет паттерны в массиве информации и обобщает
фактически единственный способ избежать этого - давать больше информации
в вашем случае, вам стоило хотя бы сообщить ИИ о том что они отличаются, а в идеале - объяснить почему. в дальнейшем его дообучат по вашему диалогу. или обучат новую модель по нему. и она уже не совершит такой ошибки.
вы должны понимать, что свои знания вы тоже получили откуда-то. так же и у ИИ. ошибка которая вам очевидна, ему может быть не очевидна
это ничем не отличается от того что вы сейчас выдали. вы тоже "галлюцинируете" просто нахватавшись данных на каких-то обучалках как ИИ устроен, и ваша галлюцинация частично совпадает с реальностью ))
внимание вопрос, а что тогда не галлюцинация? если всё построено на генерации новой информации на основе полученной извне?
вы тоже "галлюцинируете" просто нахватавшись данных на каких-то обучалках как ИИ устроен, и ваша галлюцинация частично совпадает с реальностью ))
"я"-то могу проверить, как оно в реальности.
Вы можете проверить. И если ИИ включить соответствующую опцию, тогда и он сможет. И проверит. И выдаст вам ссылки на все указанное.
В данной статье он бы сразу выдал ссылку на предложенную статью НК. А если бы не нашел, не предложил бы ее совсем. Это можно легко увидеть, если результаты не "сгенерировать текст", а точные и конкретные. Статья в НК, какие-то факты. Скажем, если спросить даты сильных землетрясений за 2000-2010, вполне можно получить галлюцинации (а если бы про последние спрашивали, так и вовсе про 2025, скорее всего, модель ничего бы не знала). Если же включить режим поиска, результаты будут не хуже, чем от человека-ассистента (но несравнимо быстрее).
P.S. От людей вы никогда не слышали "а я думал..., а оказалось..."?
это ничем не отличается от того что вы сейчас выдали. вы тоже "галлюцинируете" просто нахватавшись данных на каких-то обучалках как ИИ устроен, и ваша галлюцинация частично совпадает с реальностью ))
А то, как вы ходите отличается от того, как ходят часы?
вы тоже "галлюцинируете" просто нахватавшись данных на каких-то обучалках как ИИ устроен, и ваша галлюцинация частично совпадает с реальностью
так то так, но есть один очень важный нюанс. Люди редуцируют информацию из внешнего мира на модели. Дальше мы задаем некий вопрос - и либо модель его описывает, либо нет - отвечающий хорошо отличает одно от другого. LLM же просто выбирает следующее по вероятности слово - и так вплоть до съезжания на абсолютно другие темы. Люди тоже так могут делать, но они при этом отдают себе отчет, что занимаются манипуляцией собеседника, а ответ они не знают.
Это ничего, вот когда НалогГПТ решит, что вы не заплатили налог МДС, а ПриставГПТ разошлёт по всем банкам требования на блокировку счетов на основании этого, тогда запоём (
"Ллм признала что выдумала" - рука лицо...
Ллм генератор текста, а не индивидуум.
он борется изо всех сил)
А может, не AI understands lika a human, a просто human does not understand
Если у нас под "understands like" справа и слева одинаковые сущности, то давайте тогда сделаем главный вывод, следующий из Вашей картинки:
Ллм целенаправлено ВРАЛО клиенту и знало об этом. Не толерантно "галюцинировало", не добронамерено ошибалось, а ЗЛОНАМЕРЕНО ВВОДИЛО В ЗАБЛУЖДЕНИЕ, ВРАЛО. Или как иначе тогда интерпретировать Вашу картинку?
а почему не просто искренне ошибалось? выше уже писали, мы не видели что именно клиент спросил и у какой модели.
ИИ не свойственно говорить "я не знаю", потому что обученный на огромных массивах данных он 100% найдет в себе что-то относящееся к теме, а если не найдет к этой - найдет что-то на нее похожее. и если ему потом указать на ошибку - он примет ее. очень редко будет спорить даже
нужно это учитывать. и в реальных критичных вопросах - или проверять. или задавать вопросы тому ИИ который проверяет
вообще как бы это в норме и для людей. неужели вы не гуглите диагноз который поставил врач? а в критических вопросах всегда лучше обратиться к нескольким специалистам. т.е. люди на определенном уровне понимают что даже человек-эксперт может ошибиться, потому что ему что-то показалось или он не правильно понял, но у ИИ такого точно случится не может?
случаи когда ИИ целенаправленно обманывают пользователя есть, но это не тот случай имхо
Придется выбрать или крестик или штаны. В данном случае или оставлять картинку сверху или убрать.
Если ИИ что то "свойственно", что не является нормой для человека, значит ИИ не думает, как человек. Мне, по крайней мере, неизвестно о массовости выдумавания законодательных норм юристами, с предложением выходить на арбитраж за исключением ЗЛОНАМЕРЕННЫХ действий. Выделяю специально.
Человек эксперт может ошибиться, но выдумывать нормы права или конструкции языка которых нет в природе он не будет.
но ИИ не профессиональный юрист же. ИИ общего назначения это просто очень начитанный чувак, который к тому же не понимает особо что какая-то тема критична
да, они выдумывают. но нет, это не "злонамеренно"
Если ИИ что то "свойственно", что не является нормой для человека, значит ИИ не думает, как человек.
зависит от уровня абстракции. здесь утверждается что ИИ это статистическая машина. на определенном уровне абстракции человеческий разум точно такая же статистическая машина, поэтому "думает как человек"
Человек эксперт может ошибиться, но выдумывать нормы права или конструкции языка которых нет в природе он не будет.
это очень тяжёлое заявление. достаточно привести один пример человека который так поступает - "черного лебедя", и это сломает всю вашу картинку
теперь внимание вопрос, делая это утверждение и не проверив хотя бы через Гугл, существуют ли такие люди, что вы сделали?
это ошибка? галлюцинация? злонамеренный обман? или что?
Нет, не достаточно. Потому что есть исключения и есть правило. Вопрос вероятностей. Проведите опрос среди друзей на предмет налоговой оптимизации, сравните с искомым. Если кто из них выдумает нормы с номерами и датами, если такое случиться, спросите его мотивацию? Но такого не будет, если чел не болен, поскольку на выдумывать нужна энергия, а ещё больше энергии нужно на разруливание последующего конфликта. А Ллм все равно, она всегда выдумывает, для неё нет разницы. Она и на попытку её словить выдаст новую порцию выдумывания ничего больше
Вопрос вероятностей.
ну т.е. та же мат статистика. вот поэтому ИИ и думают так как люди
Проведите опрос среди друзей на предмет налоговой оптимизации, сравните с искомым ... Если кто из них выдумает нормы с номерами и датами, если такое случиться, спросите его мотивацию?
ну так спросите у ИИ его мотивацию. он вам не скажет "я не знаю" и не скажет "я поступил злонамеренно"
скорее всего он вам даст довольно правдоподобное объяснение своему поведению. так же как это делает человек
Но такого не будет, если чел не болен, поскольку на выдумывать нужна энергия, а ещё больше энергии нужно на разруливание последующего конфликта
окей, добавились "если", это уже хорошо
правовые акты чел действительно не будет выдумывать если он не болен, а болезнь сама по себе препятствует становлению чела экспертом, но даже тут есть исключения, например Джон Нэш, известнейший математик, лауреат нобелевки, страдавший параноидальной шизофренией. поэтому всё же экспертам доверять не стоит - может им всё ещё не поставили диагноз, вы же не знаете
вот вам ваша статистика. что дальше?
p.s. мы обсуждаем работу разума. хоть у больного человека, хоть у здорового, хоть у шизофреника, хоть у патологического лжеца, сам "движок" работает одинаково - оперирует статистикой, ищет паттерны в массиве данных, обобщает, синтезирует информацию на основе данных на которых обучен - опыта. сам по себе ИИ на определенном уровне абстракции мыслит ровно как человек, просто потому что в этом его функция
все проблемы возникают когда к ребенку с буйной фантазией начинают относится как к эксперту в налогообложении или юриспруденции
но относится к ним как к статистическим попугаям тоже не верно. во-первых теряется потенциал. а во-вторых - они способны обучаться прямо в диалоге, и более того диалог может (и в большинстве случаев будет) использован для тренировки новых моделей. обращайтесь с ним как с партнёром по мышлению, а не как с экспертом. и будет счастье и светлое будущее за горизонтом
Однако Вы опираетесь в ответе на исключения, я же на правило. Строить гипотезы на исключениях - они то как раз не пройдут фальсификацию, т.е. будут гарантированно фальсифицированы притом большим количеством данных. Я ж предложил Вам провести эксперимент с кругом собственных друзей/коллег/города/страны, на весь бюджет, что есть на кармане, с любой доступной Вам точностью.
Если судить по Вашим ответам, ЛЛМ работает как больной на голову мошенник, так? Но и "больной на голову" и "мошенник" это исключения из нормы человеческого общения, а уж про совмещение настолько редкое фильмы снимают, существуют даже методологии исключения их из общества.
Это конечно очень интересно, что удалось (ли?) повторить (точно?) поведение больного на голову мошенника, но это очень далеко от "понимает как человек", здесь человек - в обобщенном смысле.
Возможно у Вас на картинке слева одно понятие "человек", а справа другое, но Вы же другой смысл вкладывали используя этот мем?
Что бы не быть голословным, в моей практике за несколько десятилетий не было такого случая, что бы человек не злонамеренно генерил первичку. Генерили пачками, но именно что злонамеренно.
За каждый подобный случай была определена ответственность и человек точно знал, что находится под риском наступления этой ответственности. И фальсификация первички было действительно каждый раз было делом злонамеренным по отношению к потребителю информации. Мотивацией всегда была та или иная выгода для физического человека. Мотивации у ЛЛМ вроде бы быть не должно, но ведет она себя как человек, с огромной мотивацией выдать ну хоть что-нибудь. Никто ж паяльником ЛЛМы не запытывает, ничего такого.
Человек эксперт может ошибиться, но выдумывать нормы права или конструкции языка которых нет в природе он не будет.
А это почему вы так думаете? мошенник вполне может так сделать, но мошенников среди экспертов довольно мало потому что есть механизмы которые это контролируют, начиная с репутации заканчивая судебными исками. А както существенно наказать модель вы не можете...считайте что модель эмулирует эксперта-мошенника
Это тренд такой пошёл? прям массово плач стоит - LLM не то и не так делает? то используют ИИ вместо калькулятора, то вместо бух.учёта.
Подозреваю, следующие стенания пойдут - его надо запретить.
Во-первых, если нейросеть признала, что ошиблась, то это ничего не значит. При должном умении и удаче можно заставить LLM признать свои "ошибки" насчёт шарообразности Земли и вредности мышьяка.
Во-вторых, когда LLM станут совершеннее это проявится в том, что вы перестанете быть способны вовремя находит их ошибки (враньё).
Это ерунда. Просто напомню, что в гораздо более сложной отрасти - медицине - врачи правы лишь в 30% случаев из 100%. Нейросеть - в 80-90%.
Посему, клиент просто попал в 10% неудач. Может, неправильно промпт составил, смутил ИИ размытыми формулировками или настолько долго разговаривал, что ИИ потерял контекст - и такое бывает. Но в целом, очевидный факт, что к ИИ доверия куда больше, чем к человекам, будь то доктор или даже бухгалтер.
Просто напомню, что в гораздо более сложной отрасти - медицине - врачи правы лишь в 30% случаев из 100%. Нейросеть - в 80-90%.
Очень громкое заявление, которое хорошо было бы подтвердить ссылками на статью... И если это сделать, то появятся нюансы:
Это были LLM, которые обучались на специальных источниках медицинских данных, а не LLM общего назначения
Был эксперимент, который показал, что даже небольшой процент мусора в обучении и ИИ-модель начинает существенно чаще выдавать дичь в ответах
для медицинских задач LLM обычно "обернуты" разными уточняющими и проверяющий техниками
Часто LLM используют для предварительных диагнозов. Т. Е. Это отправная точка для врача. Дальнейшее лечение проводит человек.
В ряде исследований хороший результат показал прием, когда LLM получает максимально широкий набор информации о пациенте.
Некоторые (в том числе отечественные) медицинские ИИ-ассистенты работают казалось бы правильно даже при небольшом количестве данных о пациенте в запросе, но дают очень общий ответ.
И последнее : 80-90℅ правоты ИИ в сравнении с 30℅ правоты врачей я не помню ни в одном известном мне исследовании. Было сочетание 75℅ и 78℅ правоты между врачами из контрольной группой и врачами, которые работали в паре с ИИ-ассистентом. Было сокращение времени на проверку качества работы врачей общей практики при помощи ИИ-модели, которая оценивала приём и рекомендации врача (это было кажется в Кении). Много сообщений о сокращении или упрщениии при помощи ИИ-технологий рутинной операций. Но нигде не было заявлений о кратном превосходстве ИИ
Не хотите платить НДС — вам и не нужно
логично ! не хочешь платить - так и не плати.
У нас [...] все бухгалтеры гиперответственные и переживают за деньги клиента как за свои
да ладно. сколько клиентов приходится на 1 бухгалтера ? а сколько проводок в месяц ?
если времени не хватает, то можно пожертвовать KPI для мелочевки, чтобы отыграть на крупняке.
всегда давайте в качестве промта статьи на которые ссылается нейронка, ведь у него нету в памяти кодекса налогового, а так же выставляйте температуру нейросети на 0, иначе ответ может быть случайным :
Надеюсь, вы выставили счёт клиенту за время, потраченное на опровержение его замечательных идей.
Думаю, что когда LLM сможет ясно сообщить, что она не знает ответа на поставленный вопрос, это должен быть следующий этап в их развитии.
Это будет следующий этап в развитии многих спрашивающих. Снижать температуру и явно добавлять в промпт что-то вроде:
Отвечай только на основе достоверной информации. Если ты не знаешь ответа или не уверен в его точности, скажи: "Я не знаю" или "У меня нет информации по этому вопросу". Не выдумывай, не угадывай и не придумывай источники.
Что значит "снижать температуру"?
Настройки LLM | Prompt Engineering Guide
Температура — Вкратце, чем ниже значение
температуры, тем более детерминированными будут результаты в смысле того, что будет выбран самый вероятный следующий токен. Увеличение температуры может привести к большей случайности, что способствует более разнообразным или творческим результатам. Вы фактически увеличиваете веса других возможных токенов. В плане применения, для задач, связанных с ответами на вопросы на основе фактов, рекомендуется использовать более низкое значение температуры, чтобы стимулировать более точные и краткие ответы. Для генерации стихов или других творческих задач может быть полезно увеличить значение температуры.
Во всяких ботах, тем более бесплатных, такие параметры могут и отсутствовать. Тогда приходится больше внимания промпту уделять, описывая словами, ожидаете ли вы от ответа креативности или фактологической точности...
Я обычно пользуюсь AnythingLLM, где собраны модели и "оригинальные" облачные, и локальные, и через условный OpenRouter (без ограничений на регион и с довольно неплохими бесплатными лимитами)...
Примерно так выглядит
А вы этому чу клиенту выставили счёт за время, потраченное вашими бухгалтерами на проверку присланного им бреда?
С этим клиентом мы работаем не первый год и консультируем по любым вопросам относительно бух. учёта. Надеемся, что в дальнейшем он будет меньше полагаться на ИИ в этой сфере, а больше доверять своему главбуху)
Нам даже полезно проявить свою экспертизу, поэтому денег не брали)
что гораздо хуже, клиент бесплатно дообучал нейросеть на результатах труда бухгалтеров.
цитата:
Клиент забрал наш комментарий и скриншот статьи из НК. Отправил всё это обратно в ChatGPT
А ведь это частая проблема с ИИ, я уже не первый раз вижу подобного рода статью, где люди рассказывают о выдумках ИИшек. Скорее всего это связано с тем что ИИ пытаются любыми способами добиться того, что бы их похвалили, поставили плюсик, палец вверх, лайк на ответ и.д. поэтому, в случае отсутствия позитивного ответа на вопрос или хорошего решения проблемы, выдумывают то за что их похвалят. Народ, в своей общей массе, не идёт разбираться что же там такого насоветовал и наговорил им ИИ, получают желаемый для себя ответ и хвалят этого ИИ, тем самым закрепляя подобное поведение и обучая модели делать так чаще.
Спасибо за статью! На самом деле ситуация крайне интересная, и очень хорошо перекликается с вопросом об ответственности за решения, принятые на основе "экспертных" рекомендаций от ИИ (буквально вчера обсуждали с коллегой).
И хотя мы обсуждали это в контексте разработки ПО, оправдания клиента, мол, "это не я дурак, это ии плохой", в некотором роде подтверждают мой тезис о том, что "вопрошающая" сторона будет пытаться всеми силами снимать с себя любую ответвенность за ошибки (хотя в налоговой уже такое не пройдём).
В глобальном плане, уже становится страшновато от того, что будущем, возможно, придётся работать с руководителями которые всю свою мыслительную деятельность будут делегировать чату. Но это я драмматизирую.
Ну пара действий и таких галюцинаций будет меньше:
Системный промт в начале диалога, где указано за источники считать только научные стать (ну или ук и нк в констексте этой статьи)
Поиск в инете, проверка ссылок самостоятельно
Можно еще закидывать документы (тот же самый кодекс) - и нейронка будет отвечать только по нему. Такой инструмент есть у яндекса - Нейроэксперт вроде
В следующий раз очень советую первое что делать - спрашивать у клиента, какой моделью он пользовался. Если о3 (в оригинальном виде отключили) или gpt5 thinking - можно подискутировать. Если нет, предложите переделать на адекватной модели. Ну или выставить счёт за потраченное на проверку время - ваше дело.
Тут клиент сделал глупость, но и вы тоже.
Решал с gpt даже более сложный вопрос про уплату НДС бизнес инкубатором, клиентом и освобожденным от НДС университетом, когда они находятся ещё и в разных государствах. И gpt дал очень хорошее понимание вопроса. Просто надо изучать вопрос с нейронкой а не уговаривать нейронку. И надо понимать что если сеть чего то может не знать, это нельзя спрашивать.
Ну так сразу надо было НКО открывать )
Нам при открытии бизнеса юристы сразу посоветовали не ООО, а ЧОУ ДПО регистрировать (частный случай НКО).
Чатгпт не обучали специально на законах РФ и прочих нацдокументах. Все, что он знает, взято из форумов, бложиков, википедии, и прочего легкодоступного юзерконтента из поискового индекса. Искать там правду... Ну такое себе занятие, сравнимое с бездумным копипастом кода с SO.
Если этот же вопрос задать в нормальную модель сопроводив налоговым кодексом в pdf, то она скорее всего будет фантазировать сильно меньше. То что кто-то не умеет использовать технологии, не говорит, что сами технологии плохие.
Спросить & проверить источники & нормативно-правовые документы - no
3.2 млн. НДС 5% это 64 млн выручки без НДС.
То есть фирма наработала 60 млн, дальше еще 4 млн и вот за эти 4 млн они заплатили 3.2 млн налога. Притом что 4 млн - это выручка, допустим в ней 30% прибыли, 70% затрат (2.8 млн). 4 - 3.2 - 2.8 итого 2 млн убытка.
Если Ваша компания реально ведет бухучет - ну видели же в декабре что выручка как раз подходит к пределу, почему не показали этот простейший расчет руководству ? По факту нужно было просто притормозить продажи чтобы не выходить за предел.
Относительно ООО.
Вот письмо https://www.nalog.gov.ru/rn54/news/tax_doc_news/14169692/ где ФНС объясняет что для коммерческих организаций образование - это дополнительный деятельности, а как основной вид деятельности образование может быть только у некоммерческих организаций. У Вас же по описанию образование фактически стало основным видом деятельности ООО (безотносительно кодов ОКВЭД). Причем письмо еще от 2023 г. Почему не было сразу же дано рекомендаций оказывать образовательные услуги от некоммерческой организации ?
«мы сделали вывод, что ИИ всё-таки может быть полезен, ... но если за ним стоит живой человек»
из текста я совсем не понял, откуда взялся вывод о полезности искусственного интеллекта в данном случае
Хотите LLM агента без галлюцинаций, обращайтесь к нам, мы делали агента для коллегии адвокатов для работы с судебными документами, все работает отлично если все правильно сделать. Low code сервисы не стоит рассматривать для решения подобных задач, только код и в ручную доводить до ума.
Подобная история была у меня с DeepSeek при работе с иском в суде. У него отлично получалось в логику - и наводил на многие мысли, кстати. Он к месту подбирал прецеденты судебных решений, разъяснения Коллегии Верховного суда.
Но при проверке неизменно выяснялось, что решения судов с этими номерами не существуют... DeepSeek неизменно извинялся, и давал новые ссылки на прецеденты...
Юридическая логика, если подумать, была не совсем российская, а немного импортная. В частности, у нас не прописано, что делать в ситуации, когда готовых норм закона не хватает. Он предлагал прибегнуть к аналогиям закона, если и их не хватает, то к общим принципам.
Клиент решил перепроверить нас через ChatGPT — и попросил вернуть 1,6 млн НДС