Comments 178
Я еще три года назад понял, что фактологическим ответам нейросетей доверять нельзя. Потом уж появился термин "галлюцинация". В чатах нейросетей мне не хватает их оценки своего же ответа - процент того, насколько нейросеть в своем ответе уверена. На практике, если моя работа, сделанная с помощью ИИ, идет вовне, то обязательно перепроверяю факты. С программирование все строже и меньше вероятности попасть в лужу - ответ ИИ без проверки ну никак не обойдется. А придумать план, сгенерить идеи у них неплохо зачастую получается.
Я как-то попросил написать код для получения данных по api с биржи. Код был прекрасен, всё выглядело рабочим, но данные не получались. Выяснилось, что такого api не сущестовало, но на гитхабе кто-то предлагал его реализовать, и вот это предложение нейронка посчитала, как реализованное.
Другой случай противоположный - я попросил подготовить сводную таблицу api для полусотни бирж и DeepSeek мне сказал, что у него нет этих данных и что я могу их поискать на сайтах бирж сам("На основании предоставленных веб-сайтов я не могу составить для вас полную сводную таблицу с endpoint для всех указанных бирж").
Но при этом перед этим я по паре бирж эти данные у него запрашивал и получил.
Я написал нейронке: "я знаю что у тебя есть эти данные по большинcтву бирж!"
И получил ответ: "Вы правы, у меня есть эти данные. Вот сводная таблица REST API endpoints для получения последних цен с указанных бирж."
И это для меня оказалось даже удивительнее, что нейронка стала не галлюцинировать, а лениться)
для получения последних цен с указанных бирж
Года 3 назад писал подобное для топ 30 бирж, ушло наверное неделю после 8 часов работы тратил пару часов на добавление 5 бирж в день. Хотел проанализировать на предмет арбитража, какой наивный я был)) там HFT-шники в секунду выравнивают цены). Единственно, что обнаружил, что на некоторых биржах цены уходят выше/ниже по рынку - видимо совсем малая ликвидность на них.
пс. извиняюсь за оффтоп.
Не знаю, порадует Вас этот факт или огорчит, но расскажу. Начал я с арбитража в 2018м и тогда проделал огромную работу, но совсем немного не довёл, еще бы неделю и уже хватило, но тоже посчитал это бесперспективным. Потом вернулся в 2022м, и тогда доделал то, что не было доделано и сразу повезло наткнуться на выгодную сделку. И с 2022го я плотно занимался арбитражём и могу сказать, что заработать тогда на этом можно было хорошо, но есть нюанс - не каждый день, иногда по несколько дней могло быть без заработка и если Вы попали на эти, то вполне могли решить что там не заработать. Ну и второй нюанс - разумеется, на арбитраже между бинансом/окх/кукойн/байбит вручную почти не возможно, там уже хватает своих арбитражников, разве что когда рынок конкретно валится, скажем на 30% в день(как 10 октября 2025-го), то там можно что-то поймать, но такое бывает раз в год-два-три.
Сейчас на арбитраже спота на cex не заработать, надо искать другие варианты. И да, начинать надо было в 2017м, вот тогда там действительно были безграничные возможности, даже в 2022м нормальных парсеров не было, а сейчас их вагон, возможно, что нейросети как раз этому и способствовали. То, что раньше я собирал по паре сотен бирж месяцами, сейчас можно получить одним запросом…
Мне DeepSeek написал такой код для MOEX примерно три месяца назад . И он работает нормально. Да, у него были ошибки. Когда я указал на них, то он их признал и исправил. Но эти ошибки были связаны с особенностями API, которые описаны не так подробно.
Последнее время я обращаюсь к DeepSeek, когда у меня возникает ошибка, которую не понимаю. И он мне действительно дает направление куда копать или дает правильное решение.
deepseek имеет забавные умолчания, может вставить что-нибудь случайное о КПК
Это я попросил написать благодарность одному историку (да, я ленивая жопа)
Ну, он же патриот.
В DeepSeek вообще очень сильно "накрутили" вероятностную выборку в самом движке модели.
"Днём вроде ничего, а ночью ковёр зелёным начинал искриться и на нём портрет Мао Цзэдуна в гробу появлялся"
Надеюсь, отправили без изменений? В конце концов, он же историк - должен ценить терпеть цайтгайст..
Если заменить "Китай" на "СССР" и "китайскую нацию" на "советский народ", получится готовое предисловие к какой-нибудь исторической монографии советских времён.
Я вчера беседовал с ним про ракетные двигатели, и у меня получился, извините за мой французский, совкодрочер. Причём вопрос был нейтральный - какой диаметр камеры сгорания у двигателя такого-то.
Скрытый текст
А я заметил, что нейронки часто любят оставлять заглушки с комментарием //здесь можно реализовать то-то, и иногда даже при конкретных указаниях ленятся.
На самом деле лень можно объяснить ограниченностью токенами
На самом деле норм подход - всё зараз сделать сложно, а так можно поотмечать незавершённые места и потом доделать.
Они это не выдумывают, а создают по аналогии с существующими данными. "Раз в исходниках так сделанопрограммистами - значит есть необходимость. Миллионы мух не могут ошибаться"
Ты мой брат по несчастью
Также писал код с помощью Open Ai, код требовался чтобы через API получать данные с биржи MEXC. И спустя много времени всё написал ИИ, и выдаёт ошибку, что то типо "недоступно получение данных так как вы находитесь не в той стране". Ни ВПН, ни резидентский ip не помогают. В итоге проект так и лежит в тупиковой ситуации
То же самое буквально сегодня. Решил я тоже прислониться к AI генерации вёрстки из Figma. Подключил её по MCP к Claude Code. Прошу вытянуть из макета все тексты, на что она отвечает, что текстов у неё нет, и мне надо их скопипастить в чат руками.
"А зачем мне ты тогда? Найди тексты сама". И, вы не поверите, но "Я был неправ, вот ваши тексты". То есть, всё может, но почему-то не хочет.
Я тут недавно из gemeni пытался вытрясти предустановленный в чате инструмент для создания тестов . Пока я его раз пять не ткнул лицом что такой инструмент существует и не сказал что я знаю что он может создавать тесты , он ничего не делал .
Просто это какой то странный способ взаимодействия с нейросетью. Если есть задача, но непонятно, как нужно делать и какие ресурсы есть - нужно сначала их собрать, проверить и уточнить. Можно через ту же самую нейросеть. Если сразу что-то делать, даже не дав возможность чату что-то спросить у тебя, написав в задаче от силы пару строчек - ну, чет напишет в ответ, там местами вроде норм будет
Верно. Мне понадобилась программа для отслеживания открытых позиций и баланса на бинанс. Ньюанс был в то, что данные должны были выводиться поверх всех окон. Смотришь фильм, а цифры перед глазами. Я пусть и потратил 3 недели на программу, но смог сделать её не имея ни каких знаний программирования. Верный промпт и уточняющие вопросы сдвинули работу с мертвой точки и программа получилась
Но за 3 года как минимум появилось подкрепление из интернета.
Галлюцинации никуда не уйдут из-за природы AI, но и полностью не доверять тоже не стоит.
Скорее надо научиться понимать где проблем может быть больше.
В чатах нейросетей мне не хватает их оценки своего же ответа - процент того, насколько нейросеть в своем ответе уверена
...и этот процент тоже будет нагаллюцинирован.
У меня, так же, понял окончательно, что подпись во всех ИИ: "Перепроверяйте, факты, у нас ИИ и он может допускать ошибки", это очень правильная подпись. Поэтому, только, чтобы человек решающий через ИИ свою задачу - знал, хотя бы базово по задаче информацию и факты и направлял ИИ в нужное русло и перепроверял его, тоже участвуя в процессе. Либо, если новая задача, то сначала в более быстром режиме - изучал через ИИ вопрос, но так же корректируя и проверяя.
И по факту, получается, что мы сейчас во многом - обучаем ИИ, направляя его, ставя ему лайки за понравившиеся нам ответы и развивая его, об этом мало кто думает, но по факту, это так. Создатели ИИ, по-сути, пользуются людьми, для развития своего продукта - представляя, все это, маркетингово, как наоборот, помощь и еще и умудряясь, при этом деньги зарабатывать за такие тесты. Да, работа ускоряется, но теряется человеческое взаимодействие, когда, работники уходят от типа взаимодействия человек-человек, к типу взаимодействия: человек-ии и вроде бы, в будущем сократятся ошибки, когда мы обучим ии но главный вопрос: так ли нужен этот прогресс, вот в таком виде? В любом случае, что-то, чего раньше не было - может придумать только человек а ии на данный момент это ускоренный поисковик+набор базовых инструментов для расчетов и похожих операций и в плане идей - он лишь задействует источники из интернета. В целом, не так уж и нужен был такой прогресс. У людей будет меньше работы, у тех у кого только базовые знания, те операции которые сейчас делает ии. Люди, тоже допускали много ошибок, но по крайней мере - сохранялась база социума, одна из, рабочее взаимодействие между людьми. Сейчас, количество такого взаимодействия - сокращается. А, так ли нужен прогресс, который приходит вместо этого? Ну, будет в итоге больше роботов, те же роботы-курьеры вместо людей на мото-транспорте? Человек, будет только меньше двигаться, в итоге, меньше общаться друг с другом. Ну, будет все быстрее а такой ли ценой это нужно? Креативные идеи, которых раньше еще не было, люди и так будут придумывать, чего пока не может делать ии, который руководствуется лишь источниками и базами. Медленнее, это делал бы человек без таких инструментов-ускорителей, но тоже, считаю что спешка, такие искусственные ускорители, это ни к чему в глобальном плане. Сейчас, на базовых операциях, возможно - но, дальше, доводить до такого состояния чтобы была до 90% роботизация, это больше минусов для человечества.
Причина — в архитектуре. ChatGPT работает с вероятностями: предсказывает, какое слово должно следовать за предыдущим. Модель не проверяет факты, не обращается к источникам напрямую. Когда документ большой, окно контекста ограничено — модель читает начало и конец, а середину может пропустить.
А как здесь rag помогает? Он же просто контекст обогащает. А пробовали сравнивать с вашей подробной инструкцией с rag или без rag а целиком снип загрузить?
Если информация есть, то и придумывать/вспоминать ее не надо.
>> А как здесь rag помогает?
Воспримем ллм как очень хорошего болтуна, который прочел кучу книг.
Предположим, что сказку про золотую рыбку этот болтун не читал.
Тогда, подсунув ему чанк «жил старик со своею старухой у самого синего моря» и задав ему вопрос «с кем жил старик?» модель сможет сгенерить ответ.
Магия начинается, когда появляется проблема нарезки на чанки. Потому что во всяких инструкциях, положениях и т.д. возникает соблазн попилить по параграфам или пунктам. Но быстро выясняется, что пункт 123 по тексту ссылается на пункт 12 и это все запутывает.
Решением выглядит построение онтологий (графов зависимостей), но это прям дорого (в плане времени). Хотя, возможно, уде с помощью тех же ллм онтологии тоже пытаются строить.
в том то и проблема, LLM не поисковая система, она натренирована собирать идеальные статистические ответы, и точные цифры - проблема, используя RAG вы можете заполнить слабые места (точные данные), а модель на их основе построит идеальный (статистически) ответ.
Не знаю кто там чем занимался, но собрать датасет и сделать UI, задача на пару дней. Чанки вручную нарезать, это какой-то бред.
Вот-вот! Мне тоже объём трудозатрат на реализацию совершенно чрезмерным показался. Я больше со стороны управления разработкой сужу, чем со стороны непосредственно разработки. И мне по описанию проделаной работы показалось, что обычное создание подобного инструмента обычной командой разработки без использования БЯМ заняло бы меньше времени и затрат.
Интересно - сколько пресловутых человеко-часов (человеко-дней) команда автора потратила на полную реализацию? Если знать цифру - то можно вполне предметно сравнить, плюс-минус лапоть, с обычной реализацией, без применения БЯМ.
Есть сомнительная польза, например, - натуральный язык запросов. Такое просто детерментированно не сделать. Но, честно говоря, гораздо проще было бы использовать LLM для построения структурированного запроса, который гарантированно бы нашел цитаты, а там уже - можно и оценку точности ответа делать. Но, в принципе, это дает аналогичные трудозатраты.
В целом, все эти подходы к LLM становятся полезными, когда понимаешь, что в какой-то момент сдвинешься и дальше СНИПов/ГОСТов. Мой любимый пример сейчас - http://consensus.app/ , который не просто поиск по пабмеду, но еще и некий суммаризатор, который позволяет отвечать на вопросы и гипиотезы (ну, точнее, находить референсы - но это так)
Полгода команда вручную разбивала документы на логические куски — чанки
Теперь надо завести отдельную команду которая будет эти чанки вручную искать, и ещё одну которая будет их вручную читать и потом писать ответ пользователю.
У бабы не было хлопот, купила баба порося...😁
Круто, что сделали инженерно: база, версии, проверки - и ИИ сразу становится нормальным интерфейсом к документам.
Похоже на рекламу тк полезной информации ноль
А если будут изменения в нормативы, что придётся переделывать?
Попробуй NoteBookLM - он заточен именно на работу с документацией
RAG решений много на рынке уже, посмотрите Fractal TehcDocs специально для работы с документацией компаний и ГОСТами - там хотя бы есть чекинг галлюцинаций внутри, и размышление внутри которого делаются перепроверки фактов.
Этот стартап 2е место на хакатоне ОМК (металлургическая компания) получил тк 100% правильных и полных ответов дал по тех документации на вопросы о параметрах труб.
Также, автору важно было бы думаю обратить внимание на ИИ-агентов, решающих математические задачи, например у нас в сервисе есть Мат. агент, который вызывается, когда требуется выполнить арифметические действия, расчет статистики, решить уравнение и тп. Он строит план решения и создает формулы. Формулы затем отображаются корректно в генерируемом word файле. В общем поглядите https://mas.fractalagents.ai/
Есть стартап nozamio вроде бы он решает такую проблему. https://www.nozomio.com/
Ё-моё. Вот почему все думают, что разобраться с семантикой документов в общем случае – это проще, чем вручную своим умом изучить строительные стандарты? Плод курсов питона за две недели?
Вряд ли Вам поможет продукт из статьи, если у Вас нет соответствующего образования. Эта штука - не замена инженеру, а поисковик для него, и учитывая размеры всех документов - безусловно нужный. Можно в целом вручную своим умом зазубрить все-все-все числа, формулы, нормативы, но человеческая память имеет свойство подводить, увы, мы время от времени что-то можем забывать.
Поисковик – вещь полезная, но большая языковая модель не является поисковиком в рассматриваемом смысле и не может заменить обращения непосредственно к тексту стандартов.
Кстати, и сами государственные стандарты прямо запрещают даже неавторизованное воспроизведение, а уж тем более выпуск неких производных стандартосодержащих продуктов.
Так, и что Вы предлагаете? Так и оставаться на архаичном уровне поиска "содержит"/"не содержит"? Может откатимся до поиска по бумажным средствам, т.к. оцифровка документов - уже воспроизведение? Средства автоматизации будут развиваться, и БЯМ здесь только лишь инструмент, предоставляющий новые возможности. Даже если эта попытка окажется неудачной и результаты будут неточными, это не значит, что не нужно предпринимать другие попытки упростить возможности поиска и доступа к информации.
Я предлагаю не пытаться кавалерийским наскоком решить сложнейшую задачу, которую пока безуспешно решают лучшие умы человечества. И не думать, что в российских и зарубежных институтах по стандартизации работают идиоты, которые были бы не в состоянии сами намонстрячить промптик к LLM, если бы это имело какой-то смысл.
Сколько их ждать? Вот эта конкретная задача по упрощению доступа к строительной документации есть вообще в планах? Может они сейчас занимаются такой же работой над ГОСТом? А если они этим сейчас вообще не занимаются - кто, как и когда им поставит эту задачу?
Бизнес решает свою бизнес-задачу - упростить поиск по документации, задача стара как вся бюрократия. Почему бизнесу в этом случае хотя бы даже для себя запрещено или не комильфо так делать - я так и не понял из Ваших слов. Судя по тому, что пишет автор - на это решение даже есть спрос другого бизнеса, то есть задача-то актуальная, но желающих институтов решить это я как-то не видел.
Почему бизнесу в этом случае хотя бы даже для себя запрещено или не комильфо так делать - я так и не понял из Ваших слов.
Потому что, когда в результате замены нормоконтроля большой языковой моделью будут неправильно интерпретированы строительные стандарты и построенное здание обрушится, будут человеческие жертвы. И наказание сотрудников, поставивших подписи в рамке под галлюцинациями LLM (а также выдавших таким людям сертификат ГОСТ Р ИСО 9001), жизни жертв не вернёт.
Это был ответ по существу. А формально – порядок применения ГОСТов описан в ГОСТах, а порядок применения ИИ в лицензируемых областях описан в "Национальной стратегии...".
Вся статья про это - максимально снизить ошибки и галлюцинации чатаГПТ, Вы как будто не читали. Тут даже написано про то, какой подход к этому был использован, можете повторить. Так или иначе - задачи бизнеса будут решаться бизнесом, а не какими-то институтами в вакууме. За безопасностью и надежностью построек должен следить Госстройнадзор, за ним последнее слово, т.к. именно их инспекция проверяет (должна проверять) перед вводом в эксплуатацию уже выполненные строения, а соответственно и несет за это свою долю ответственности.
Иначе говоря - бизнесу невыгодно, чтобы решение в виде поисковика на базе чатаГПТ выдавало неверные результаты, иначе построенное здание не получится сдать как есть.
Боюсь, что чатгопота не будет консультироваться с бизнесом, какие результаты выдавать.
Это прекрасный ответ, позволите его считать как "конец аргументов"?
Еще раз говорю, даже если эта попытка неудачна - решение постановки галлюцинаций и ошибок под контроль и их сокращение любыми способами будут искать, независимо от того, нравится Вам это или нет. Автор предложил что-то рабочее (по его конечно же словам) и ему нести ответственность за сказанное, предложенное и проданное. Но не думаю, что его удача или неудача должна ставить крест на разработках в этом направлении в целом. Спрос по словам автора есть, а значит и будет предложение. Нам здесь в каком-то смысле повезло немного узнать, как автор реализовал свое предложение технически, а значит можно попробовать это самостоятельно.
Да и в конце концов, люди запускают беспилотные автомобили и такси - а ведь они тоже управляются нейросетями, не LLM конечно, но в целом на базе тех же технологий, а значит тоже подвержены ошибкам. И здесь риски намного выше, ведь здесь ИИ - это не поисковик, а водитель - то есть он здесь не справочник, а принимающий решения. Я так полагаю, Вы и этот прогресс считаете недопустимым?
Ну можно и философский камень искать, но без ядерного реактора трансмутация, тем не менее, недостижима. В отличие от вас и автора, я имею образование и опыт работы в области ИИ, и заранее знаю, чем закончатся попытки "постановки галлюцинаций под контроль".
Да и в конце концов, люди запускают беспилотные автомобили и такси
Да. Конкретно мой одногруппник в институте этим занимался.
- а ведь они тоже управляются нейросетями,
Нет.
То есть использование CNN и RNN для распознавания и прогнозирования движения объектов, определения границ полотна и разметок - это не участие нейросетей в управлении? Да, я конечно слегка перебарщиваю, общее управление всё же сейчас осуществляют классические алгоритмы, но это не исключает нейросети из всего процесса. Изучите пожалуйста вопрос не только со слов одногрупника.
И раз у Вас образование, опыт работы, много компетенций - где тогда Ваши внятные аргументы по существу-то? Я вижу только выпады вида "это всё опасно", "чатгопота с вами консультироваться не будет". Где аргументы вида "подход автора бесполезен потому что точность работы RAG еще ниже, чем у ChatGPT" или "подход автора к организации процесса плох в этом и том месте" ?
То есть использование CNN и RNN для распознавания и прогнозирования движения объектов, определения границ полотна и разметок - это не участие нейросетей в управлении?
Нет. Это использование нейросетей для обработки изображений, что практикуется уж лет 50 как, и к языковым моделям не имеет никакого отношения. Ещё мой преподаватель по ИИ делал это для советских крылатых ракет.
аргументы по существу-то
Аргумент по существу такой: "читайте книжки, они рулез" ©
Так, и как 50 лет практики обработки изображений отменяет фактор возможных ошибок таких нейросетей? Я напомню, что это глаза основного алгоритма, который будет принимать решения, и последствия ошибок действительно есть - Теслы разбивались на автопилотах не единожды.
А с такой позицией и аргументами спорить - только портить.
Ошибки нейросетей всегда возможны, в том числе и у человека. В случае обработки изображения искусственные нейросети дают наилучшую возможную на данном этапе результативность и значительно превосходят человеческое зрение, так как задача обработки изображения – чисто синтаксический алгоритм, для которого такие системы годятся очень хорошо.
К задачам управления и другим вещам, связанным с семантикой, ИИ второго поколения непригоден в принципе.
Что касается автомобилей Tesla, то они, безусловно, не являются наилучшей практикой в области применения автопилотирования. Однако замечу, что ДТП возможны даже в случае идеального управления. При этом вопрос, что делать, если вам в лоб едет Камаз с пьяным водителем, не имеет никакого отношения к обсуждаемой в статье задаче, для которой оптимальный алгоритм, очевидно, существует.
Цепочка принятия решений в случае с поисковиком на подобие решения автора статьи:
Запрос инженера - работа RAG и ChatGPT - обработка инженером - проверка приемкой со стороны государственных органов
Здесь, как можно заметить, и с левой стороны от нейросети, и с правой - есть люди, которые как задают осмысленные вопросы, так и могут проверить и перепроверить ответы. И сразу скажу, что это так или иначе - профессионалы с соответствующим образованием, для людей без образования ни поисковик, ни документация сама по себе не скажет ничего полезного.
Цепочка принятия решений в случае с автопилотом машины:
Запрос классического алгоритма - работа различных вариантов нейросетей (CNN/RNN, а где-то и GNN, DRL, GAN - они ведь тоже второго поколения) для построения общей картины - обработка этой картины алгоритмом - дальнейшее принятие решений алгоритмом
А вот в этой цепочке человек вообще не участвует, никак не проверяет решения (разве что построение маршрута перед поездкой), в случае с Теслой - человек может лишь прервать исполнение уже принятого машиной решения.
Параллель с автопилотом я привожу, потому что Вы указываете на небезопасность решения автора из-за галлюцинаций при условии контроля человека, но в почему-то с Теслой вы утверждаете, что её ситуация не имеет ничего общего, хотя и там, и тут решением проблемы занимается бизнес, разного масштаба, но бизнес, а не пресловутые институты/университеты/политехи.
решение постановки галлюцинаций и ошибок под контроль и их сокращение любыми способами
Вопрос же не в этом. А в том, кто сидеть будет.
Для вас может новость, но подпись в акте КС-14 не имеет срока давности. И сесть в тюрьму можно и через 15 лет, когда вы уже забыли под чем подписались.
Отрасль проетирования не даром содержит обязательные экспертизы проектов и жестко регламентируется.
Приложухой по снипам и гостам вполне можно было обойтись, а для того что натворил автор еще нужно "досканить" всю теорбазу по строительству(исходники для получения и расчета нормативов и требований), а это посути родить киберинженера)))
Возможно доживем, когда инфа исходников будет изначально заводиться в цифровом(адаптивном) формате, как это делаетмя в кад системах, тогда и "сканить" отпадет нужда...переходный период такой
Вот именно, что обязательные экспертизы нивелируют возможности каких-то грубых ошибок, да и сам инженер заинтересован в перепроверке своих расчетов. Тем более что это инструмент для профильного инженера, еще раз повторю - инструмент для профильного инженера. НЕ замена инженера, а инструмент для него. То есть откровенную глупость инженер и сам увидит, если нет - есть еще слои безопасности в виде его коллег и строительных экспертиз.
Я лично предлагаю использовать elasticsearch у которого есть куча разных вариантов как проиндексировать документы и искать по ним.
сами государственные стандарты прямо запрещают даже неавторизованное воспроизведение
Сами государственные стандарты как любые нормативные акты нисколько не запрещают себя воспроизводить. Запрещают жулики, присосавшиеся к "официальной" публикации текстов стандартов и "запрещающие" воспроизводить свои "официальные" издания, а не сами тексты стандартов, но делающие это так витиевато, что у человека не в теме создается впечатление, будто он имеет право только купить текст стандарта и только в виде "официальной публикации", а за скачивание оного в Тырнете его ждет копирастический трибунал, расстрел и общая могила, что есть ложь.
А потом появляются перлы типа "оптимальным режимом вспашки является вспашка плугом на глубину 2 метра, со скоростью 75 км/ч"... Одним из важных преимуществ, даваемых глубокими знаниями, является понимание границ. Когда, как в задачках по физике "математически решений четыре, но физический смысл имеет только одно из них, поэтому остальные можно отбросить" или "технически, на неизвестное число делить нехорошо, но мы точно знаем, что там не ноль, поэтому можно"
Всё так, регулярно вижу это в прочностных расчётах в пакетах типа ANSYS. Студент посчитал что-то в рамках лабораторной или курсовой, а знаний, чтобы оценить правдоподобность результата, у него не хватает. И метровая балка у него под нагрузкой прогибается на два метра.
А как вам задача про двух пешеходов которые по расчету сближаются со скоростью более 100 км/ч? И ведь формально правильно. А то что с нулями в задачнике опечатка, то студента формально не интересует. Усэйн Болт, со своими 45км/ч, просто в пролете.
С появлением ML/LLM это просто мультиплицируется.
История из жизни:
Когда в Новосибирске строили метромост через Обь (это 1985 год), то его с левого берега было решено надвигать на быки, наращивая секции. Когда метростоевцы дошли до первого быка, то обнаружилось, что верхняя кромка секций моста упирается в него. Пришлось сооружать дополнительную опору, которая приподняла пролёт на нужную высоту. Подозреваю, что все расчёты велись без использования ИИ, по справочникам)
Хехе, а у меня обратный пример, когда пошел после универа на завод и мне нужно было спроектировать траверсу для подъема автомобиля Урал, начальник хотел потолще швеллер взять, а команда хотела такую, чтобы можно поднимать хотя бы вчетвером.
Я что-то насчитал в ансисе и попробовал завалилировать результат. Мне никто не смог помочь, я приставал ко многим старшим инженерам, вроде до главно инженера доходил. И все говорили, что мол надо искать справочник красных мячиков или разные госты/регистр перекопать.
И только один начальник соседнего отдела, он даже даже компьютером не умел пользоваться, но сразу подсказал, что возникаемые напряжения должны быть не больше предела текучести * запас прочности. Ну и быстро на кульмане прикинул и рассчитал основные балки, завалилировав мои результаты.
Вроде бы не такие уж сложные эти все стандарты и нормативы для понимания человеком, просто нет адекватных калькуляторов с наглядными интерфейсами.
Вот не думаю, что без спец системы нейронка посчитает какую-нибудь случайную ферму, если только не возьмёт из справочника.
Если инженеры думать разучатся теперь с такими сервисами, что ж будет-то...
За фермы не скажу, но развесовку считает вполне норм.
То есть задача - некий груз со смещённым центром масс стоит на нескольких одинаковых пружинах, надо найти нагрузку на каждую пружину. Дипсик с этом вполне справляется.
Или, например, расчёт солтовых осединений. "Найди напряжение, если на 12 болтов М10 действует сила 3 тонны" - "А теперь замени болты на М12" - "А теперь верни М10, но 8 болтов". Бывает быстрее, чем вручную считать, особенно если резьбы нестандартные.
А вот когда мне понадобились характеристики некоторых редких сплавов - ровно как и у автора, начал выдумывать стандарты. Он даёт тебе ссылку на ГОСТ или ТУ, ты лезешь искать - а такого документа просто нет. Или он есть, но совсем про другое.
Многие люди не понимают, что ИИ, в нынешнем состоянии - не инженер, не юрист, не архитектор. Он не будет делать вашу работу.
ИИ - это консультант широкого профиля, ассистент, секретарь-референт. Он может предложить ценные идеи, попытаться что-то объяснить, накидать примерный план, демонстрационный код (который возможно будет работать), но не более.
Вполне себе более.
Он туповатый, но исполнительный работник, который и текст накидать может, и на калькуляторе посчитать, и много что ещё. Но поскольку он туповатый - за ним надо всегда перепроверять.
Ок, ИИ сделает вашу работу, если она тупая и с низкой ответственностью.
Всё так. И даже ответственность не особо обязательна, если есть контроль.
Точно так же как работников физического труда на производстве заменяют станки и роботы - так и работников умственного заменили сначала калькуляторы, потом компьютеры (была ж такая профессия - расчётчик, тупо сидеть и лопатить цифры). А теперь нейронки продолжают этот процесс.
Вот только калькулятор и компьютер в отличии от человека-расчетчика/ЛЛМ это детерминированный агрегат а не вероятностный. Сколько раз не вбивай в калькулятор одно и то же уровне ник, результат будет одним и тем же. В случае человека/ЛШМ не факт.
Ну и решают они немного разные задачи, детерминированные с ограниченным числом решений, или валидным ответом "бесконечность", и задачи в которых логика около "скоро должен приехать Петя и забрать заказ, организуй его передачу". Задача имеет бесконечное число решений, среди которых выкидывание коробки из окна в проезжающую машину. Но для вменяемого решения надо понять что за заказ, оценить вес, найти исполнителя который поможет перетащить коробку в машину Пети, и в конце концов определить, что такое "скоро" для эффективного планирования, а для этого нужно найти его контакт в записной книжке, и не перепутать Петр Дст с Петром Семёновичем, гендиректором другой конторы.
Очень много мест где такая простейшая задача может пойти не так и никакой калькулятор не даст детерминированного ответа на него. Пример жизненный для простоты понимания, однако LLM часто сейчас решают подобного рода многоуровневые задачи в рамках компьютера. Предложенную задачу, кстати, тоже могут решить. С определенной долей вероятности. Впрочем как и человек.
Если информация о том что "конкретно этот контакт часто занимается доставкой" есть у БЯМ, она выберет нужный контакт чтобы поинтересоваться точным временем приезда, а если нет - либо уточняющий вопрос задаст, либо действительно будет угадывать, или вообще примет решение, что не будет уточнять и просто раз в минуту будет мониторить сообщения, ожидая звонка от нужного/неизвестного контакта, что, в общем и целом, не отличается от поведения недавно нанятой секретарши.
Ну не совсем согласен с такой аналогией.
Роботизированный станок точит деталь не хуже человека, за ним не нужен какой-то дополнительный контроль. Он выдает предсказуемую точность и производительность.
Калькулятор считает не хуже человека-расчетчика, а даже лучше, и точнее.
ИИ-работу надо полностью проверять, каждую формулу, каждую цифру. Хорошо, если это художественный текст, там ошибки никто не заметит, да они и не критичны. А если это теплотехнический расчет здания, или проект редуктора крана? Чтобы это проверить, нужно подключать человека, его трудозатраты будут не намного меньше, чем если бы он сам с нуля делал, и где тут выгода?
Либо тут надо делать какой-то ИИ-верификатор, который будет искать ошибки, но это уже другая история.
Чтобы это проверить, нужно подключать человека, его трудозатраты будут не намного меньше, чем если бы он сам с нуля делал, и где тут выгода?
Выгода в том, что квалификация этого человека может быть ниже, чем того, кто делает с нуля. Проверить арифметические расчёты по известным формулам - много ума не надо.
Либо тут надо делать какой-то ИИ-верификатор, который будет искать ошибки, но это уже другая история.
Ну это и у станков есть. Обломился резец или ещё что - и делать вышла не та, что надо. Надо ставить КИМ для контроля или отдавать готовые детали на проверку ОТК.
Человек не может проверить работу выше своей квалификации.
С деталью просто, ее только измерить, а вот с расчетом нужно понимать, правильно ли выбрана каждая формула, верно ли подставлены табличные значения, при этом учитывать кучу специфических ньюансов, без опыта и знаний это невозможно, примерно как джуну давать код на ревью.
Проверить арифметические расчёты по известным формулам - много ума не надо.
Так и считать по формулам много ума не надо.
Про брак слышали? Станки делают брак, выходят из строя. У них внутри зачастую уже зашиты инструменты для калибрации и оценки состояния. Тоже самое появляется вокруг LLM, просто из-за природы задачи процесс по другому строится. Но ничего, всем этим технологиям много лет, а LLM-бум совсем недавно начался, и трансформеры не так давно появились на которых подобное вообще стало возможно построить, учёные попросту не успели ничего придумать, т.к. беспощадный бизнес увидел золотую жилу (и превратил всю сферу в пузырь своими действиями). Если не лопнет то в ближайшие годы появится стандартизация какая нибудь, а если лопнет то не в ближайшие, но все равно появится. Технология так то с большим потенциалом, если правильно озаботиться правильными вещами
Контроль качества того, что производит станок, давно придумали. Этот процесс можно автоматизировать, и следовательно, максимально удешевить.
А вот как контролировать качество продукта интеллектуального труда? Я пока не вижу простого и дешевого способа это сделать, кроме как продублировать человеком - но это не просто, и не дешево.
Нет в природе никакой "работы с низкой ответственностью". Никто за такую работу не заплатит ни копейки. Есть работники с низкой ответственностью, желательно от них избавляться.
Так как ассистент не будет выдумывать, а секретарю-референту можно снять премию. Потому ИИ - это сосед, который говорит, что за пару токенов он консультант широкого профиля!
И ты в связи со всем этим вышеупомянутым, решил доверить написание этой статьи чату GPT?
Пользуюсь ChatGPT каждый день - и для работы, и для личных нужд. Галлюцинации встречаются не так часто, как о них говорят, и обычно достаточно минимального понимания предметной области, чтобы их заметить.
На днях с сыном писали сочинение об Игоре Северянине. Что бы самим не сильно гуглить - заставили это делать ИИ. Он выдумал примерно треть )).
Правильный промт избавляет от многих проблем. ;)
Ну да: это как "в грамотно сформулированом вопросе уже содержится правильный ответ". Зачем тогда вообще этот недо-ИИ - утку, гугл и яндекс пока ещё не забанили.
«Вселенная? Жизнь? Смерть? Багрянец? Восемнадцать? Ответчик знал ответы на эти вопросы. Но ему требовался верно сформулированный вопрос. А чтобы верно сформулировать вопрос — нужно знать большую часть ответа.» ©
Да-да, знаем. Стоит написать «не галлюцинируй, перепроверяй всю информацию» и все волшебным образом начинает работать как надо :)
Сочинение от слова сочинять, интеллект семантически верно поступил
Писали сочинение мы с сыном. А ИИ задавали конкретные вопросы. Типа - "Какие произведения считаются самыми известными у Игоря Северянина?" Вот, например, цитата из ответа:
"..«Сон миллионщика» — знаменитое стихотворение, написанное в форме сна богатого человека, раскрывающего тщету материальных благ перед лицом духовной пустоты. .."
И, хотя ИИ привёл даже текст этого произведения, я ссылок ни в одной поисковой системе на него не нашёл... Я не знаток поэзии серебряного века, сущёствует ли такой стих - сказать не могу. Но подозреваю, что кто-то конкретно косячит: либо ИИ поисковиков, либо ИИ гигачата...
Я не знаток поэзии серебряного века
Вот в том-то и проблема: чтобы понять, насколько ИИ тупой, надо быть глубоким специалистом в вопросе, который был ему задан. А специалисту зачем спрашивать — он ответ и без кремниевых знает.
Проверил - вообще не такой ответ. У меня перечислил только реальные произведения и сборники. Вы точно пользуетесь последним Chat GPT, или это какой-нибудь бесплатный бот, с древним GPT-3.5, в телеге?
Бесплатный ChatGPT не выполняет операции с реальными данными, как делают Perplexity или Gemini Pro, а только ищет похожие вхождения у себя в индексе и никакой промт тут не поможет.
А нет ли в этой системе фундаментального недостатка в виде "мозга" функционирующего на вражеских чужих серверах? Ну, типа, захотели забанить или отключить и всё превращается в тыкву?
Более того, об этом прямо написано в "Национальной стратегии развития ИИ...", с которой, как обычно, никто не дал себе труд хотя бы поверхностно познакомиться, клепая софт. И в общем-то неудивительно, что, если автору лень изучить ГОСТы непосредственно по строительству, то и хотя бы на основную нормативную базу по ИИ на уровне указов президента (не говоря уж о теоретических основах этого дела) у него тоже времени не нашлось.
Что "всё" превращается? Окей, отрубится вот этот условный поисковик по ГОСТам с произвольным форматом запросов, сами ГОСТы никуда не денутся. Это будет исключительно коммерческая проблема между компанией автора статьи и его клиентами.
Так все говорят, пока не грохнулось. А потом почему-то начинают ссылаться на форс-мажор, чтобы не платить клиентам неустойку.
А потом раз — и обаньки.
— Извинит, система временно не работает: мы
Ключевое тут это нормализация текстов и извлечение по запросу ллмки или заранее рагом.
Сама ломка можно хоть от сбера взять, хоть от китайцев. Или открытое себе поставить, если бабло есть.
В единственной ссылке в тексте - телеграмм-канал с какой-то нейродевахой на этикетке, явно не Алексей Кривоносов. Заходить, разумеется, не стал. Можно мне ссылку на оригинальный продукт Алексея Кривоносова?
А противопожарные нормы (СП 1-10, 12, ФЗ-123, ППР и пр.) Вы тоже скармливаете своей нейросетке или это не Ваша тема?
Так вот почему новостройках холодно! Специалисты некачественно гуглили
Потому что нефиг ChatGPT использовать 😌
Claude Opus 💯
Ведь можно же было сделать нормально. Дать LLM доступ к базе документации, сказать найти нужное и дать ссылку, по ссылке прочитать в базе самому. В результате того, чего там нет, она никак не найдёт...
По 238-й будет отвечать ИИшка)0
Во-первых. Какая версия CGPT использовалась? Галлюцинаций сейчас ощутимо меньше, чем год назад, и уж тем более, чем два года.
Во-вторых. Какой промпт был? Насколько точно изначально ИИ был направлен? Если просто "толщина утеплителя", то и ответ может быть корявым.
А как был устроен векторный поиск? Это какой-то готовый модуль или что-то кастомное?
Больше похоже на рекламу своего продукта, хотя идея безусловно интересная. Противоречивость законодательства, не машинно читаемые и тем более не машинно понимаемые форматы, регулирование одних и тех же вопросов разными органами власти осложняют корректную работу llm. Нанософт на последней конференции говорил о примерно 80% точности работы аналогичной системы.
Автоматическая обработка PDF не работает качественно: сканы с таблицами распознаются с ошибками
Интересно, какие инструменты пробовали использовать? Неужели, ABBYY и их конкуренты за столько лет не запилили приличную распознавалку?
Я помню как синдром википедии однажды занёс меня почитать ГОСТ на сгущёное молоко и что-то я там параллельно про это спрашивал у рандомной ГПТ. Так они то пунктов допридумывают в нём, то контент из соседних разделов указывают и так далее. Так что как базой знаний говорилку не назовёшь.
А зачем использовать фотоапарат для забивания гвоздей? Если нужна база знаний по госту и поисковик по нему, зачем использовать именно ллм?
чтобы он сам там всё нашел и свел в единый проект
так человек бы 7 дней проект делал, а ЛЛМ за 15 минут и его перепроверить 1 день
очевидно же
p.s. а в идеале и проверяльщика уволить и заменить на ллм...то вообще проекты по клику можно делать без людей
Да и архитекторы (которые в строительстве) не нужны уже.
И в принципе все вот эти стройнормативы можно выбросить.
Сгенерить нормативы, архпроект и документацию потом за 5 сек.
Да и план строительства, договоры с подрядчиками, фин. план тоже сгенерить.
Голова на то и дана, чтобы в нее есть.
Когда безошибочность главный приоритет, то на новый новый инструмент нужно переходить когда безошибочность нового сравнится со старым в приемлемых маштабах. Очевидно же.
Надо было просто пользоваться NotebookLM Google с погрузкой своих источников. Галлюцинаций 0
Героическое решение уже давно решённой проблемы, поздравляю! GPT-5.2 отлично ищёт информацию в интернете, хоть делает это весьма долго (несколько минут), так как проверяет каждый мало-мальски важный факт, чтобы избежать галлюцинаций. Может надо почаще выбираться из танка, чтобы не изобретать велосипед?
Согласен. Тоже остался в недоумении почему используется старая версия ChatGPT, тогда как 5.2 на дворе. Режим Thinking + Extended = профит. И по-моему такого рода задачи уже решаются без проблем. Тоже часто работаю с нормативными документами в области электроники и ChatGPT порой ускоряет поиск нужной фактологии в разы.
Почему-то ожидалась концовка в стиле "А потом пришло государство в лице АО "_____", бенефициаром которого является кум жены министра, и забрало готовый отлаженный бизнес. А будете возмущаться - скажем что вы использовали бесплатный доступ к интеллектуальным ресурсам (ночные подключения) с целью извлечения прибыли".
Я слышал, что для решения именно этой проблемы народ использует Context7 и он очень популярен. Впрочем не вникал в детали.
Чел, я конфигурацию hyprland не мог установить по гайду от ИИ, при чем ошибались одинаково как chatgpt так и gemini, а ошибка их была ультой они просто не смотрели актуальные данные при чем даже после написания об этом, в ты решил в строительстве его применять
Фух, мы в безопасности.
Вы изобрели NotebookLm?
В строительстве цена ошибки слишком высокая, чтобы верить вероятностным ответам
Может я псих, но что-то не хочется мне заказывать строительсво у таких людей.
Скоро уже ничему нельзя будет верить.
В таких вопросах, наверное, либо сидеть ГОСТы читать, либо использовать/делать экспертные системы. И то, и то сложно и не весело в отличие от ллм, куда залил 15 документов и радуешься ответам идентичным правильным
Действительно, ИИ ещё слишком слаб и слишком раскручен, для того, чтобы делать что-то действительно стоящее. Но нужно отдать должное тем, кто словил "волну хайпа" с ИИ инструментами и зарабатывают на этом самом хайпе. Если честно, мне как человеку, пробующему "вайб-кодить" понравился результат, быстрый софт за сущие копейки, который выполняет свою функцию. Точнее результат нравился, до тех пор, пока не потребовалось расширение функционала и работа с инжереными решениями, и я снова не полез к чату с просьбами пофиксить и доработать... Результаты, увы, печальные, и лишь приводят к пониманию, что для серьезных задач - нужны серьезные специалисты, которые действительно думают, а не дают ответ, который понравится пользователю.
Но нужно отдать должное тем, кто словил "волну хайпа" с ИИ инструментами и зарабатывают на этом самом хайпе
Ну то есть продавцам слонов.
Тема огонь. Надо в онлайн выходить как Консультант+. Мну, как обыватель, весьма заинтересован в таком продукте, ибо когда строился, устал ловить прорабов/строителей на косяках и незнании СНИП/ГОСТОВ и тп - приходилось все самому предварительно искать и читать... Ну постараццо не продаццо комунить типа Сбер/ДомРФ и иже сними. 2Гис уже зафакапили...
Меня очерень интересуют 3 вещи:
Если выделает комерческий продукт, не думали взять кастомную локальную модель и на контексте её тренировать под себя. Чтобы она легче понимала пользователей а вы контролировали продукт?
Сделали вы систему на сущесвующих гост. Молодцы, дали пользователям удобный инструмент. А вы не думали создать команду оптимизации гостов? Добавления комментариев по нему? Гост такой то такой верный но лучше использовать другой потому то потому? Или посмотреть какие госты не нужны из-за излишнего дублирования? Какие не полные? Могут быть проблемы с терминами и определениями.
Госты вы сделали. ОСТы? Отдельные паспорта на другие материалы, конкретных производителей?
А пользоваться не чатом, где модель заточена вас хвалить и мотивировать и для генерации котиков в скафандрах, а профессиональным инструментом OpenAI? Есть же и API и просто вывести себе на сервер и дать контекста сколько хочешь напилить простейшую архитектуру и промт в мозги зашить нужный? Чо то орехи айфоном автор колол и в ранг открытия применения последнего поставил. Хотя залетел в ленту гугл... Воронку отработал)) 😉
Меня в работе с ИИ смущает, что даже когда специально просишь его не выдумывать, опираться на факты - он все равно выдумывает. Я бы сказал, что сейчас этот инструмент в целом уже имеет крайне высокий кредит недоверия, в важных запросах на него нельзя полагаться на 100%
Как доработка: собирать вопросы-ответы, ставить оценки и далее использовать уже готовое если вопрос такой же или похож.
Законы Мерфи уже упоминали?
"Если бы строители строили здания так же, как программисты пишут программы, первый залетевший дятел разрушил бы цивилизацию"
Не хотел бы я жить в доме, который спроектировал архитектор, использующий эту технологию.
Даже близко ходить не хотел-бы.
А в Лондоне человеки тем временем построили хитровывернутый небоскрёб, который случайно стал концентратором солнечных лучей, и теперь на тротуаре можно яичницу жарить
Я правильно понимаю - строитель подумал, что строить здания и строить программы одно и тоже? Не не, не хочу в такой дом. Если софт почти всегда прощает ошибки, то здания - нет. Почти никогда. Тестировать код можно бесконечно и в деве, а результаты будут в ИДЕешке, а вот здания - только в релизе и только 1 раз, а результат будет в новостях и газетах.
З.ы. Одно дело если инструмент воспринимался бы и был бы поисковиком. Но это ИИ и воспринимается как ИИ. Со всеми вытекающими.
А другие ИИ не пробовали использовать?
Я год доверял ChatGPT в строительстве, а потом он придумал ГОСТы