Я год доверял ChatGPT в строительстве, а потом он придумал ГОСТы

[UniInter]

Я еще три года назад понял, что фактологическим ответам нейросетей доверять нельзя. Потом уж появился термин "галлюцинация". В чатах нейросетей мне не хватает их оценки своего же ответа - процент того, насколько нейросеть в своем ответе уверена. На практике, если моя работа, сделанная с помощью ИИ, идет вовне, то обязательно перепроверяю факты. С программирование все строже и меньше вероятности попасть в лужу - ответ ИИ без проверки ну никак не обойдется. А придумать план, сгенерить идеи у них неплохо зачастую получается.

[ToniDoni]

Причина — в архитектуре. ChatGPT работает с вероятностями: предсказывает, какое слово должно следовать за предыдущим. Модель не проверяет факты, не обращается к источникам напрямую. Когда документ большой, окно контекста ограничено — модель читает начало и конец, а середину может пропустить.

А как здесь rag помогает? Он же просто контекст обогащает. А пробовали сравнивать с вашей подробной инструкцией с rag или без rag а целиком снип загрузить?

[ingeniare]

Не знаю кто там чем занимался, но собрать датасет и сделать UI, задача на пару дней. Чанки вручную нарезать, это какой-то бред.