Комментарии 5
Здравствуйте! Спасибо за статью, было интересно прочитать про схожий опыт!
Парочка комментариев:
потому что ChatGPT не знает фактов, не отличает правду от вымысла и часто несет отсебятину.
Мы решали данную проблему простым промт инжинирингом, а именно просили LLM всегда проверять свой ответ, опираться на факты и предоставлять минимум два источника, откуда она брала информацию.
иногда ответы в тестах получаются слишком простыми и очевидными. И методисты на это жалуются — им приходится редактировать тесты вручную и усложнять их.
Согласен, но и тут можно задать базовую сложность задания на подходящем примере.
У нас сейчас главная проблема - люди которые будут представлять материал аудитории знают о том, что он создан моделью. Отсюда и вечные "допиливания" до человеческого стиля письма на месте.
Добрый день! Спасибо за комментарии ?
На момент написание статьи промтинг повышал качество ответов, но с источниками тоже встречались галлюцинации (по ссылке не то или 404), но скорее редко, чем нет. В итоге на сейчас мы ушли в достаточно сложный инструмент (о котором можем написать позже), который может работать напрямую с указанными нами источниками и возвращать нам ответ опираясь на факты только от туда. Напишите, если интересно, расскажем.
Со сложностью в целом нормально работает указание уровня навыков учеников и сложность заданий, да. Проблемы встречаются только на начальных уровнях в английском и, например, арифметике для дошкольников. То есть легкие задания по мнению LLM на самом деле сложнее чем мы просили. Тут помогает просить сделать легче несколько раз.
Как решаете проблему «допиливания» сейчас?
В итоге на сейчас мы ушли в достаточно сложный инструмент (о котором можем написать позже), который может работать напрямую с указанными нами источниками и возвращать нам ответ опираясь на факты только от туда. Напишите, если интересно, расскажем.
Методология указания "правильных" источников, нам конечно известна, но не всегда применима. Но прочитать про схожий опыт всегда интересно, так что да:)
Как решаете проблему «допиливания» сейчас?
Единственный действенный метод на сейчас, к сожалению, только административный. Но в группе, в которой ручные правки стилистики (ошибки конечно править и можно и нужно) остались - видим явное снижение правок. Предполагаю, что это связано с обычным привыканием, как и со всем новым :)
А не пробовали задавать стиль повествования в промте? Не текстовым описанием, а прямо примером для подражания: "Напиши в стиле как в абзаце ниже: {абзац текста в правильном стиле}" 4turbo уже весьма неплохо справлялась с такой задаче, 4о — делает это еще лучше. Мне few-shot регулярно помогает получить нужный результат. Чаще всего используем, когда надо повторить разметку а ля html, но свою внутреннюю.
Да‑да! Так тоже делаем, в телеграмм‑боте Skyeng есть такие опции и там под капотом как раз похожие промты.
Как AI меняет образование здесь и сейчас