Главные проблемы БЯМ (Больших языковых моделей):
Решение сложных логических проблем (Поиск неявно заданной информации)
Безопасность (Противодействие взломам и этичность поведения)
Галлюцинации (Генерация новой информации, которая не соответствует действительности)
Все проблемы комплексные, взаимно пересекающиеся. Когда решается сложная задача, мы ожидаем от модели чего-то нового, чего мы не знаем и не писали в запросе: то есть модель должна сгенерировать информацию, которая не представлена в запросе. Когда мы просим модель что-то найти, то ожидаем, что она напишет информацию, которая представлена в запросе. Часто сложная задача включает в себя поиск информации в запросе: тут уже видно противоречие, с которым сталкивается модель.