Аннотация
Крупные языковые модели (LLMs) демонстрируют впечатляющие возможности в рассуждениях и планировании при использовании методов, основанных на деревьях поиска. Однако, поскольку такие методы игнорируют предыдущий опыт поиска, они часто повторяют одни и те же ошибки. Для решения этой проблемы был предложен Reflection on search Trees (RoT) — фреймворк рефлексии для улучшения производительности методов подсказок, использующих деревья поиска.
RoT использует мощную языковую модель для создания рекомендаций на основе опыта предыдущего поиска, чтобы повысить возможности более слабой модели. Эти рекомендации представляют собой инструкции по решению задачи с использованием деревьев поиска, которые помогают избежать повторения прошлых ошибок.
Кроме того, был предложен новый метод выбора состояния, позволяющий выявлять ключевую информацию из истории поиска для создания более специфических и полезных рекомендаций. В ходе экспериментов было установлено, что RoT значительно улучшает производительность LLM при решении задач рассуждений и планирования, используя различные методы подсказок на основе деревьев поиска, такие как BFS и MCTS.
Методы, не основанные на деревьях поиска, например Chain-of-Thought, также могут извлечь пользу из рекомендаций RoT, поскольку RoT предоставляет специфические для задачи знания, извлеченные из опыта поиска.