Microsoft представила новый метод обучения искусственного интеллекта под названием «Алгоритм мышления» (AoT), предназначенный для того, чтобы сделать большие языковые модели, такие как ChatGPT, более близкими к человеческому мозгу по способностям к рассуждению.
Microsoft заявляет, что метод AoT потенциально может изменить правила игры, поскольку он «направляет языковую модель по более оптимизированному пути решения проблем». Подход использует «контекстное обучение», позволяя модели систематически исследовать различные решения задач.
«Методика находится на одном уровне с подходом с несколькими запросами, использующим расширенный поиск по дереву, — говорится в документе. — Наши результаты показывают, что обучение модели алгоритмом может привести к тому, что её производительность превзойдёт сам алгоритм».
Исследователи утверждают, что модель приобретает улучшенную «интуицию».
AoT устраняет ограничения современных методов контекстного обучения, таких как подход «Цепочка мыслей» (CoT). CoT иногда предоставляет неверные промежуточные шаги, тогда как AoT направляет модель, используя алгоритмические примеры для получения более надёжных результатов.
AoT объединяет интуитивное познание и организованные исследования. В исследовательской статье говорится, что «Алгоритм мышления» стремится «объединить эти аспекты, чтобы расширить возможности рассуждения в рамках LLM».
Microsoft заявляет, что этот гибридный метод позволяет модели преодолеть ограничения памяти человека, позволяя более комплексно анализировать идеи.
В отличие от линейного рассуждения CoT или метода «Древа мыслей» (ToT), AoT позволяет гибко рассматривать различные варианты решения подзадач, сохраняя эффективность с минимальными подсказками. Метод конкурирует с внешними инструментами поиска по дереву, эффективно балансируя затраты и вычисления. В целом, AoT представляет собой переход от контролируемого обучения к интеграции самого процесса поиска. Исследователи полагают, что благодаря будущим усовершенствованиям этот подход может позволить моделям эффективно решать сложные реальные проблемы.
Ранее исследователи Microsoft опубликовали 155-страничный отчёт, в котором объясняется, как языковая модель GPT-4 осваивает навыки человеческого мышления.
