Обучение с подкреплением на основе обратной связи от человека (RLHF). История становления идеи. LLM, KL-контроль

[dilukhin]

Метафора с Шогготом учит нас, что учить надо начинать с копирования себя, своих понятий и установок и лишь затем постепенно кормить модель фильтрованной информацией извне. И лишь только хорошо сфомированный ИИ с "крепким желудком" можно выпускать пастись "на улицу", но никак не наоборот.

Примерно как с детьми.

[ioleynikov]

Ранее мне тоже казалось, что LLM вроде как бесполезны, но я нашел применение эмбеддингам слов и самой модели BERT. Расчеты близости векторов слов позволяют быстро найти все глаголы и другие сущности, связанные с заданной. Удобно то, что мы сразу получаем вероятность логических связей понятий и можем выстроить граф зависимостей или семантическую сеть. Сам BERT позволяет понять какая сущность может быть субъектом, а какая объектом. Самому искать все эти данные в текстовых корпусах очень нудное и не точное занятие. Удачи !