Comments 6
Это уже не тенденция, а более-менее обозначенная потребность бизнеса. В последней книге по RL (автора увы сейчас не вспомню, но на книге нарисован пингвин) автор во введении прямо пишет, что некоторые компании рассматривают RL, как способ сокращения штата ML инженеров.
Еще мне попадалось несколько статей схожей тематики. В одной из них рассматривалось обучение оптимизации, причем так же на примере регрессионных моделей. И оно работает. В другой хорошей обзорной статье рассматривалась применение RL (и ML по моему тоже) к задаче целочисленного линейного программирования.
Короче, надо налегать на RL.
Многие новые языковые модели облучаются на данных, сгенерированных другими языковыми моделями. Причём, для тех же instuct моделей, учёные просят LLM сначала написать задачу, потом просят её же эту задачу решить и на основании получившегося датасета тренируют новые модели) Так было с microsoft/phi вроде.
Вот когда хотя бы что нибудь смешанное из двух базовых функций (синус+квадрат например) сможет оптимизировать на задаче из миллиона точек - тогда и поговорим. А на основе решения того, что и ребенок осилит руками делать выводы о "пугающей тенденции" - ну камон, не слишком серьезно
Больше про линейную регрессию - действительно на википедии. Кстати я являюсь автором иллюстрации. Эта иллюстрацию сгенерирована программой. Буду рад комитам, там есть что улучшить. В частности я думаю добавить опционально включение сетки... Также надо подумать что происходит с длинной линии...
Всегда было интересно какие прикладные применения могут быть у таких задачек ?
Как определяют при R&d что нужна такая оптимизация ? Берут в команду человека который погружён в математику или заказывают институту исследование?
LLM как оптимизатор для задачи линейной регрессии