Впервые с GPT-2 OpenAI выпустила open source модель под названием GPT-OSS (доступна здесь и здесь). Модель распространяется по лицензии Apache 2.0. В семействе модели на 20B и 120B параметров, при этом используется архитектура "экспертов", когда запускаются только те части модели, которые действительно нужны для ответа на вопрос. Благодаря этому, младшая версия идет на видеокартах с 16 ГБ памяти, а "старшей" требуется профессиональный ускоритель с 80 ГБ.
Модель поддерживает цепочку рассуждений, которую можно настраивать, регулируя скорость ответа. Цепочка рассуждений полностью читаема, что полезно для тонкой настройки модели. Как и в случае с закрытой GPT o3, в цепочке рассуждений доступен вызов инструментов вроде веб-поиска и Python. А вот мультимодальность отсутствует — графику и звук модель не понимает.
Но больше всего впечатляет производительность модели в популярных бенчмарках:
Старшая версия показывает уровень, близкий к передовым на данный момент моделям OpenAI o3 и o4-mini — а в AIME 2024 даже превосходит их. Младшая версия отстает незначительно — а ведь это модель, которую можно запустить на игровой видеокарте.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.