Comments 10
Интересный момент. Когда gpt думает - ассоциирует себя с "мы" ("thinking": "We need ...", "we should"). Это и есть тот самый mix of experts - несколько разно-обученных моделей под капотом?
Нет, MOE это скорее по аналогии с разными областями в человеческом мозгу. Для разных процессов у вас задействованы разные области, каждая специализируется на своей функциональной области. А вместе это единый мозг. То, что мозг задействует разные области в разное время и для разных задач не говорит о том, что мы себя воспринимаем как множественность Я. Я имею в виду здоровых людей.
Это всего лишь следствие перенятия "публицистического" стиля, где зачастую текст пишется от второго лица. То есть, (мы) представим, (нам) нужно подумать.
Да, думаю это особенность идет из chain-of-thought, где идет подбор "коллегиального" ответа!
И для чего ее использовать? На моей 7900xtx работает быстро, а толку. Тестил на анализе документах и книг. Галюны пошли с первых промтов.
Здравствуйте, Дмитрий, а вы пробовали реальные философские вопросы задавать? Дело в том, что я - да) https://habr.com/ru/companies/spbu/articles/851090/ Могли бы что-то вместе сделать
Автор, отличное начало, но хочется продолжение. Чтобы полностью покрыть технические особенности (time to first token, vram, tps) нужно тестировать с разным набором параметров. Доступное окно контекста влияет на заполнение VRAM, фактически заполненное контекста влияет на TPS и time to first token. Очень хочется посмотреть на результаты такого тестирования.
А попробуйте кстати спросить большую модель мнение о своей статье, что скажет? Какие метрики посоветует оценить?
Мне кажется, было бы куда интереснее увидеть ответы модели на загадку, нежели унылое сравнение дедлайна.
GPT-OSS-20B / 120B: Сухие цифры после реальных тестов