Устроил маленьким моделям проектный институт: слабой деление на разделы дало вчетверо, рой пять пунктов

[ToxaBes]

Спасибо за статью, только пожалуйста, вычищайте ИИ-слоп чуть детальнее, глаз цепляется.

Теперь по вашим экспериментам, то что вы сделали называется ансамбль моделей. И вы правильно нащупали направление поиска. Я могу сэкономить вам время на исследования этой части.

Если вы начнете поднимать размеры моделей в ансамбле до 9B-12B, то качество на ряде задач дойдет до Opus 3.5. Но дальнейшее повышение размера не будет давать прироста, граница проходит примерно на 25B-35B в зависимости от домена задач.

На этом уровне информационной емкости модели достаточно чтобы заработал имаго подход, те LoRA-адаптация самой модели к конкретным доменам за счет смещения весов. Т.е. ансамбль моделей вырождается в одну адаптированную модель с качеством уровня Opus 4.8-5 на выбранных доменах задач.

Спуск обратно вниз, те адаптация моделей меньшего размера не дает устойчивого эффекта, на 9B-12B еще можно иногда получить хорошие результаты, но это лотерея из-за малой информационной емкости (размера), а на еще меньших моделях это просто не имеет смысла.

Перспективный путь сейчас заключается в создании ансамбля адаптированных моделей размера ~30B к разным доменам, но я его пока не исследовал т. к. одной правильно адаптированной модели для моих задач достаточно, а на масштабные исследования просто нет времени, нужно работу работать.

Как-то так.

[DeadAtreides]

Знаю, тоже мерял и к тому же пришел. Про это следующая статья будет. Что ни один организм кроме родного обученного роутера не может быть лучше.

[ToxaBes]

Тогда жду статью, с удовольствием почитаю.

[funca]

ГИП делит объект на разделы: тепломеханика, электрика, строители, автоматика и так далее, каждый раздел ведет свой отдел.

Смыс как бы не в отдельности, а в специализации. У вас на работе есть профессионалы с глубокими знаниями - каждый в своей области. Когда специалист берет документ, он уже заранее знает что будет в нем искать - ключевые для себя слова, смыслы и т.п. Совместная деятельность при правильном управлении даёт эффект эмеджентности.

Мелкие универсальные модели это серая толпа, которая может говорить обо всем, но в деталях не знает ни чего. Рой это стадо одинаково безмозглых агентов. Отделы - точно такие же стада, только поменьше. Результат закономерен.

[DeadAtreides]

Именно так. И тоже пробовалось. Но эмерджентность все равно не наступила. Единственное, что положительно повлияло так это декомпозиция. Что я и замерил, о чем и статья. Возможно дело в слишком слабых моделях с слишком близкими базами. Но иные мне недоступны.

[funca]

Чтобы эффект эмеджентности проявился нужно несколько специализированных моделей, обученных каждая в своей области. Мне кажется это называется MoE.

[DeadAtreides]

именно. я же хотел найти универсальное внешнее решение для любых исходных моделей

[innokentyBo]

Спасибо за честную фиксацию не только результата, но и ошибочного вердикта 34/40. Для меня здесь главный вывод даже не про слабые модели, а про корректную единицу сравнения: разбиение задачи дало почти весь прирост, а «рой» добавил пять пунктов только после выравнивания условий. В следующем полигоне со связанными разделами особенно интересно будет разделить пользу декомпозиции и пользу междисциплинарной проверки. Планируете ли вы отдельную абляцию, где одна модель проходит те же зависимые блоки и тот же МДП-конвейер, что и весь ансамбль?

[DeadAtreides]

планирую. руки еще не доходили толком прогнать. все лимиты на обвязку текущую уходят.