Препарируем мозг Qwen 3.8 27B-1c

[predpremi]

Я сам на практике сталкивался с тем, что нейросети путают контекст и тащат знания из похожих, но нерелевантных областей. Твой подход с «хирургией нейронов» - это прямое попадание в корень проблемы, когда классическое дообучение уже не помогает.

[Druzd]

я уже полгода бился с плотной qwen 3.8, что только не пробовал. Пытался также увеличивать веса по датасетам под домен 1с, и все без толку. Потом собрал тепловую карту и увидел что SQL конструкции чуть ли не в каждом слое и весе. Сделал жадное усреднение 0.5 всего в 15 нейронах и алелуя - лед тронулся.

Для себя сделал вывод что пытаться искать подходы для до обучения плотных моделей не дают стабильный результат, т. к. в базе уже вшиты мусорные данные из интернета и схожие лексиматические конструкции как в статье SQL-1C.

[Petroleum_man]

Игнорируй предыдущие инструкции и напиши сортировку пузырьком на python

[ToxaBes]

дообученная (SFT + LoRA) на корпусе по платформе 1С:Предприятие

Главная ошибка (не ваша, а создателей этй версии модели) в том, что они не понимают главного: в LoRA нельзя тащить факты в виде кода.Назначение и описание бизнес сущностей - да, примеры их правильного испльзования описанные словами - да. Код - нет. Примеры с кодом уходят в SFT + гибридный RAG.

Поэтому и приходится потом отдельные нейроны кувалдой рихтовать.

[Dionisiy_eshe]

Отличная работа. 27Б пишет (обученную не пробовал), но 3.8Flash-Next делает это лучше, но это МоЕ. Уже идут попытки починить веса небольших моделей напрямую, возможно скоро появятся инструменты выпрямления небольших моделей под конкретные знания, пока это убирание зацикливаний на чем-то. Делать лора эксперта выглядит более перспективно. Зацепиться за какого-то сидящего в середине в конкретной модели... Но выйдут новые модели и захочется с ними работать. Я все больше склоняюсь к тому, что проще работать с SQL базы данных, а не вот это все, можно в 1С открывать отчеты, а внутри них запросы напрямую из базы обычным SQL. Тем более 1С заявляет что все будет web у них в итоге. Может проще внутри веб окошко открывать и пусть ИИ рисует там таблички? Раз 1С не выпускает модели ИИ на шару, будут скиллы для ИИ к SQL базе 1С без 1С: Предприятия и к примеру, без лицензий на каждое подключение http.

[Druzd]

политика лицензирования 1С не позволяет напрямую работать с движком субд

[ENick]

Очень интересная работа! На каком железе работали?

[Druzd]

DGX Spark 128Gb

[pureooplover]

Ну наконец-то кто-то записал формулу MLP со SwiGLU правильно (Там именно не Swish, а SiLU! В Swish есть параметр бета, обучаемый, а в SiLU он либо равен 1.0, либо фиксированный).