Комментарии 4
"По сути сеть это целая популяция параметров, и те, что не помогают в решении задачи потихоньку изменяются (умирают)" - только если наблюдается информационная избыточность. При адекватной архитектуре нейронной сети "умирания" нет. Есть принудительное зануление значения некоторых весов, но это отдельная технология для уменьшения переобучения
"но мы ни в коем случае не требуем это делать строго, напротив, нам важен именно побочный эффект запоминания", пардон, а Вы хоть одну модель обучили или этот труд опять глюки LLM?
"Не существует механизма, который мог бы отделить важные фичи от не важных, " Спешу Вас порадовать - этот механизм, т.е. алгоритм есть и называется он - обучение
под "умирает", я и подразумевал "изменяется", потому что не быть собой и значит умереть
тут тоже немного метафоры, в строгом смысле мы выставлен четко определенный таргет, но ведь хеш-таблица это не LLM, и трудно спорить с тем, что модель оперирует вероятностями слов, а не точностью
с этим согласен, поэтому переписал последнюю часть сделав акцент на гениальности и помешательстве
Спасибо за статью, написано интересно!
Продолжая аналогию с закономерностями, правильно понимаю, что отмирание нейронов в мозгу в состоянии алкогольного опьянения - это, своего рода, дропаут? А батчнорм это тогда как?)
Как машинное обучение объясняет реальный мир