Нейросеть по рецепту: вычисляем веса вместо хранения матриц

[oleg11truth]

Это вы всё сами писали и подсчитывали? Если да - то впечатляющая работа! Хорошие данные и показатели

[Rexarrior]

Это обзор различных работ. Моя тут - подача и повторение нескольких методик, результаты которой приведены отдельным блоком в конце. По всем работам цифры бюджетов указаны оригинальные, взятые из самих статей, какие были, конечно.

Если же Вы про текст, то я делал себе литобзор (в смысле как часть научноей работы) и мне показалось, что было бы интересно поделиться этим срезом технологий с обществом, так и родилась эта статья - упрощённая форма литобзора с картинками и на русском. Текст мой, полированный llm.

[fedorro]

Хорошая и полезная статья, плюсы не ставят, наверное, из-за того что после прокликивания всех этих спойлеров (непонятно зачем наделанных) сил нет 🫠

[Rexarrior]

Спасибо. Насчет спойлеров - статья объемная получилось, не хотел еще раздувать время пролистывания в 2 раза. Показалось удобным спрятать однотипную техническую инфу - из расчета, что просто любопытствующие пролистают большинство и откроют 1-2, которыми заинтересуются

[Demiurg2]

Т.е. волшебной формулы сжать в 20 раз без потерь нет. Все вертится вокруг 2-3 бит на вес.

[Rexarrior]

Смотря что сжимать - если учить изначально в классе, который хорошо сжимается, то сжать можно неплохо. 423 464 байта весов в FP32 → 2 060 байт рецепта. Точность на MNIST: 98,99% → 98,60%. https://www.alphaxiv.org/pdf/2608.00860
Это вполне себе 200x (почти)
А если допустить потерю качества, авторы там показывают вообще 9 891x - 20,38 MB → 2 060 байт для MLP на Covertype. Но точность падает с 96,65% до 79,43%