Снижаем размер ML модели без регистрации и смс

[deadmoroz14]

данная техника не является хорошо отработанной на данный момент

Уже полгода как статьи на медиуме и tds появились. Уже достаточно устоялось.

[dimonoid]

А что такое tds? Если сайт, то я не могу его найти. Нагуглил только "Trump derangement syndrome".

[Celsius]

Скорее всего, имелся ввиду аппендикс медиума. towardsdatascience

[ZlodeiBaal]

Вроде с таким подходом есть всякие проблемы при перекладывании на TensorRT/OpenVino. В этих фреймворках идёт достаточно глубока оптимизация порядка выполнения и структуры выполнения сети на карте. Мне кажется что так оптимизированная сеть может даже дольше работать. Но не уверен.
Пробовали?

[NewTechAudit]

К сожалению не доводилось использовать TensorRT, однако, если там автоматически применяется подобная оптимизация, то конечно не стоит ее применять вручную.

[maaGames]

> Сбрасываем оставшиеся параметры до их начальных значений, получаем нужную нам подсеть.
А для чего сбрасывать? Разве не будет быстрее дообучить сеть начиная с тех значений, которые остались в подсети после удаления «нулевых»?

[Celsius]

Для TF и PyTorch уже очень давно есть монте-карло дистилляторы, которые применяются почти в каждом проекте.
А такое топорное отсечение начали делать еще во времена AlexNet (может еще раньше).

[NewTechAudit]

Вроде бы статья, на которую опирался (https://openrewiew.net/pdf?id=rJI-b3RcF7), вышла в 2019.