
О чем говорит гипотеза о лотерейном билете, и чем она полезна на практике, если оказывается верной?
Гипотеза о лотерейном билете — это идея, которая появилась в 2018 году в контексте обучения нейронных сетей. Она утверждает, что в случайно инициализированной нейронной сети существует подсеть (или «выигрышный билет»), которая, если ее обучить независимо, сможет достичь такой же точности на тестовом датасете, как и полная сеть после такого же количества шагов обучения. Авторы гипотезы — Джонатан Франкл и Майкл Карбин.
В этой главе мы подробно рассмотрим гипотезу лотерейного билета. Сначала мы шаг за шагом разберемся, как она работает, а затем обсудим прунинг весов — один из ключевых методов, который позволяет создавать более компактные сети. Этот процесс является частью методологии, основанной на гипотезе лотерейного билета. В конце главы мы проанализируем практические применения и ограничения данной гипотезы.