На днях я наткнулся на одно любопытное видео.
Моей первой реакцией было Братан, хорош, давай, давай, вперёд! Контент в кайф, можно ещё? Вообще красавчик! Можно вот этого вот почаще? отрицание и усталость, потому что всё это я уже слышу на протяжении лет пяти с разной интенсивностью в зависимости от текущих объектов хайпа. В этом посте я попытаюсь разобраться, что из сказанного в видео является правдой.
Утверждения:
1. Закон Мура больше не выполняется из-за фундаментальных физических ограничений ⇒ масштабирование нейросетевых моделей по вычислительному бюджету невозможно.
2. Нейросетевые модели внедряются слишком медленно.
3. Ответы нейросетевых моделей неконтролируемы и неинтерпретируемы.
Дальше обсудим каждое из них.