Относительно недавняя статья от 18.11.2024 г. "Вера в то, что для ИИ «чем больше, тем лучше», начинает меркнуть". (закрыта пэйволом)
Основная ее суть сводится к тому, что популярный до сих пор слоган ИИ
"больше - лучше" (имеется ввиду, чем больше мощности и данных, тем лучше будет ИИ модель на выходе)
уже перестает работать. В доказательство приводят аналогии с законом Мура, который никакой не закон, а просто маркетинговое название, озвучивающий очевидное - чем более технологичное изделие, тем больше инвестиций требуется в его производство.
И как мне кажется, на такие статьи, нам, юзерам вообще не стоит обращать внимания и вот, почему:
Слоган "больше - лучше" очень нравится инвесторам. Есть очевидная точка приложения инвестиций, есть ощутимый выхлоп. Не надо ломать голову и разбираться в архитектурах моделей, особенностей их работы и т.д. Думаю, это один из секретов Альтмана - он простым и наглядным способом объясняет, как приумножить инвестиции. Но такое может не устраивать тех, кто не успел запрыгнуть в первые поезда и теперь пытаются как-то наверстать упущенное.
Это "правило" все еще работает. Не считая GPT (просто за счет закрытости), каждая флагманская модель обучалась на все больших данных и со всем большими вычислительными мощностями. И эти мощности только начали свой стремительный рост. И замедления пока не наблюдается.
Мы, юзеры, все равно будем в выигрыше. Оптимизации, новые архитектуры, конкуренция не оставит нас без плюшек. Про инвесторов я тоже самое сказать не могу (4 пункт).
Поэтому, не стоит очаровываться, чтобы лишний раз не разочаровываться.
