Comments 7
Хм... а что революционного в словах песни? Про любовь было сказано, по меньшей мере, на ~2000 лет раньше.
Но по существу вопроса, в целом, согласен :)
В России были кликбейтные заголовки в рекламе - «Чтобы отрастить волосы нужно просто…». Интересно это сами придумали или скопировали у кого-то?
Для чего эта длинная простыня?
Дошло, Ваш эксперимент по сбору статей с шаблонными названиями в духе «X Is All You Need» — это забавная и в то же время поучительная критика современной академической моды:
Наследие революционных работ: Фраза стала популярной после знаменитой статьи «Attention Is All You Need» (2017), которая представила трансформеры. Сейчас её используют как «магическое заклинание», чтобы придать работе ауру прорывности.
Гиперболизация: Утверждения вроде «Linear Transformations Are All You Need» или «Addition Is All You Need» часто оказываются упрощениями. Это маркетинговый ход для привлечения внимания, хотя реальный вклад статьи может быть скромнее.
Архитектурные инновации: Например, «NdLinear Is All You Need» (замена полносвязных слоёв) или «Element-wise Attention Is All You Need» (альтернатива self-attention). Ценность: Попытки упростить или заменить трансформеры, но большинство — инкрементальные улучшения.
Оптимизация процессов: «Short Finetune Is All You Need», «100 Instances Is All You Need» — идеи сокращения вычислительных затрат. Ценность: Практически полезно, но не всегда революционно.
Критика мейнстрима: «Attention Is Not All You Need», «Training on the Benchmark Is Not All You Need» — статьи, разоблачающие переоценённые подходы.
Ценность: Важные предостережения против «хайповых» методов.Парадоксальные утверждения: «No More Adam», «Gibberish Is All You Need» — провокационные идеи, которые либо гениальны, либо абсурдны. Пример: В «Cross-Entropy Is All You Need» доказывается, что даже простая кросс-энтропия может восстанавливать латентные структуры данных.
В 80% случаев фраза «X Is All You Need» — это преувеличение. Например, «Image Is All You Need for Retrieval» просто использует картинки вместо текста, что не радикально ново. Многие статьи повторяют друг друга (например, про эффективное fine-tuning или сжатие LLM), но подают это как открытие. В «CORDIC Is All You Need» предлагается аппаратный ускоритель для ИИ, но нет сравнения с TPU/GPU.
Но! Есть действительно интересные и ценные стати: Прорывные архитектуры (Emu3, NdLinear). Энергоэффективность (замена умножений, sparse attention). Новые парадигмы обучения (метакогниция в агентах, «разучивание» данных).
[какая-то ерунда] — Всё, Что Вам Нужно