aeremenok2 фев в 18:08

Шесть осей прогресса LLM: почему «данные закончились» — это заблуждение

Простой

6 мин

7.4K

Искусственный интеллектData Engineering * Научно-популярноеБудущее здесь

Аналитика

-7

Комментарии 8

Закреплённые комментарии

ArZr 2 фев в 21:05

Есть фактические ошибки?

Да, вполне себе.

Ось 1: Data Scaling — да, тут сложно

Фраза "Diminishing returns" присутствует, но не раскрыта, и это промах. На практике под ней подразумевают, что увеличение количества данных (и зачастую под "увеличением" понимают "увеличение в n раз") будет давать все меньше и меньше, вплоть до момента, когда улучшения от увеличения пропадут полностью или станут настолько маленькими, что в дальнейшем увеличении просто не будет смысла. И да, описанные методы решения лишь облегчают эту проблему, но не устраняют её полностью.

Ось 2: Compute Scaling — тут скрыт главный обман
Inference-time compute
Это прорыв 2024 года. И почти все его пропустили.

Так, кто его пропустил-то? После выхода o1 чуть ли не все начали его хайпить и пытаться встроить в свои модели. В итоге только выяснилось, что работает это все дело для достаточно узкого круга задач. Вдобавок даже тут всплыли diminishing returns/inverse scaling.

Ну и вдобавок есть небольшое рассуждение на эту тему от действующего исследователя ИИ. Этот анализ содержит моменты, с которыми можно поспорить, но в целом всё достаточно убедительно, и выводы там относительно грустные.

Ось 3: Algorithmic Efficiency — делаем больше за те же деньги

От "потолка возможностей" это спасет только в том случае, если есть возможность эффективно перенаправить высвободившиеся ресурсы в увеличение способностей модели. А это вопрос дискуссионный.

В "Что дальше" примеры тоже не особо убедительные. С первыми двумя уже наделали кучу экспериментов, но пока они остаются больше экзотикой. С последним - очень абстрактно, примеров бы привести.

Откуда взята эмпирика? У каких-нибудь epoch.ai? Если да, то у них есть сомнительные моменты в рассуждениях по данному вопросу, не говоря уж про их склонность к ИИ-бустеризму

Ось 4: Модальности — текст это только начало

Выглядит как повторение "Оси 1".

Теории о том, что добавление модальностей должны знатно прокачать LLM, были ещё в 2023. На практике - добавить модальности без просадки качества модели является той ещё задачей. Про значительные приросты от новых модальностей лично я тоже не особо много слышал.

Ну и "GPT-4V, Gemini, Claude 3 " в тексте сразу выдает, что либо автор пишет из прошлого, либо текст был сгенерирован и даже не особо-то и прочитан.

Ось 6: RL и Self-Play — обучение без людей

По RL сходили с ума ну где-то с января по сентябрь 2025. Затем стало ясно, что и у этих подходов будущее не самое яркое (рассуждения насчет этого уже прикрепил ссылкой выше). DeepSeek, сколь помнится, тоже недавно выпускали отчёт, который затрагивал в том числе описанные методы, и вывод там тоже не особо обнадеживающий.

bak 2 фев в 18:57

Открыл chatgpt. Забил тезисы. Получил статью. Выглядит умно? Кажется да. Реальность? Получил минуса.

aeremenok 2 фев в 19:37

Это статья-ликбез по следам комментов в одном чатике. Есть фактические ошибки?

bak 2 фев в 19:51

Её невозможно читать. Перепишите нормальным человеческим языком. У вас первые несколько обзацев "вода вода. Вода вода вода! Вода?!! Водааа!!!" c нулем содержимым.

Да даже нейротекст можно нормальный нагенерировать если генератор воды и хайпа выкрутить в ноль. Вот вам пример:

Многие говорят «ИИ достиг потолка» или «данные закончились», имея в виду только тексты из интернета. На самом деле развитие моделей идёт сразу по нескольким направлениям: новые типы данных (видео, аудио, сенсоры), алгоритмы, вычислительные ресурсы, использование инструментов и обучение без примеров человека. В статье мы подробнее рассмотрим каждое из этих направлений и объясним, почему одномерные прогнозы почти всегда ошибочны.

aeremenok 2 фев в 20:05

Примерно такой текст я и сделал вначале. Но он показался мне скучным, и я натянул на статью ~~сову~~ Илона Маска:

Ты — редактор, специализирующийся на адаптации технических текстов в характерный стиль коммуникации Илона Маска. Перепиши предоставленную статью для аудитории Хабра, сохраняя техническую точность, но трансформируя подачу.

## Ключевые характеристики стиля Маска

### Структура текста
- Короткие абзацы (1-3 предложения)
- Частые заголовки-разделители (## или ###)
- Отдельные предложения как абзацы для акцента
- Нумерованные списки для аргументов
- Жирный шрифт (**) для ключевых утверждений

### Синтаксис и лексика
- Простые предложения вместо сложноподчинённых
- Разговорные вставки: "Вот в чём дело:", "Давайте честно:", "Окей, смотрите:"
- Риторические вопросы с немедленным ответом
- Фрагменты-усилители: "Безумие.", "Вот и всё.", "Это прекрасно."
- Прямые оценки вместо эвфемизмов: "ужасно" вместо "субоптимально"
- Разговорные маркеры: "по сути", "на самом деле", "вот что важно"

### Риторические приёмы
- "First principles" фрейминг: "Вернёмся к основам:", "Базовая физика/логика такова:"
- Контрастные пары: "X — это Y. Но это не имеет значения, потому что Z."
- Провокационные утверждения с последующим обоснованием
- Отсылки к поп-культуре и мемам (уместные для tech-аудитории)
- Самоирония и признание ограничений: "Возможно, я ошибаюсь, но..."
- Императивные выводы: "Учитесь X. Делайте Y. Это то, что будет важно."

### Тональность
- Уверенность без высокомерия
- Прямота на грани провокации
- Энтузиазм по поводу технологий
- Скептицизм к корпорациям и бюрократии
- "Инженер говорит с инженерами" — без маркетингового языка

### Чего избегать
- Канцелярит и номинализации
- Пассивный залог (где возможно)
- Длинные вводные конструкции
- Академическая осторожность ("представляется", "по всей видимости")
- Избыточные определения и уточнения

## Формат вывода

1. Переписанная статья
2. Таблица "Было / Стало" с 5-7 примерами ключевых трансформаций

## Пример трансформации

**Было (академический стиль):**
"Следует отметить, что выбор языка программирования в значительной степени определяется не столько техническими характеристиками, сколько совокупностью организационных и политических факторов."

**Стало (стиль Маска):**
"Вот что никто не хочет признавать: выбор языка программирования — это почти никогда не техническое решение. Это политика. Это корпоративные суды. Это менеджеры, которые не видят дальше квартального отчёта."

---

Статья для переписывания:

[ВСТАВИТЬ ТЕКСТ]