Вы точно уловили суть, термин "ИИ" стал слишком обширным: от линрега до LLM.
Проблема: LLM натягивают на задачи, где XGBoost, деревья решений или регрессия дешевле и надёжнее. Результат: ROI минусовой, выхлоп не сопоставим с затратами. В статье этот парадокс и отражён: 80% провалов = неправильный инструмент для задачи, не отсутствие ИИ как такого. Согласен: конечная эффективность = грамотное соотнесение. Спасибо за акцент! Я добавлю этот момент в статью
В ACE-TRUST (Phase 1, 2022-2023) система училась на US Air Force тактике. Это был MVP.
DARPA учитывает этот опыт во II фазе — имитировать тактику потенциального противника (есть references в рассекреченных документах DARPA про это направление).
Из публичных данных неясно, как это реализовано, но логика очень похожа.
Вы правы. Gary Marcus консультировал DARPA Machine Common Sense (2019-2022) и опубликовал критику LLM после завершения работы (Scientific American, Oct 2022).
Я неточно сказал о "не нашёл источников" — они существуют, но не все открыты.
Спасибо за комментарий, так как благодаря нему мы укрепили аргументацию в статье " DARPA фокусировалась на commonsense reasoning, не на LLM scaling".
Я решил тоже проверить ваши утверждения в интернете. Вы правы, но на 75%.
Нет упоминания в публичных источниках, что Gary Marcus ушел из ДАПРА. Я не обладаю такими данными :-)
Последняя LLM программа закрыта в 2022 - таких данных я тоже не нашел.
Когда я аггрегировал все данные, то в расчетах смешал DARPA ($2B symbolic) с коммерческим LLM рынком ($34B). Что в целом не принциально для общего посыл о 30 годах инвестиций.
Конечно можно написать книгу на эту тему, которая подробно распишет все возможные сценарии и учтет все возможные варианты.
Но есть определенный вывод, который напрашивается из данных за тридцать лет, которые мы, кстати, еще не выравнивали по курсу на 2025 год: "Несмотря на успехи в отдельных областях, если не закапываться в запятые и прочее - большинство проектов тратить деньги впустую". И не потому, что технология плохая, а потом что изначально цель, стратегия и задачи плохо соотносились с возможностями. Поэтому инвестиции и прогорали и продолжают прогорать.
Моя основная мысль: пора переиспользовать успешные практики и повышать возврат инвестиций.
Вы правы! Совпадение 23% и 22.55% действительно подозрительно. В реальности эти метрики почти никогда не совпадают (ваш пример 50% успешных ≠ -60% ROI показывает это отлично). Причина совпадения: Данные агрегированы из McKinsey/BCG/Gartner (тысячи проектов, 30 лет). При агрегации получается усреднённая модель, где доля успешных ≈ доля возврата. Это происходит потому, что успешные проекты пропорционально распределены по размеру инвестиций. Что я добавлю в статью: 1. Disclaimer о методологии агрегации 2. Объяснение разницы между реальными проектами и моделью 3. Ваш пример (50% ≠ -60%) Спасибо за критику! Скорректировал статью: 1. добавил уточнения. 2. поправил формулировки.
Я перепутал термины во второй колонке и возникла путаница: 23% — это доля успешных проектов, а не классический ROI.
Накопительный ROI индустрии: (451 - 2000) / 2000 = -77% (убыток $1,5 трлн) Заголовок про убытки корректен. Спасибо за внимание к деталям! Добавлю пояснение в статью.
"Прогрессивный налог" — красивая идея, но данные говорят иное: 80% ИИ-проектов не окупаются.
Сбербанк получает ROI 180–220%, но логистическая компания потеряла $2 млн впустую. Если это налог, то совсем не равномерный.
Причина не в технологии, а в её внедрении: компании не умеют подготавливать данные, не измеряют результаты честно и внедряют ИИ потому, что "все внедряют".
Пока это просто убыточный хайп, а не налог на цивилизацию.
Информация
В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность
Специализация
Архитектор программного обеспечения, ML разработчик
...авторы делятся на два типа: те кто считают, что ChatGPT пишет хуже них и те кто считает, что ChatGPT пишет лучше них ;-)
Вы точно уловили суть, термин "ИИ" стал слишком обширным: от линрега до LLM.
Проблема: LLM натягивают на задачи, где XGBoost, деревья решений или регрессия дешевле и надёжнее. Результат: ROI минусовой, выхлоп не сопоставим с затратами. В статье этот парадокс и отражён: 80% провалов = неправильный инструмент для задачи, не отсутствие ИИ как такого. Согласен: конечная эффективность = грамотное соотнесение. Спасибо за акцент! Я добавлю этот момент в статью
В ACE-TRUST (Phase 1, 2022-2023) система училась на US Air Force тактике. Это был MVP.
DARPA учитывает этот опыт во II фазе — имитировать тактику потенциального противника (есть references в рассекреченных документах DARPA про это направление).
Из публичных данных неясно, как это реализовано, но логика очень похожа.
Благодарю за уточнение!
Вы правы. Gary Marcus консультировал DARPA Machine Common Sense (2019-2022) и опубликовал критику LLM после завершения работы (Scientific American, Oct 2022).
Я неточно сказал о "не нашёл источников" — они существуют, но не все открыты.
Спасибо за комментарий, так как благодаря нему мы укрепили аргументацию в статье " DARPA фокусировалась на commonsense reasoning, не на LLM scaling".
Добавил это в раздел про DARPA.
Я решил тоже проверить ваши утверждения в интернете. Вы правы, но на 75%.
Нет упоминания в публичных источниках, что Gary Marcus ушел из ДАПРА. Я не обладаю такими данными :-)
Последняя LLM программа закрыта в 2022 - таких данных я тоже не нашел.
Когда я аггрегировал все данные, то в расчетах смешал DARPA ($2B symbolic) с коммерческим LLM рынком ($34B). Что в целом не принциально для общего посыл о 30 годах инвестиций.
Конечно можно написать книгу на эту тему, которая подробно распишет все возможные сценарии и учтет все возможные варианты.
Но есть определенный вывод, который напрашивается из данных за тридцать лет, которые мы, кстати, еще не выравнивали по курсу на 2025 год: "Несмотря на успехи в отдельных областях, если не закапываться в запятые и прочее - большинство проектов тратить деньги впустую". И не потому, что технология плохая, а потом что изначально цель, стратегия и задачи плохо соотносились с возможностями. Поэтому инвестиции и прогорали и продолжают прогорать.
Моя основная мысль: пора переиспользовать успешные практики и повышать возврат инвестиций.
Да, есть категория проектов ИИ с высоким ROI, которую вы упомянули.
Но давайте проведем сравнительный анализ инвестиций и попробуем оценить вклад этих успехов в "общую температуру по больнице":
Символьные ИИ (Soar, ACT-R, CLARION): ~$1.05 billion
DARPA cognitive programs: $50M
DARPA total AI budget: $500M
Academic research: $200M
Commercial (Franz, др.): $300M
LLM / GenAI: ~$33.9 billion
Global generative AI investment 2024
US total AI: $109.1 billion
Model API spending: $8.4 billion
LLM получает в 32 РАЗА БОЛЬШЕ денег!
Рынок вкладывает 32x больше денег в НЕОКУПАЮЩИЕСЯ проекты (LLM),чем в ОКУПАЮЩИЕСЯ (символьные ИИ).
Спасибо, что обратили на это внимание! Мне кажется этот момент нужно дополнительно подсветить.
Вы правы! Совпадение 23% и 22.55% действительно подозрительно. В реальности эти метрики почти никогда не совпадают (ваш пример 50% успешных ≠ -60% ROI показывает это отлично). Причина совпадения: Данные агрегированы из McKinsey/BCG/Gartner (тысячи проектов, 30 лет). При агрегации получается усреднённая модель, где доля успешных ≈ доля возврата. Это происходит потому, что успешные проекты пропорционально распределены по размеру инвестиций. Что я добавлю в статью: 1. Disclaimer о методологии агрегации 2. Объяснение разницы между реальными проектами и моделью 3. Ваш пример (50% ≠ -60%) Спасибо за критику! Скорректировал статью: 1. добавил уточнения. 2. поправил формулировки.
Внес быструю правку, что бы убрать путаницу в терминах. Побежал дальше корректировать статью.
Я перепутал термины во второй колонке и возникла путаница: 23% — это доля успешных проектов, а не классический ROI.
Накопительный ROI индустрии: (451 - 2000) / 2000 = -77% (убыток $1,5 трлн) Заголовок про убытки корректен. Спасибо за внимание к деталям! Добавлю пояснение в статью.
"Прогрессивный налог" — красивая идея, но данные говорят иное: 80% ИИ-проектов не окупаются.
Сбербанк получает ROI 180–220%, но логистическая компания потеряла $2 млн впустую. Если это налог, то совсем не равномерный.
Причина не в технологии, а в её внедрении: компании не умеют подготавливать данные, не измеряют результаты честно и внедряют ИИ потому, что "все внедряют".
Пока это просто убыточный хайп, а не налог на цивилизацию.