Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 20
Во-первых почему LLM подменяют понятием ИИ не совсем понятно. Во вторых с чего вдруг если к 30 году увеличат количество дата центров и допилят производительность чипов это должно дать какой то новый прогресс в LLM моделях. В любом случае рано или поздно развитие вычислительных мощностей упрется с одной стороны в физику полупроводников (стоимость каждой новой технологии растет по экспоненте) с другой стороны в энергетику это ограничение то же уже где то маячит на горизонте 3 - 5 лет.
Во-первых почему LLM подменяют понятием ИИ не совсем понятно.
Ровно по той же причине, по которой у кварков есть цвет и аромат - исторически сложившаяся терминология. Чтобы отличать это от "настоящего" ИИ, введена градация "слабый ИИ" и "сильный ИИ" (AGI), последний на данный момент не достигнут. Тут скорее удивительно, почему такое количество народа корёжит от термина "ИИ", это видимо явление той же природы, что и неуёмное желание переименовать master в main.
Во вторых с чего вдруг если к 30 году увеличат количество дата центров и допилят производительность чипов это должно дать какой то новый прогресс в LLM моделях
Scaling hypothesis. Способности больших моделей к абстрагированию и генерализации слабо зависят от архитектуры, определяясь главным образом количеством параметров по логарифмическому закону. Эмпирически подтверждается вот уже пять лет, и если она верна, то человеческий уровень интеллекта будет достигнут примерно на 120 триллионах параметров (на данный момент самые крупные сети едва перевалили за триллион).
В любом случае рано или поздно развитие вычислительных мощностей упрется
А вот тут и выходят на передний план разные хитрые архитектуры и методы оптимизации. И тут прогресс просто колоссальный. То, что в 2019 работало лишь на крупных вычислительных кластерах, в 2025 работает даже на топовых смартфонах.
Разумеется, вариант будущего, когда стоимость окажется за пределами человеческих возможностей раньше, чем будет достигнут AGI, вполне возможен, но не гарантирован. Может ведь и получиться.
ИИ или AGI отличается от LLM наличием синтетического мышления когда он можете генерить решения, а не компилировать из базы уже известных. Сколько не добавляй параметров в компилятор на выходе не появится чего то нового. Статья на которую вы ссылаетесь мягко говоря устарела. Уже многие подтвердили, что параметрическая модель уже достигла своего плато и каждый следующий прирост на незначительные проценты требует кратного роста вычислительной мощности.
Тогда можно ссылку на более новое исследование? Я пока что нигде не видел исследований, подтверждающих, что
параметрическая модель уже достигла своего плато и каждый следующий прирост на незначительные проценты требует кратного роста вычислительной мощности
https://epoch.ai/trends статистика по моделям
он можете генерить решения, а не компилировать из базы уже известных.
Современные текстогенераторы помимо LLM включают ещё и сэмплер, который рандомно "кидает кубик" для каждого токена, каждый раз выбирая из всех возможных вариантов. Поэтому для данной системы полностью справедлива теорема о бесконечных обезьянах - в выхлопе любого современного текстогенератора рано или поздно встретится любой желаемый набор символов. То есть всё старое, всё новое, всё что вообще в принципе может быть выражено текстом - эти текстогенераторы теоретически способны выдать.
С философской точки зрения ChatGPT - это поисковик по Вавилонской Библиотеке.
Scaling hypothesis. Способности больших моделей к абстрагированию и генерализации слабо зависят от архитектуры, определяясь главным образом количеством параметров по логарифмическому закону. Эмпирически подтверждается вот уже пять лет, и если она верна, то человеческий уровень интеллекта будет достигнут примерно на 120 триллионах параметров (на данный момент самые крупные сети едва перевалили за триллион).
Осенью 2024 чуть ли не все в унисон начали заявлять, что улучшения от увеличения размера модели, обучающего датасета и т.д. получаются меньше, чем ожидалось, и что мы достигли точки "diminishing returns" (что-то типа плато, только без жесткого ограничения сверху). Потом - "Orion" ака GPT-4.5, попытка OpenAI создать супер-большую модель, которая сначала была отложена, а затем оказалась тотальным фиаско. Та же судьба постигла и LLaMa 4. Grok 4, как предполагают, тоже чуть ли не одна из самых больших моделей (3 триллиона параметров, как спекулируют), но вот на реальных задачах вполне себе бьётся и моделями, которые куда меньше.
В общем, претрейн в целом считают мертвым почти все (хотя сейчас, после релиза Gemini 3 и наброса от DeepMind, начали резко копошиться и побежали копать в направлении претрейна; посмотрим, что из этого получится).
А вот тут и выходят на передний план разные хитрые архитектуры и методы оптимизации. И тут прогресс просто колоссальный. То, что в 2019 работало лишь на крупных вычислительных кластерах, в 2025 работает даже на топовых смартфонах.
Как показывает практика других областей ML (тот же CV), не стоит строить такие экстраполяции. Все-таки в том же CV моделей на условную тысячу параметров, которые были бы лучше, чем даже относительно древние SoTA, не наблюдается, хотя такие выводы вполне легко наэкстраполировать.
Пугают, а сами потихоньку в сумрачных лабораториях буду дальше пилить )
К 2030 году человечеству придется принять одно из самых важных решений в истории технологий — разрешить ли ИИ обучать себя самому
Во-первых, не абстрактное "человечество" будет принимать это решение, а конкретные компании, развивающие ИИ, который уже более десятка крупнейших.
Во-вторых, механизмы самообучения llm в том или ином виде уже массово тестируются, не дожидаясь 2030 года.
В-третьих, какой бы умный ИИ не получился - это будет лишь "умный текст и картинки/видео на экране". Что с ним делать - будут решать люди.
К 2030 году главной проблемой будет - куда девать все эти мощности, которые наплодили для достижения ИИ «человеческого уровня» и которые не окупились и, главное, кто за всё это заплатит?
Где остановится совесть пиарщиков openai/antropic? - вот на самом деле насущный вопрос.
научится и станет прикидываться дурачком, а в критических ситуациях будет выдавать свои промахи за человеческие ошибки
"Мы не знаем где он он остановится". Скорее всего в каком-нибудь кабинете министров по согласованию расходов на дата-центры. ИИ может и отпустят в плавание, но в рамках бюджета.
отстанем в гонке, причем не только отдельные компании, но и цивилизация в целом.
Интересно, а в какой гонке участвует цивилизация в целом?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
«Мы не знаем, где он остановится»: сооснователь Anthropic — о предельном риске ИИ