Ну, так оцените. Я именно это и сделал. Порядок результатов совпадает с тем, что остальные пишут. Там ОЧЕНЬ дорого всё выходит. Запуск одного истанса ChatGPT 5.2 требует железа стоимостью от 1.5 до 5 миллионов долларов. Стоимость зависит от масштаба закупок.$1.5 млн. это прямо самая-самая нижняя граница. И это железо должно окупиться за срок актуальности модели - примерно два года. Плюс электричество, обслуживание, ремонт. Пиковая производительно инстанса тоже примерно известна - нет проблемы посчитать себестоимость миллиона токенов. У меня получилось $100..$150. Сейчас они берут примерно $15 за миллион токенов. Стоимость обучения модели тоже известна - 2,5 миллиарда долларов. Их тоже нужно вернуть за время актуальности модели. Тут тоже считается.
Нужно не разрешение, а компания имеет право преимущественного выкупа. Но если у компании нет денег, то можете продавать кому угодно. Это практически везде так, кроме некоторых редких исключений.
Во-первых, можно эти намерения использовать в качестве обеспечения чего-то другого. Это сейчас налево и направо с AI. Купили долю в AI-стартапе, на волне хайпа его оценка выросла в 100 раз, используем долю в качестве залога или обеспечения на полную её стоимость (да путь даже на треть стоимость - цена то в десятки раз от начальной выросла). А стартап-то по фату изначально убыточен и без всяких шансов получить прибыль. Ой, что будет, когда у стартапа кончится деньги (потом новых инвесторов)... Но это всё пошло и банально. Так как есть и другие пути.
Например, некий производитель видеокарт вкладывает кучу денег в бесконечно убыточный OpenAI, которые в свою очередь обязуются купить у этого производителя невероятное количество видеокарт.
В результате инвесторы производителя видеокарт видят покупку дорожающих активов, обещания возврата 100500% прибыли с инвестиций компании, рост выручки, рост текущих продаж и ещё более невероятные продажи на горизонте, подтверждённые уже подписанными контрактами. С роста прибыли компания ещё больше участвует в OpenAI, наращивая инвестиции и доли. Больше триллиона долларов уже обещано влить! Красота, лепота, всеобщая благодать и бесконечно повышение цены акций. Абсолютно все счастливы и потенциально богаты. А по факту, это одни и те же деньги самого производителя видеокарт крутятся по кругу, без всякой прибыли извне. Это уже прямо классическая пирамида, а не пузырь.
И никаких проблем с бух учётом, так как это несколько независимых компаний, инвестирующих друг в друга.
Да, но они очень много других компаний и банком слишком плотно на них завязались. Та злосчастная NVidia. И у тех, кому крах не грозит всё равно будут проблемы, так как возврат инвестиций в ИИ сильно переоценён и придётся краснеть перед акционерами и списывать убытки.
В некоторых странах это прямо больно может им выйти - если у легального пользователя нет способа легальной активации, то он получает право активировать купленный продукт любым удобным для себя способом. А может потребовать и обменять на новый иди деньги вернуть. В Европах довольно много стран, где такое можно.
Так потому и отключили, что после взлома механизма офлайн активации, другого варианта просто не было. Если стоит признак успешной офлайн активации, то большая часть механизмов проверки подлинности просто не запускаются больше.
Скорее всего, именно поэтому телефонную активацию и убрали - именно через неё изначально это всё ломанули в этом году. Результат положительной телефонной активации никогда не проверялся - там вообще нет такого механизма. В результате если поставить флаг успешной активации, то все остальные замороченные механизмы проверки подлинности даже не запускаются. И починить это можно было только выкинув активацию целиком, что они и сделали. Теперь возникает вопрос - не поломается ли уже пройденная активация после очередных обновлений? Особенно если учётная запись MS не подключена.
Но вы же понимаете, что NVidia сидит не просто на вершине этого пузыря, она ещё и собственную финансовую пирамиду прямо по верху пузыря постротла. Прибыль-то у неё ого-го-го, но вот формирует этот спрос и заказы во многом сама же NVidia на свои собственные деньги. Для неё это всё особенно болезненно может быть Мало того, что инвестиции могут быть потеряны, так ещё и одновременно спрос рухнет и куча б/у железа на рынок хлынет. У NV это вообще идеальный шторм будет.
Это справедливо только для компаний, для которых ИИ не является основой бизнеса. MS, скорее всего ,отлично переживут схлопывание пузыря. Может быть, ещё и долю расширят. Ну, просрут сколько-то инвестиций. Могут себе это позволить. Зато получили опыт и потом смогут быстрее найти новые применения ИИ.
Нет проблем найти стоимость оборудования для запуска одного экземпляра ChatGPT 5.2. Нет проблемы посчитать сколько должен стоит запрос, чтобы это оборудование окупилось. Скорректировать с учётом стоимость электроэнергии. Добавить окупаемость обучения модели. И сравнить с текущей стоимостью. Дело пяти минут. Ответ получается - стоимость запроса должна быть примерно 10...15 раз выше текущей. Это если очень-очень оптимистично считать и делать поправки на какие-то супер огромные объёмы.
Вы забываете, что после "предсказаний о городах, погребенных под 3-метровым слоем конского навоза из-за роста числа экипажей", конезаводчики массово просто перестали существовать. Автотранспорт - это уж совсем другая технология, просто решающая ту же проблему. И кстати, ваш аргумент лишь подтверждает идею о скорой смене лидеров: если прогнозы говорят о 3-метровом слое навоза, то грядёт смена технологий и пора избавляться от гужевых повозок.
Никто же не спорит, что будет какое-то развитие в области нейросетей, но текущий путь подходит к своему тупику и хуже всего будет тем, что несётся впереди на полных парах и вкладывает деньги в бесперспективные технологии. Речь идёт только о схлопывании текущего пузыря, а не об остановке развития.
Проблема в том, что у вас из аругментов только вера ;) На самом деле всё вышесказанное верно только в случае, если не будет какого-то прорыва в архитектуре LLM. Но фокус в том, что в случае прорыва обнуляться очень многие инвестиции текущих лидеров и пузырь всё равно лопнет. Пузырь-то объективно существует - текущие LLM не могут окупиться.
Как бы да, вы правы, но стоимость этого "узкого сектора" такова, что трусить будет всех. А так-то ничего страшно и сплошная польза. Конца света не будет, просто ещё один финансовый кризис.
Но если завтра конкурент выпустит новую версию, лучше вашей, то вы мгновенный банкрот. Вы просто никогда свою версию не окупите, так как платёжеспособный спрос уйдёт к демпингующему конкуренту. А демпингуют сейчас поголовно все. В этой гонке проиграют первые несколько мест (вложили слишком много чужих денег) и несколько последних (не потянут резкого подорожания). У тех, кто не лидер и держится в середине, имея хоть как-то реалистичные бизнес-планы, есть все шансы пережить схлопывание пузыря, и долго-нудно окупать затраты.
Веса в кристаллы тоже не получится пока впечатать - знания обновляются слишком быстро. Посмотрите, какими ущербными выглядят старые LLM, которые обладают знаниями даже трёхлетней давности. Пока не понятно, что с этим делать. И вообще прогресс в LLM пока идёт слишком быстро. Да, замедляется, но всё слишком быстро для того, чтобы вкладываться в уникальное железо. Скорее всего, что-то "впечатают", но пока (пока все поголовно демпингуют и прожигают инвестиции) не понятно, насколько это будет востребовано и сколько должно стоить.
Вот, когда пузырь лопнет, выжившие установят реальные цены, станет понятен реальный спрос, и тогда уже начнут появляться реально интересные вещи. Не так быстро, зато без всяких пузырей и то, что реально нужно, а не то, что модно. А пока только интенсивное развитие.
Ещё из интересного: Уже сейчас есть несколько интересных технологий, которые теоретически позволяют в разы улучшить характеристики LLM. Без чудес, но потенциально можно сделать на порядок дешевле/быстрее/экономичнее. Проблема в том, что это требует одновременного изменения структуры сетей, аппаратной части и софта (например, нужно специализированное железо под новый алгоритм перемножения матриц). Это ОЧЕНЬ дорого и долго, зато позволит сделать более-менее доступными LLM текущего поколения (может быть даже и следующего). Ну и вообще сделать AI более доступным. Но парадокс в том, что никто из текущих участников гонки не может остановиться и вложиться в переработку архитектуры: 1) Топовые AI-провайдеры не могут, так как это означает проигрыш в текущей гонке и банкротство. Им нужно срочно и гарантированно новые версии выпускать, а остановиться на рискованную переработку существующего они не могут. И стоимость там больше, чем тренировка нового поколения LLM - они не могут профинансировать сразу два направления. А ещё нужно будет признать наличие пузыря и необходимости срочно сворачивать "в бок", чего они тоже сделать не могут, так как уже навешали невероятное количество лапши своим инвесторам. 2) Производители чипов вообще не хотят в тут сторону, так как нужны глубоко-специализированные чипы, что означает конец эпохи универсальных числодробилок на базе GPU. Примерно, как с майнингом произошло - ASIC вытеснили GPU. Это фрагментация рынка и риски вытеснения текущих лидеров. Ну и вообще, для той же NVidia максимально прибылен именно экстенсивный путь развития - растущие горы традиционных универсальных чипов по всё более новой технологии. Поэтому производители чипов пойдут туда только, если кто-то всю эту кухню из своих денег профинансирует. 3) У всех остальных просто нет денег - там десятки, если не сотни, миллиардов нужно. Тем более, что это новые технологии, где всегда есть риски. А инвесторы все смотрят на OpenAI и их сначала нужно будет их убедить, что это тупик и всё кончится плохо.
Одна надежда на таких психов, как Маск, которые могут "в одно лицо" профинансировать разработку и потом ещё и ждать, пока схлопнется текущий пузырь, в расчёте монопольно занять освободившуюся поляну. Кстати, возможно, что все эти планы Маска по завоеванию лидерства в ИИ, над которыми все смеются, вовсе и не такие бредовые. Если они и правда поставит на интенсивное развитие и новые архитектуры, то он действительно может потягаться OpenAI+Nvidia. Этим же может объясняться его идея строить отдельный новый завод для чипов - нужен новый алгоритм перемножения матриц. Если он выкатит связку железо+софт стоимостью в $15'000, на котором можно будет пускать даже текущий Grok, то даже какой-нибудь ChatGPT v7 ему будет не конкурент.
Зато совершенно точно понятно, что даже после схлопывания пузыря прогресс не остановится - дальнейшие пути примерно ясны, просто желающих идти пока нет.
Для ChatGPT 5 себестоимость сейчас получается на уровне $100 за миллион токенов. Это только чтобы оборудование и электроэнергию за два года окупить. Без прибыли, налогов, зарплат, стоимости обслуживания и т.п.В реальности, скорее, ближе к $150. И это для супер-пупер массовости - только для компаний уровня OpenAI/Google/Amazon - для остальных в разы дороже. А на самом деле OpenAI держит ценник в 10 раз меньше и даёт скидки корпоративным клиентам! А ведь сверху ещё нужно накидывать окупаемость разработки (примерно 2,5 миллиарда). Если заложить окупаемость тренировки за два года, то себестоимость вырастает до $300 за миллион токенов (и это тоже для лидеров). Это просто нереально при нынешних ценах.
Текущее поколение LLM - последнее, которое может хотя бы теоретически окупиться. Снижение издержек, увеличение цены в два раза, массовость, оптимизация моделей и железа и т.п. - на всём этом суммарно вполне можно снизить издержки в 10 раз и за два-три года окупить. Следующее поколение будет ещё в 5..8 раз дороже по всем параметрам - вот оно не окупится даже теоретически. Платить $1000+ за миллион токенов при том, что работать оно будет опять лишь на несколько процентов лучше предыдущей версии, никто не готов. Плюс, не забываем, что ещё висит нарастающий долг от предыдущих версий.
И тут оказывается, что на практике всё усложняется тем, что даже два года окупаемости никого не спасут, так как через год выйдет куча конкурентов и потому никаких двух лет не получается - кто-то обязательно сойдёт с дистанции. Поэтому нужно срочно тренировать ChatGPT 6 и обещать невиданные чудеса инвесторам, чтобы дали ещё денег, и можно было продержаться ещё год. Именно поэтому это и есть гарантированный пузырь и он гарантированно лопнет.
Китайцы в супер-выгодной позиции, на самом деле. Как правильно указали выше - в LLM нет никакого принципиального ноу-хау, которое могло быть преградой китайцам. И у лидеров и у Китая стоимость обучения и стоимость использования растёт экспоненциально, но Open AI тратит на обучение ChatGPT 2.5 миллиарда долларов (!!!), а Китай использует дистилляцию и уже готовые решения и тратит порядка 100 миллионов на очередную версию. Да, он так не обгонит OpenAI, но разница не принципиальна и отставание не увеличивается. Обучение ChatGPT следующей версии будет стоить примерно 10 миллиардов (!!!), и поэтому, скорее всего, это будет последняя или предпоследняя версия (дальше уже нужно будет вкладывать по 50 миллиардов и 200 миллиардов, которых нет даже теоретически). А Китай потратит всего один миллиард и сделает сразу пачку LLM, которые будут всего на 3% хуже. В результате Китай понимает, что он гарантированно получит аналоги передовых AI за вполне разумные деньги. У Китая остаётся проблема с экспоненциальным ростом стоимости эксплуатации, но пока общие затраты Китая на ИИ позволяют ему об этом не думать. Китай готов потратить несколько миллиарда долларов за то, чтобы иметь передовую LLM, даже если ему придётся это всё в убытки списать - ну, будут какие-нибудь военные и учёные пользоваться, и оно всё равно себя окупит. А одна только OpenAI влетает на 100+ миллиардов ежегодно (!!!) с перспективой остаться с долгом 2 триллиона у 2030 году! И так как OpenAI частная компания, живущая на деньги инвесторов, то ей обязательно нужно будет в какой-то момент окупить эти затраты.
Тут ещё и экспоненциальный рост затрат при сублинейном (даже не линейном!) росте качества. Каждая следующая LLM оказывается в разы (на самом деле - за малым не на порядок) больше и дороже, но лишь на проценты "умнее", и при этом сохраняются абсолютно все врождённые недостатки технологии При этом скопировать достигнутое не становится сложнее. Китай получает свои нейросети быстро и дёшево во многом за счёт дистилляции, либо использования уже готовых решений лидеров, а лидеры вынуждены тратить по миллиарду долларов на обучение очередного шедевра, который будет всего на 5% лучше китайцев. Соотношение роста затрат по отношению к лидеру в этом случае порядка 1:10. Китайцы "попадают" только на экспоненциальный рост затрат на эксплуатацию, но не на стоимость создания. Математика вполне очевидно говорит, что при таких раскладах Китай (и все сильно желающие) неизбежно в какой-то момент сравняются с лидерами, либо разрыв между ними станет незначительным.
Аналогично с ростом себестоимости использования - все эти массовые AI-провайдеры и так убыточные, но при этом каждая новая модель оказывается ещё в два-три раза дороже в использовании (а ещё нужно и расходы на создание отбить). Энергозатраты и стоимость железа для одного инстанса ChatGPT 5 в 8 раз выше, чем на предыдущую версию!!! А она разве в 5 раз лучше предыдущей версии? И уже понятно, что следующая версия будет ещё в 5..8 раз дороже, от того и проблемы с поставками памяти. И уже понятно что никаким "сильным" ИИ в ближайшие два-три поколения точно не пахнет. А ещё три поколения - это себестоимость одного запроса будет под $1000 при стоимости обучения в несколько миллиардов долларов! И всё ещё никакого AGI.
На самом деле всё закончится уже примерно на следующем поколении LLM, и ChatGPT рискует стать последней. Потому, что экспоненциальный рост затрат это уж совсем сильно опасная штука - если в у вас сегодня проблемы, а затраты растут экспоненциально, то завтра - гарантирвоанно ваш последний день. В некотором смысле - вся это чехарда с дефицитом памяти, это уже признак того, что конец пузыря уже совсем-совсем близок. Ещё одно (два?) поколения LLM и всё - можно будет признать, что эта архитектура себя изжила.
Ну, там же не только в абсолютной цифре дело,а ещё и долговой нагрузке и соотношении стоимости акции к прибыли (и роста прибыли к росту стоимости акций). Уже несколько лет там все признаки грандиозной перекупленности.
Ну, так оцените. Я именно это и сделал. Порядок результатов совпадает с тем, что остальные пишут.
Там ОЧЕНЬ дорого всё выходит.
Запуск одного истанса ChatGPT 5.2 требует железа стоимостью от 1.5 до 5 миллионов долларов. Стоимость зависит от масштаба закупок.$1.5 млн. это прямо самая-самая нижняя граница. И это железо должно окупиться за срок актуальности модели - примерно два года. Плюс электричество, обслуживание, ремонт. Пиковая производительно инстанса тоже примерно известна - нет проблемы посчитать себестоимость миллиона токенов. У меня получилось $100..$150. Сейчас они берут примерно $15 за миллион токенов.
Стоимость обучения модели тоже известна - 2,5 миллиарда долларов. Их тоже нужно вернуть за время актуальности модели. Тут тоже считается.
Нужно не разрешение, а компания имеет право преимущественного выкупа. Но если у компании нет денег, то можете продавать кому угодно. Это практически везде так, кроме некоторых редких исключений.
Во-первых, можно эти намерения использовать в качестве обеспечения чего-то другого. Это сейчас налево и направо с AI. Купили долю в AI-стартапе, на волне хайпа его оценка выросла в 100 раз, используем долю в качестве залога или обеспечения на полную её стоимость (да путь даже на треть стоимость - цена то в десятки раз от начальной выросла). А стартап-то по фату изначально убыточен и без всяких шансов получить прибыль. Ой, что будет, когда у стартапа кончится деньги (потом новых инвесторов)... Но это всё пошло и банально. Так как есть и другие пути.
Например, некий производитель видеокарт вкладывает кучу денег в бесконечно убыточный OpenAI, которые в свою очередь обязуются купить у этого производителя невероятное количество видеокарт.
В результате инвесторы производителя видеокарт видят покупку дорожающих активов, обещания возврата 100500% прибыли с инвестиций компании, рост выручки, рост текущих продаж и ещё более невероятные продажи на горизонте, подтверждённые уже подписанными контрактами. С роста прибыли компания ещё больше участвует в OpenAI, наращивая инвестиции и доли. Больше триллиона долларов уже обещано влить!
Красота, лепота, всеобщая благодать и бесконечно повышение цены акций. Абсолютно все счастливы и потенциально богаты.
А по факту, это одни и те же деньги самого производителя видеокарт крутятся по кругу, без всякой прибыли извне. Это уже прямо классическая пирамида, а не пузырь.
И никаких проблем с бух учётом, так как это несколько независимых компаний, инвестирующих друг в друга.
Да, но они очень много других компаний и банком слишком плотно на них завязались. Та злосчастная NVidia. И у тех, кому крах не грозит всё равно будут проблемы, так как возврат инвестиций в ИИ сильно переоценён и придётся краснеть перед акционерами и списывать убытки.
В некоторых странах это прямо больно может им выйти - если у легального пользователя нет способа легальной активации, то он получает право активировать купленный продукт любым удобным для себя способом. А может потребовать и обменять на новый иди деньги вернуть. В Европах довольно много стран, где такое можно.
Так потому и отключили, что после взлома механизма офлайн активации, другого варианта просто не было. Если стоит признак успешной офлайн активации, то большая часть механизмов проверки подлинности просто не запускаются больше.
Скорее всего, именно поэтому телефонную активацию и убрали - именно через неё изначально это всё ломанули в этом году.
Результат положительной телефонной активации никогда не проверялся - там вообще нет такого механизма. В результате если поставить флаг успешной активации, то все остальные замороченные механизмы проверки подлинности даже не запускаются. И починить это можно было только выкинув активацию целиком, что они и сделали. Теперь возникает вопрос - не поломается ли уже пройденная активация после очередных обновлений? Особенно если учётная запись MS не подключена.
Но вы же понимаете, что NVidia сидит не просто на вершине этого пузыря, она ещё и собственную финансовую пирамиду прямо по верху пузыря постротла. Прибыль-то у неё ого-го-го, но вот формирует этот спрос и заказы во многом сама же NVidia на свои собственные деньги. Для неё это всё особенно болезненно может быть Мало того, что инвестиции могут быть потеряны, так ещё и одновременно спрос рухнет и куча б/у железа на рынок хлынет. У NV это вообще идеальный шторм будет.
Это справедливо только для компаний, для которых ИИ не является основой бизнеса. MS, скорее всего ,отлично переживут схлопывание пузыря. Может быть, ещё и долю расширят. Ну, просрут сколько-то инвестиций. Могут себе это позволить. Зато получили опыт и потом смогут быстрее найти новые применения ИИ.
Нет проблем найти стоимость оборудования для запуска одного экземпляра ChatGPT 5.2. Нет проблемы посчитать сколько должен стоит запрос, чтобы это оборудование окупилось. Скорректировать с учётом стоимость электроэнергии. Добавить окупаемость обучения модели. И сравнить с текущей стоимостью.
Дело пяти минут. Ответ получается - стоимость запроса должна быть примерно 10...15 раз выше текущей. Это если очень-очень оптимистично считать и делать поправки на какие-то супер огромные объёмы.
Скорее, что в 2026/27 году окажется, что их себестоимость примерно в 10 раз выше их текущей стоимости. Результаты могут быть разные.
Вы забываете, что после "предсказаний о городах, погребенных под 3-метровым слоем конского навоза из-за роста числа экипажей", конезаводчики массово просто перестали существовать. Автотранспорт - это уж совсем другая технология, просто решающая ту же проблему.
И кстати, ваш аргумент лишь подтверждает идею о скорой смене лидеров: если прогнозы говорят о 3-метровом слое навоза, то грядёт смена технологий и пора избавляться от гужевых повозок.
Никто же не спорит, что будет какое-то развитие в области нейросетей, но текущий путь подходит к своему тупику и хуже всего будет тем, что несётся впереди на полных парах и вкладывает деньги в бесперспективные технологии. Речь идёт только о схлопывании текущего пузыря, а не об остановке развития.
Проблема в том, что у вас из аругментов только вера ;)
На самом деле всё вышесказанное верно только в случае, если не будет какого-то прорыва в архитектуре LLM. Но фокус в том, что в случае прорыва обнуляться очень многие инвестиции текущих лидеров и пузырь всё равно лопнет.
Пузырь-то объективно существует - текущие LLM не могут окупиться.
Как бы да, вы правы, но стоимость этого "узкого сектора" такова, что трусить будет всех. А так-то ничего страшно и сплошная польза. Конца света не будет, просто ещё один финансовый кризис.
Но если завтра конкурент выпустит новую версию, лучше вашей, то вы мгновенный банкрот. Вы просто никогда свою версию не окупите, так как платёжеспособный спрос уйдёт к демпингующему конкуренту. А демпингуют сейчас поголовно все.
В этой гонке проиграют первые несколько мест (вложили слишком много чужих денег) и несколько последних (не потянут резкого подорожания). У тех, кто не лидер и держится в середине, имея хоть как-то реалистичные бизнес-планы, есть все шансы пережить схлопывание пузыря, и долго-нудно окупать затраты.
Веса в кристаллы тоже не получится пока впечатать - знания обновляются слишком быстро. Посмотрите, какими ущербными выглядят старые LLM, которые обладают знаниями даже трёхлетней давности. Пока не понятно, что с этим делать.
И вообще прогресс в LLM пока идёт слишком быстро. Да, замедляется, но всё слишком быстро для того, чтобы вкладываться в уникальное железо. Скорее всего, что-то "впечатают", но пока (пока все поголовно демпингуют и прожигают инвестиции) не понятно, насколько это будет востребовано и сколько должно стоить.
Вот, когда пузырь лопнет, выжившие установят реальные цены, станет понятен реальный спрос, и тогда уже начнут появляться реально интересные вещи. Не так быстро, зато без всяких пузырей и то, что реально нужно, а не то, что модно. А пока только интенсивное развитие.
Ещё из интересного:
Уже сейчас есть несколько интересных технологий, которые теоретически позволяют в разы улучшить характеристики LLM. Без чудес, но потенциально можно сделать на порядок дешевле/быстрее/экономичнее. Проблема в том, что это требует одновременного изменения структуры сетей, аппаратной части и софта (например, нужно специализированное железо под новый алгоритм перемножения матриц). Это ОЧЕНЬ дорого и долго, зато позволит сделать более-менее доступными LLM текущего поколения (может быть даже и следующего). Ну и вообще сделать AI более доступным.
Но парадокс в том, что никто из текущих участников гонки не может остановиться и вложиться в переработку архитектуры:
1) Топовые AI-провайдеры не могут, так как это означает проигрыш в текущей гонке и банкротство. Им нужно срочно и гарантированно новые версии выпускать, а остановиться на рискованную переработку существующего они не могут. И стоимость там больше, чем тренировка нового поколения LLM - они не могут профинансировать сразу два направления. А ещё нужно будет признать наличие пузыря и необходимости срочно сворачивать "в бок", чего они тоже сделать не могут, так как уже навешали невероятное количество лапши своим инвесторам.
2) Производители чипов вообще не хотят в тут сторону, так как нужны глубоко-специализированные чипы, что означает конец эпохи универсальных числодробилок на базе GPU. Примерно, как с майнингом произошло - ASIC вытеснили GPU. Это фрагментация рынка и риски вытеснения текущих лидеров. Ну и вообще, для той же NVidia максимально прибылен именно экстенсивный путь развития - растущие горы традиционных универсальных чипов по всё более новой технологии.
Поэтому производители чипов пойдут туда только, если кто-то всю эту кухню из своих денег профинансирует.
3) У всех остальных просто нет денег - там десятки, если не сотни, миллиардов нужно. Тем более, что это новые технологии, где всегда есть риски. А инвесторы все смотрят на OpenAI и их сначала нужно будет их убедить, что это тупик и всё кончится плохо.
Одна надежда на таких психов, как Маск, которые могут "в одно лицо" профинансировать разработку и потом ещё и ждать, пока схлопнется текущий пузырь, в расчёте монопольно занять освободившуюся поляну.
Кстати, возможно, что все эти планы Маска по завоеванию лидерства в ИИ, над которыми все смеются, вовсе и не такие бредовые. Если они и правда поставит на интенсивное развитие и новые архитектуры, то он действительно может потягаться OpenAI+Nvidia. Этим же может объясняться его идея строить отдельный новый завод для чипов - нужен новый алгоритм перемножения матриц. Если он выкатит связку железо+софт стоимостью в $15'000, на котором можно будет пускать даже текущий Grok, то даже какой-нибудь ChatGPT v7 ему будет не конкурент.
Зато совершенно точно понятно, что даже после схлопывания пузыря прогресс не остановится - дальнейшие пути примерно ясны, просто желающих идти пока нет.
Для ChatGPT 5 себестоимость сейчас получается на уровне $100 за миллион токенов. Это только чтобы оборудование и электроэнергию за два года окупить. Без прибыли, налогов, зарплат, стоимости обслуживания и т.п.В реальности, скорее, ближе к $150. И это для супер-пупер массовости - только для компаний уровня OpenAI/Google/Amazon - для остальных в разы дороже.
А на самом деле OpenAI держит ценник в 10 раз меньше и даёт скидки корпоративным клиентам!
А ведь сверху ещё нужно накидывать окупаемость разработки (примерно 2,5 миллиарда). Если заложить окупаемость тренировки за два года, то себестоимость вырастает до $300 за миллион токенов (и это тоже для лидеров). Это просто нереально при нынешних ценах.
Текущее поколение LLM - последнее, которое может хотя бы теоретически окупиться. Снижение издержек, увеличение цены в два раза, массовость, оптимизация моделей и железа и т.п. - на всём этом суммарно вполне можно снизить издержки в 10 раз и за два-три года окупить.
Следующее поколение будет ещё в 5..8 раз дороже по всем параметрам - вот оно не окупится даже теоретически. Платить $1000+ за миллион токенов при том, что работать оно будет опять лишь на несколько процентов лучше предыдущей версии, никто не готов.
Плюс, не забываем, что ещё висит нарастающий долг от предыдущих версий.
И тут оказывается, что на практике всё усложняется тем, что даже два года окупаемости никого не спасут, так как через год выйдет куча конкурентов и потому никаких двух лет не получается - кто-то обязательно сойдёт с дистанции.
Поэтому нужно срочно тренировать ChatGPT 6 и обещать невиданные чудеса инвесторам, чтобы дали ещё денег, и можно было продержаться ещё год. Именно поэтому это и есть гарантированный пузырь и он гарантированно лопнет.
Китайцы в супер-выгодной позиции, на самом деле.
Как правильно указали выше - в LLM нет никакого принципиального ноу-хау, которое могло быть преградой китайцам.
И у лидеров и у Китая стоимость обучения и стоимость использования растёт экспоненциально, но Open AI тратит на обучение ChatGPT 2.5 миллиарда долларов (!!!), а Китай использует дистилляцию и уже готовые решения и тратит порядка 100 миллионов на очередную версию. Да, он так не обгонит OpenAI, но разница не принципиальна и отставание не увеличивается.
Обучение ChatGPT следующей версии будет стоить примерно 10 миллиардов (!!!), и поэтому, скорее всего, это будет последняя или предпоследняя версия (дальше уже нужно будет вкладывать по 50 миллиардов и 200 миллиардов, которых нет даже теоретически).
А Китай потратит всего один миллиард и сделает сразу пачку LLM, которые будут всего на 3% хуже. В результате Китай понимает, что он гарантированно получит аналоги передовых AI за вполне разумные деньги.
У Китая остаётся проблема с экспоненциальным ростом стоимости эксплуатации, но пока общие затраты Китая на ИИ позволяют ему об этом не думать. Китай готов потратить несколько миллиарда долларов за то, чтобы иметь передовую LLM, даже если ему придётся это всё в убытки списать - ну, будут какие-нибудь военные и учёные пользоваться, и оно всё равно себя окупит.
А одна только OpenAI влетает на 100+ миллиардов ежегодно (!!!) с перспективой остаться с долгом 2 триллиона у 2030 году! И так как OpenAI частная компания, живущая на деньги инвесторов, то ей обязательно нужно будет в какой-то момент окупить эти затраты.
Тут ещё и экспоненциальный рост затрат при сублинейном (даже не линейном!) росте качества. Каждая следующая LLM оказывается в разы (на самом деле - за малым не на порядок) больше и дороже, но лишь на проценты "умнее", и при этом сохраняются абсолютно все врождённые недостатки технологии
При этом скопировать достигнутое не становится сложнее. Китай получает свои нейросети быстро и дёшево во многом за счёт дистилляции, либо использования уже готовых решений лидеров, а лидеры вынуждены тратить по миллиарду долларов на обучение очередного шедевра, который будет всего на 5% лучше китайцев. Соотношение роста затрат по отношению к лидеру в этом случае порядка 1:10. Китайцы "попадают" только на экспоненциальный рост затрат на эксплуатацию, но не на стоимость создания. Математика вполне очевидно говорит, что при таких раскладах Китай (и все сильно желающие) неизбежно в какой-то момент сравняются с лидерами, либо разрыв между ними станет незначительным.
Аналогично с ростом себестоимости использования - все эти массовые AI-провайдеры и так убыточные, но при этом каждая новая модель оказывается ещё в два-три раза дороже в использовании (а ещё нужно и расходы на создание отбить). Энергозатраты и стоимость железа для одного инстанса ChatGPT 5 в 8 раз выше, чем на предыдущую версию!!! А она разве в 5 раз лучше предыдущей версии?
И уже понятно, что следующая версия будет ещё в 5..8 раз дороже, от того и проблемы с поставками памяти. И уже понятно что никаким "сильным" ИИ в ближайшие два-три поколения точно не пахнет. А ещё три поколения - это себестоимость одного запроса будет под $1000 при стоимости обучения в несколько миллиардов долларов! И всё ещё никакого AGI.
На самом деле всё закончится уже примерно на следующем поколении LLM, и ChatGPT рискует стать последней. Потому, что экспоненциальный рост затрат это уж совсем сильно опасная штука - если в у вас сегодня проблемы, а затраты растут экспоненциально, то завтра - гарантирвоанно ваш последний день.
В некотором смысле - вся это чехарда с дефицитом памяти, это уже признак того, что конец пузыря уже совсем-совсем близок. Ещё одно (два?) поколения LLM и всё - можно будет признать, что эта архитектура себя изжила.
Ну, там же не только в абсолютной цифре дело,а ещё и долговой нагрузке и соотношении стоимости акции к прибыли (и роста прибыли к росту стоимости акций). Уже несколько лет там все признаки грандиозной перекупленности.
Всё именно так. Там скоро (по мере роста доли "прибыли" от OpenAI) возникнут вопросы по законности всей этой кухни у NVidia.