Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 39
Альтернатива в виде подписок сильно искажает соотношение между моделями.
Но масштабы роста впечатляют
Одно удивляет. Огромный рост траты токенов. Электричество жжется. ЦОДы работают на пределах. Но вот что то взрывного роста продуктов энтерпрайз уровня я не наблюдаю. Да, куча всяких фич новых и апргрейдов старых продуктов. Но они все про - а давайте прикрутим еще больше ИИ к работе с ИИ. Я же имею в виду глобальное улучшение вообще всех продуктов айтишных. А его нет. Токены жгутся впустую почти. Так что, цифры то впечатляют, а вот результата человечество не видит.
взрывного роста продуктов энтерпрайз уровня я не наблюдаю
Для этого нужны идеи
Так и я о том же. Сейчас эти токены жгутся без выхлопа полезного, потому что для выхлопа идей нет. Итого: безыдейная трата токенов.
От отсутствия идей (всё реально нужное уже сделано) переписывают что попало на rust (в лучшем случае с теми же багами) и ищут теоретические дыры в безопасности, чтоб хоть чем-то нейронку занять.
Можно прикинуть:
По статье 800 трлн токенов это:
800 * (70% (открытые) * 0,084$ + 30% (закрытые) * 0,52$) = 171 млн $
Или около 2 млрд $ в год.
По примерной оценке суммарные зарплаты айтишников в мире (без менеджеров, директоров и пр, только работяги) - порядка 2 трлн $ в год.
Т.е. весь этот рост токенов - это пока только 0,1% от зарплат людей.
Конечно сам openrouter это всего порядка 7% от общего оборота LLM в мире.
0,1% / 7 * 100 = 1.42%
Т.е. весь рынок LLM, включая всех нарисованных котиков, весь контент, весь нейрослоп и пр..., это все - полтора процента от зарплат разработчиков софта.
Даже если LLM работали бы в 10 эффективнее - это всего 14%
И не говоря о том что это ситуация на текущий месяц, а как мы видим, на том же openrouter год назад расходы токенов были в 25 раз ниже...
Иными словами - дело не в том, что ИИ не применяется в энтерпрайзе или нет хороших идей. Просто прошло слишком мало времени, изменения еще не успели накопиться.
Люди в целом очень плохо интуитивно воспринимают экспоненциальные процессы, а тут мы еще и имеем дело с совершенно уникальной ситуацией, прошлый опыт просто не может подсказать нам чего ждать.
Только вот экспонент в реальном мире не бывает. Нам еще во времена ковида показывали как все будут болеть по кругу. Совсем недавно было же.
Реальные процессы они S образные. И вопрос только где перелом произойдет.
Конечно в реальном мире нет бесконечных экспонент, также как других бесконечных процессов. Но фрагменты экспонент бывают очень длинными.
История из жизни
Когда я учился в школе в конце 90-х, то очень увлекался компьютерной графикой, и как-то увидел в журнале крутую картинку - трехмерная визуализация интерьера созданная методом трассировки лучей. Было указано, что компьютеру для просчета понадобилось 28 часов (или типа того). И я тогда посчитал, что по закону Мура, такая графика будет рендерится в реальном времени примерно через 20-25 лет (вышло чуть быстрее, но порядок тот же).
Это так на меня повлияло, что планируя свою жизнь я все время опирался/опираюсь не на текущие возможности, а на те которые по предположениям будут доступны к планируемому времени...
И что удивительно - закон Мура, в оригинальной формулировке, давно не выполняется, но следуемые из него возможности продолжают сбываться...
И поэтому когда мы видим как будто экспоненту всегда надо говорить что будет перегиб в S. Точно будет. Мы просто не знаем когда. Ну и делать разные домыслы когда он будет. А то люди будут опять как при ковиде продолжать график в бесконечность и получать бред.
Производительность CPU уже давно не растет. Последний прорыв это энергопотребление. Оно дало портативность, но не производительность. Тут все. Видеокарты так же упрутся во что-то.
будет перегиб в S. Точно будет. Мы просто не знаем когда.
В том и дело, что мы не знаем когда будет перегиб. Может, через месяц, а может, через десять лет. Но если ситуация продлиться год или два - ситуация на рынке может измениться очень сильно. А если три или четыре года, то вся жизнь может измениться очень сильно.
Ожидать в этой ситуации, что "пузырь вот вот лопнет", также глупо как рассчитывать на десятилетия экспоненциального роста.
Последний прорыв это энергопотребление. Оно дало портативность, но не производительность. Тут все. Видеокарты так же упрутся во что-то.
В том и суть прорывов, что они видны после, а не до. Мы не знаем что сыграет роль новых прорывов: новые алгоритмы, новые материалы, инференс в "железе", масштабирование производства, саморепликация заводов производства роботов...
Может быть можно уже сегодня запечь в чип условный gpt7, уронить стоимость инференса на 2-3 порядка и перевернуть половину экономики (это займет пару лет поэтому сейчас делать это невыгодно, но вариант лежит на полке). Мы не знаем.
Но если посмотреть на ИТ в целом, "экспонента возможностей" начавшаяся в 60-х только набирает обороты. И если раньше процесс был по сути один, то сейчас мы имеем дело с несколькими перемножающимися экспонентами... Конечно каждая из них выйдет на плато, но куда за это время уйдет весь процесс - можно только гадать.
Зато мы можем обсудить. Мне вот кажется что мы уже входим в него. Антропики вошли, остальные подходят.
Акции говорят что уже лопается. Понятно что год-два еще легко протянут, но процесс пошел.
Прорывы в моменте видно. Приличных бенчмарков уже наделали на все. Все сразу увидим.
Сейчас с видеокартами прорывов не видно. Они экстенсивно вырастут еще немного и все. В конце концов их уже десятилетия совершенствуют. Это вообще не новая сфера.
Видеокарта это уже около идеальный перемножатель матриц. Нечего там запекать. Можно только на кожаной куртке сэкономить.
Видеокарта это уже около идеальный перемножатель матриц. Нечего там запекать. Можно только на кожаной куртке сэкономить.
Почитайте про https://taalas.com/the-path-to-ubiquitous-ai/
Запекать не только есть чего, уже впущен даже готовый продукт, который в сравнении с Nvidia H200 показывает рост чуть не на два порядка в скорости и на порядок в энергопотреблении.
Да, там пока очень слабые модели (обещали этой зимой показать новые). И основная проблема, что такую модель нельзя обновить (веса зафиксированы в чипе), поэтому пока прогресс моделей такой, что за год подготовки продукта его модель уже будет неактуальна - смысла в этом, именно для фронтирных моделей немного. Но если наступит перегиб, как вы говорите - однозначно есть кому продолжить движение...
А представьте, что такие чипы могут сделать в робототехнике? По сути, узкое место роботов сегодня - это мозг (производство "тушек" в Китае уже отлажено). Мозг можно сделать продвинутым, если он каждое минимальное действие будет анализировать с помощью фронтирной модели, но это будет очень медленно и очень дорого.
Если же такую модель (пусть даже сильно квантованную) удастся запечь, и обеспечить даже ту же скорость в десятки тысяч т/сек (заявления taalas куда оптимистичнее, но предположим мы им не верим) - проблема по сути решена. LLM сможет детально анализировать каждое действие, а не полагаться на RWM (которую пока еще толком не на чем обучать).
Один такой робот обеспечит под триллион токенов рассуждений в год, причем с детальной разметкой всех входящих данных (сенсоры, видео и пр), разбором того, что пошло не так и пр. И вот это даст такой толчок тем же RWM - как в свое время скакнули LLM...
Если не доверяете taalas - есть и другие подходы: 1, 2, 3...
В общем, я к тому, что обсуждать конечно можно и нужно. Но смысл есть строить цепочки гипотез, а не просто смотреть на графики отдельных параметров и искать в них признаки перелома S-кривой.
Мое мнение: ИТ вообще в целом построен на экспоненциальных процессах. Конечно каждый из них выходит на плато, но это неважно, ведь он уже сыграл свою "экспоненциальную роль". Таких процессов параллельно идет очень много, они "цепляются" друг за друга и рост глобальных показателей - все время продолжается...
У них там ну очень сомнительные результаты. Похоже на очередную стрижку овечек.
GPU правда около оптимальны. Нет магических механик чтобы сделать на порядок быстрее без ухудшения качества. Каких-то прорывов по производительности не предвидится.
Квантовые компьютеры в теории могут. Там работы интересные есть. Но им как обычно еще далеко до того чтобы проверить это в реальности.
Вы простите, конечно, но с аналитикой уровня "похоже" и "кажется", нет смысла спорить.
GPU правда около оптимальны
GPU относительно оптимальны, на текущем техпроцессе, в том, для чего их делали. Посчитайте, как работает чип taalas, который уже существует, и в чем суть их идеи, прежде чем давать такие оценки.
С тем же успехом можно сказать, что лошадь около оптимальна как средство передвижения. Потому что нет магических механик сделать её на порядок быстрее. Но это не помешало изобрести автомобили.
Я почитал. Реклама обычная. Так себе качества.
Существует, но никто не видел. Дайте денег обычное. И даже так они сами признают что качество падает. Не взлетит в общем.
Надо читать не рекламу, а патенты.
По сути, они устраняют из умножения квантованных матриц избыточную универсальность. И это доказанный метод, меняющий правила, который позволяет обойти GPU на порядки в узком классе задач.
А не то, что они пишут для пользователей на главной странице.
Вы никогда не видели патента на призыв призраков? Патент не говорит вообще ничего, кроме того что его обладатель при случае может посудиться.
Я не утверждаю что не работает. Может быть работает. Но это не прорыв, а какое-то решение для узкой ниши. Нет, не гигантские LLM и их производительность.
Ни для меня, ни для вас, ни для индустрии LLM оно ничего не изменит. Но может быть появятся эффективные чипы решающие какие-то мелкие задачи. Ну сэкономит кто-то немного батарейки и доллар денег. Хорошо, но пофиг.
Нет, я не видел современных патентов США по физике на призыв призраков.
Кроме того, наличие бессмысленных патентов не означает, что они все бессмысленные. Конкретно данный патент является основой для устройства, которое уже показало свою эффективность.
Вы можете предполагать, что все это обман инвесторов, покупателей и так далее.
А также не обращать внимание на другие компании (в том числе те что я перечислял), идеи, технологии, которые позволяют оценивать будущее развитие не в субъективных ощущениях, а с количественными и качественными подтвержденными оценками.
Все это - ваше право.
Но я, в этом случае, не вижу смысла продолжать.
Я только хотел сказать что по наличию патента нельзя делать никаких выводов. Кроме возможности посудиться. Патенты выдают на любую дичь. Патентов по физике не бывает, если что. Наверно надо было прямее писать.
Хайп, надутие пузыря и все такое. Мы сейчас в таком моменте времени что на такое и миллиард не жалко, если оно поможет пузырю еще хотя бы квартал дополнительно продержаться.
Нет там оценок. Это реклама обычная. Овечек надо стричь. А то деньги кончаются.
Патентов по физике не бывает, если что.
"Физика" - это, блин, целый раздел IPC и CPC.
Упомянутый мной патент G06F 7/52:
G - физика.
G06 - выч. техника.
G06F - цифровая обработка данных.
7/52 - операции умножения.
наличию патента нельзя делать никаких выводов
По наличий патента действительно значимых выводов сделать нельзя, а вот по тому, что в нем написано - можно и нужно.
То же самое к слову относится и к комментариям на хабре.
Думаю в этом треде я сделал все что мог. Удачи.
Для этого нужны идеи
Хуже - для этого нужны идеи, за которые люди готовы платить.
Ынтырпрайз же потребляет бесконечные БД и доски Миро / Джиру, идеи для которых, имхо уже исчерпались. А обычные люди за гигантским валом нового все больше предпочитают римейки (ничего нового) или безопасность больших компаний (новую версию Алены++ Про).
На свое удивление, обнаружил, что с ростом опыта моя креативность сильно просела, если раньше я постоянно мог создать идею, что-то придумать, то сейчас опыт загнал меня в рамки.
У меня есть инструмент и возможность создать любой сайт что только воображу, но не хватает вовлеченности и креативности.
Хотя, возможно, у меня никогда сильной креативности не было, а я думал что была... Но я хотябы понимаю куда двигать инфраструктуру(в сторону ии администрирования) за которую отвечаю, и на том спасибо
Люди начали делать то, что раньше не могли делать. Я вот например себе клавиатуру для андроида делаю методом чистой комнаты GBoard. Я не программист, я сисадмин. Это заняло бы у меня кучу времени, а с ИИ я это делаю супер быстро! На работе я патчу программу, которую написали в 2001-м году в VB6 + Си и заложили туда вонючку, когда программа перестает работать после 2008-го года.
Ну не делают супер мощные инструменты уровня энтерпрайз, но и времени сколько прошло? Вспомнить что говорили про ИИ год назад, полгода назад. Есть мнение, что ИИ не такая и затратная вещь, как нам говорят корпораты. Это обсуждали в Твиттере, когда DeepSeek выложил свой инференс и в документации на GitHub написали примерный заработок.
Всё ещё впереди. Такие же люди, как я получили доступ в ту область, куда раньше нельзя было подступиться. Другое дело выкладывать потом исходники таких программ и не понимать что там творится под капотом, но я думаю что дальше — лучше.
Всё ещё впереди
Что именно впереди? Уточните пожалуйста.
Можно и с другой стороны посмотреть: впереди поколение, которое не видит смысла обучаться чему-то, потому что ИИ дает готовые ответы. Поколение, которое не видит особого смысла думать, потому что ИИ думает за них. Поколение LLM-операторов вместо программистов, которое не понимает что им выдает ИИ.
Подавляющее большинство программистов до ИИ были, мягко скажем, не очень понимающими. Гавнокод который они нагенерировали еще очень долго придется переписывать.
Что именно впереди? Уточните пожалуйста.
Модели станут умнее, будут лучше писать и рефакторить код. Агентов можно использовать не только ради кодинга. Я вот считаю (услышал откуда-то), что надобность в программах по типу CCleaner, bleachbit и прочего, нужные для очистки любимого (нет) Windows от всякого мусора исчезла и можно попросту написать агенту, чтобы он посмотрел, где мусор завалялся и почему компьютер подтупливает достаточно. С этим справляются даже локальные модели, если не хотите, чтобы информация передавалась китайцам, американцам и т.д.
Поколение LLM-операторов вместо программистов, которое не понимает что им выдает ИИ
Тут в целом согласен, но будущее на сегодняшний день очень трудно предсказать. Несколько дней назад статья была, где Торвальдс очень категорично ответил тем, кто не хочет использовать LLM при написании кода.
Сейчас же всё стремительно меняется и у нас естественно есть страх "А к чему нас это приведет?". Посмотрим. Поживем — увидем. Мы сейчас можем только гадать и приводить разные примеры из нашей жизни. Например, сейчас мало кто считает в уме, у всех есть калькуляторы, мало кто выходит на улицу без своего смартфона. Люди от этого не отупели (тут конечно можно поспорить, ну да ладно). Или приводить примеры обратные, когда люди обленившись потеряли какой-нибудь навык и теперь страдают. Сейчас таких примеров не вспомню сразу.
Необходимость в программистках я думаю не отпадет, нужны будут люди, которые будут писать код в критичных областях, но их не надо столько, чтобы например для фронтенда, бэкенда, тестов и прочего были отдельные люди. Приведу пример из своей работы, когда на нашем предприятии были телефонисты. Сейчас естественно у нас таких должностей даже нет. Зачем они? Сисадмины нормально справятся. Когда у специалистов мало инструментов для отладки, действительно нужно много людей, а когда автоматизировано, есть хорошие программы, то надобность в огромных команда отпадает. Как-то так. Мысли могут быть быстрее моих пальцем, могу перескакивать с мысли на мысли :-)
За любым кодом, как бы круто его не писали ЛЛМ и как бы круто не рефакторили, всегда обязан быть тот, кто за него в ответе. Перед другими. Буквально - крайний. ЛЛМ крайней быть не может, т.к. на нее в суд не подать, если продукт факапнится. Так что в реальности картина обратная. Чем больше ЛЛМ пишут кодов, тем больше человеко-часов тратится на проверку и одобрение. И дальше хуже будет, какие бы изумительные и красивые картины не рисовал бигтех.
дальше хуже будет
Почему? Модели становятся лучше, придумываются новые инструменты и методы работы с ними. Если застрять на текущем этапе и работать по старинке, то возможно из этого ничего хорошего не выйдет. Имею в виду, что если продолжат использовать LLM как используют его сейчас и ревьюить по старинке.
Все верно, нужно время. Создание энтерпрайз приложений не упирается в разработку. Но персональных интересных проектов появляется много
А потом открываем новости по взломам. Можно на это смотреть как на рост безопасности, но влияние вот можно в живую пощупать. Из глобального улучшения - есть продукты что съехали со скриптовых языков на Rust через рефакторинг с ИИ и там десятикратное уменьшение расходов на сервера, прямо вот на столько. Ну и кое-кто с электрона переползает на натив. Это если за энтерпрайз говорить, о котором вы тут пишете. То есть эффект уже с нами. Но кто-то да, неумело пользуется и там ИИ ради ИИ.
Уже довольно давно никто не пишет код руками, ну кроме страдальцев кому запрещают, в этом просто нет смысла.
Так что любой новый или переписанный код за весь этот год почти наверняка написан нелюдями.
Видишь ты это или нет но это факт.
10% сокращения персонала в год видим
Больше всего интересно, насколько снижение цены токенов действительно связано с увеличением производительности моделей, и каков там процент демпинга, пока есть конкуренция.
Однажды рынок ИИ на фоне экономического кризиса (в ч-ти роста цен на электроэнергию) окончательно треснет, останется только часть производителей, и что тогда будет с ценами без триллионных вливаний вертолетных денег инвесторами, большой вопрос. Кто-нибудь находил достаточно серьезные исследования по этому вопросу?
Интересно что кол-во использования возрастает, интересно насколько большой приток новых и сколько из них старых.
Также стоимость и крутость ИИ точно переоценили история с IPo антропика тому доказательство цены в окупаемость 22 года
Устойчивый темп: ~17 млн токенов/мес на разработчика (оценка Microsoft для команды из 3 человек) .-6
Ежедневная работа с Codex/Claude Code: по данным китайского исследования, 200–300 млн токенов/день при средней интенсивности, 500+ млн/день при высокой .-8
Неделя активного использования Codex: 2,3 млрд токенов (реальный кейс) .-8
«Токенмаксеры»: отдельные инженеры доходят до 1–10 млрд токенов в неделю . Рекорд в OpenAI — 210 млрд за неделю (один сотрудник) .
Контентмейкеры:Прямых данных по токенам для контента мало. Для видеогенерации: 1080p — 40–50 тыс. токенов на секунду видео, минута ролика — 2,5–3,2 млн токенов
Анализ реальных журналов агентного программирования показывает: 97,05% выставленных токенов — это чтение кэша, в то время как на выход приходится лишь 0,38%
Данные Entelligence AI показывают, что компании тратят 44% токенов на исправление багов, созданных самим ИИ. Анализ CodeRabbit открытых Pull Request показывает, что код, сгенерированный ИИ, создаёт в 1,7 раза больше проблем, чем человеческий. Токены расходуются, но значительная их часть идёт на «уборку» после ИИ, а не на создание новой ценности.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
790 трлн токенов за октябрь: OpenRouter опубликовали новые данные об использовании LLM