Стремление к созданию более масштабных моделей искусственного интеллекта, а также увеличение числа чипов и дата-центров для их разработки, оборачивается значительными расходами для технологических компаний.
Важное примечание
Примечание: оригинал текста вышел 30 апреля 2024 года, поэтому в статье не упоминается DeepSeek и более новые языковые модели.
Спустя более полутора лет после начала ажиотажа вокруг генеративного ИИ крупнейшие игроки отрасли демонстрируют, что искусственный интеллект действительно способен приносить внушительную прибыль. Однако эти же инвестиции становятся гигантской статьёй расходов.
Дисклеймер: это вольный перевод колонки, которую написали Сетт Фигерман и Мэтт Дэй для издания Bloomberg. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Обсудить пилот или задать вопрос об LLM можно здесь.
Microsoft Corp. и Google, принадлежащая Alphabet Inc., отчитались о резком росте доходов от облачных сервисов в последнем квартале, поскольку корпоративные клиенты активнее осваивают их ИИ-разработки. Meta Platforms Inc., хотя и ещё не извлекает столь существенной выручки из искусственного интеллекта, утверждает, что внедрение ИИ уже усилило вовлечённость пользователей и повысило эффективность таргетированной рекламы.
Чтобы добиться таких первоначальных результатов, все три компании инвестировали колоссальные суммы в ИИ и намерены в дальнейшем наращивать эти вложения.
25 апреля прошлого года Microsoft сообщила о расходах на капитальные вложения в размере 14 млрд долларов за прошедший квартал и предупредила о дальнейшем существенном росте, связанном в том числе с инфраструктурой для ИИ. Это на 79% больше, чем годом ранее. Alphabet потратила 12 млрд долларов, увеличив расходы на 91% по сравнению с тем же периодом прошлого года, и ожидает, что оставшиеся кварталы будут не менее затратными, уделяя особое внимание возможностям ИИ. Meta, в свою очередь, повысила прогноз по инвестициям на год и теперь планирует вложить в основной капитал от 35 до 40 млрд долларов — на 42% больше верхней границы предыдущего диапазона, ссылаясь на агрессивные инвестиции в исследования и развитие продуктов на базе ИИ.
Взлёт стоимости технологий ИИ оказался сюрпризом для части инвесторов. Акции Meta ощутимо упали на фоне прогноза по расходам и более скромного, чем ожидалось, роста продаж. Но внутри технологического сообщества давно считают закономерным, что издержки на ИИ неизбежно будут расти. Причины две: модели ИИ становятся всё масштабнее, а мировая потребность в подобных услугах требует строительства дополнительных дата-центров для их поддержки.
Бизнес, экспериментирующий с ИИ, может потратить миллионы на адаптацию решений от OpenAI или Google. После развёртывания возникает постоянная плата за каждое обращение к чат-боту или аналитическому сервису ИИ, а ещё дороже обходится базовая подготовка этих систем. Ниже рассмотрим, что этому способствует.
Большие языковые модели становятся больше
Наиболее известные сегодня продукты на базе ИИ, включая ChatGPT от OpenAI, работают с большими языковыми моделями — системами, которые обучаются на обширных объёмах текстовых данных (книгах, статьях, комментариях из интернета), чтобы в итоге формировать наиболее точные ответы на запросы пользователей. Многие ведущие компании убеждены, что путь к созданию более совершенного искусственного интеллекта — возможно, превосходящего человека во многих задачах — лежит через дальнейшее увеличение этих языковых моделей.
Для этого требуется ещё больше данных, вычислительных ресурсов и времени на обучение. В одном из апрельских подкастов глава Anthropic (конкурента OpenAI) Дарио Амодей заявил, что обучение нынешних моделей на рынке обходится примерно в 100 млн долларов.
«Модели, которые сейчас находятся в процессе обучения и появятся в продаже в конце этого года или в начале следующего, будут стоить ближе к 1 млрд», — добавил он. «А к 2025–2026 годам цифры поднимутся до 5 или даже 10 млрд».
Чипы и вычислительные мощности Значительная часть этих расходов связана с микросхемами. Это не те центральные процессоры (ЦП), которые прославили Intel Corp., и не их упрощённые аналоги в смартфонах. Для обучения больших языковых моделей компании используют графические процессоры (GPU), способные обрабатывать колоссальные объёмы данных на высокой скорости. Спрос на эти чипы высок, а производители — единичны, причём самые передовые чипы выпускает в основном Nvidia Corp.
Флагманский чип Nvidia H100, ставший эталоном для обучения ИИ, стоит около 30 000 долларов, а у перекупщиков цена может быть в разы выше. Крупным технологическим компаниям требуются десятки тысяч таких чипов. Глава Meta Марк Цукерберг ранее говорил, что его компания приобретёт 350 000 единиц H100 до конца года для поддержки исследований в области ИИ. Даже с учётом скидок при оптовой покупке речь идёт о затратах в миллиарды долларов.
Существует возможность арендовать такие чипы, но и это дорого. Для сравнения: в облаке Amazon.com Inc. большой кластер процессоров Intel обойдётся примерно в 6 долларов в час, тогда как за совокупность чипов Nvidia H100 придётся платить почти 100 долларов.
Месяц назад Nvidia представила новую архитектуру чипа Blackwell, которая в несколько раз быстрее справляется с обучением больших языковых моделей и, вероятно, будет стоить на уровне линейки Hopper, куда входит H100. По данным Nvidia, для обучения модели на 1,8 трлн параметров (примерный размер GPT-4, согласно иску New York Times против OpenAI) потребуется около 2 000 чипов Blackwell, тогда как у Hopper ушло бы 8 000. Но с учётом общей тенденции к созданию ещё более масштабных моделей это преимущество может нивелироваться.
Дата-центры
Компании, покупающие эти чипы, должны где-то их размещать. Meta, крупнейшие облачные провайдеры (Amazon, Microsoft и Google), а также другие поставщики вычислительных мощностей спешат строить новые центры обработки данных. Чаще всего это специализированные комплексы с рядами серверов, накопителями, системами охлаждения и энергоснабжения.
По оценкам исследовательской компании Dell’Oro Group, в этом году на строительство и оснащение таких центров во всём мире будет потрачено 294 млрд долларов против 193 млрд в 2020 году. Часть этого роста обусловлена расширением цифровых сервисов — от потокового видео и взрывного увеличения корпоративных данных до соцсетей. Но всё большую долю занимает закупка дорогих чипов Nvidia и прочих специализированных устройств, необходимых для развития ИИ.
Число дата-центров в мире уже превысило 7 000 (учитывая проекты на разных стадиях) по сравнению с 3 600 в 2015 году, сообщает аналитическая компания DC Byte. Причём их размеры растут. Средняя площадь одного комплекса теперь составляет 38 270 квадратных метров, что почти в пять раз больше показателя 2010 года.
Сделки и кадры
Хотя львиная доля расходов приходится на чипы и дата-центры, некоторые компании также тратят миллионы на лицензирование данных у издателей.
OpenAI заключила сделки с несколькими европейскими медиахолдингами, чтобы использовать их материалы в ChatGPT и для обучения собственных моделей. Финансовые детали не разглашаются, но, по информации Bloomberg News, сумма договора с немецким издателем Axel Springer SE (Politico и Business Insider) составила десятки миллионов евро. OpenAI также вела переговоры с Time, CNN и Fox News.
Хотя OpenAI активнее других стремится к подобным партнёрствам, крупные технологические компании тоже ищут способы получить доступ к языковым данным, необходимым для ИИ. По информации Reuters, Google заключила сделку на 60 млн долларов с Reddit на покупку контента, а Meta, как сообщала New York Times, вела переговоры о приобретении издательства Simon & Schuster.
В это же время техногиганты ведут ожесточённую борьбу за специалистов в области ИИ. Netflix Inc. в прошлом году, например, предлагала вакансии менеджера по продуктам ИИ с окладом до 900 000 долларов.
Более дешёвые альтернативы
Microsoft, оказавшаяся в числе тех, кто сильнее всего разогрел рынок больших языковых моделей, недавно предложила иную стратегию. Компания анонсировала три компактные модели ИИ, более экономичные с точки зрения вычислительных ресурсов.
По словам Microsoft, хотя крупные языковые модели «по-прежнему останутся золотым стандартом для решения многих комплексных задач», таких как «глубокий анализ данных и понимание контекста», меньшие модели могут лучше подойти для отдельных клиентов и сценариев. Над уменьшением моделей работают и другие компании, в том числе Sakana AI, стартап, основанный двумя бывшими сотрудниками Google.
«Вам не всегда нужен гоночный автомобиль», — говорит старший аналитик Forrester Research по вопросам ИИ Роуэн Карран. «Иногда достаточно минивэна или пикапа. Не существует одной-единственной модели, подходящей для любых целей».
Однако, по общепринятому мнению в индустрии ИИ, чем масштабнее, тем лучше — и это влечёт за собой всё большие расходы.
*В тексте упоминается компания Meta, которая признана на территории РФ экстремистской организацией
