Это продолжение цикла статей о масштабировании тренировки и инференса LLM. Предыдущая глава находится по этой ссылке.

Итак, с основами разобрались, давайте теперь разбираться с тем, как распихать матрицы по нескольким чипам, перемножить, а затем собрать это все в удобоваримый результат. По-умному это называется шардинг.

Для начала давайте определимся, зачем этот шардинг вообще нужен. А нужен он потому что, как я уже писал в предыдущей статье, при работе с действительно большими нейронками матрицы и вектора практически никогда целиком не влезают в память одного GPU/TPU, поэтому их приходится разделять или шардировать. От того, насколько грамотно произведен шардинг, зависит то, насколько эффективно используется наш массив ускорителей, а следовательно и скорость тренировки, эффективность расхода вычислительных ресурсов и т.д.

Возьмем для примера матрицу A размера [I, J] и распределим ее на 4 ускорителя:

ИИ-агент в «Первой Форме» работает со всеми типами бизнес-процессов: документы, регламенты, задачи, заявки, договоры. Текстовые вопросы он закрывал хорошо с самого начала. А вот финансовые — с галлюцинациями. Мы переделали подход — и теперь агент отвечает точно, с совпадением с SQL до рубля. Ниже — как именно это устроено.

Представьте себе типичное совещание. Кто-то из руководства возвращается с конференции, садится напротив и говорит: «У них там бот по внутренней документации, надо себе такой же. До конца квартала».

Через четыре месяца у тебя есть Pinecone, OpenAI API, две недели работы над парсингом PDF и чат-бот, который на демо отвечает на пять подобранных вопросов идеально. А на шестой, который задаст любой нормальный сотрудник, отвечает уверенным бредом.

Дальше про то, что именно между этими двумя состояниями происходит. Но без «правильной архитектуры RAG», потому что такой не существует.

Однажды в одной французской колонии наступил локальный апокалипсис из-за того, что из метрополии никак не поступали деньги. И когда чиновник по имени Жак, управляющий далекой колонией, отчаялся от недостатка наличности, то придумал, как платить зарплату игральными картами, не имея на руках ни одного серебряного экю. Такие деньги неожиданно всем понравились и долго использовалась во французских колониях XVII и XVIII веков. И использовались бы ещё дольше, если бы не жадность и недальновидность Короля.

Я аквариумист. Однажды мне надоело гуглить совместимость рыб в десяти вкладках и записывать параметры воды в блокнот. За два месяца это вылилось в платформу с маркетплейсом, аукционами, AI-диагностикой и 93 таблицами в PostgreSQL. Рассказываю, что получилось, на чём построено и

Когда компания решает выйти на биржу, Комиссия по ценным бумагам и биржам США требует подать проспект по форме S-1. Так уж сложилось, что это одни из самых сухих образцов письма, которыми когда-либо марали бумагу. Их пишут корпоративные юристы для других корпоративных юристов, чтобы никто нигде и никогда случайно не получил удовольствие от чтения. Но когда два дня назад SpaceX подала документы для выхода на биржу, при ознакомлении с ними стало сразу ясно: это далеко не типичное юридическое раскрытие информации.

Трое математиков представили доказательство, разрешившее давнюю математическую задачу. Даже сам математик — лауреат премии Абеля, который впервые сформулировал эту задачу, не верил, что её когда-нибудь удастся решить. Решение позволяет лучше понять многомерные случайные структуры, что потенциально может повлиять на развитие науки о данных, машинного обучения и оптимизации.

В 1995 году Мишель Талагранд сформулировал свою знаменитую математическую задачу, в которой задаётся вопрос, можно ли «создать» выпуклость за фиксированное, одинаковое количество шагов (с помощью операций, называемых суммами Минковского) в любом количестве измерений. В математике выпуклость означает, что фигура или функция выгибается наружу, при этом не должно быть ни промежутков, ни вогнутых участков. Таким образом, любая линия, проведённая между двумя точками на периметре или внутри фигуры, должна полностью лежать внутри фигуры. Например, круг или квадрат в двух измерениях, а также сфера или куб в трёх измерениях считаются выпуклыми.

El Capitan, Frontier, Aurora, JUPITER Booster — четыре нынешние эксафлопсные системы из рейтинга Top500, первые строчки суперкомпьютерной табели о рангах. Все четыре используют GPU-ускорение. Это архитектурный консенсус, который формировался около десяти лет и к 2024 году стал самоочевидным: хочешь эксамасштаб — используй GPU.

На этом фоне Китай объявляет о суперкомпьютере исключительно на CPU, без единого ускорителя. Это либо достаточно нетривиальное архитектурное решение, либо красивая история про независимость и импортозамещение. Скорее всего, оба варианта одновременно. Но чтобы это понять, нужно посмотреть назад и выяснить, как GPU вообще оказался на вершине суперкомпьютинга и почему это происходило не один год. Да и вообще неплохо бы разобраться, как GPU добрался до вершины суперкомпьютинга, что в этом противостоянии осталось от CPU и почему именно Китай решил поставить на него.

Илон Маск объявил в X, что базовая модель Grok V9-Medium на 1,5 трлн параметров завершила обучение, акцент в котором был сделан на коде. Для этого в дополнительный этап обучения добавили большие объемы данных Cursor. Сейчас идет дообучение модели, а далее запланирован этап обучения с подкреплением. Публичный релиз — через 2-3 недели.

Билл Гейтс недавно сделал прогноз, что при нынешнем темпе развития технологий большая часть работы будет автоматизирована, так что через десять лет двухдневная рабочая неделя станет стандартом для многих людей. «Если посмотреть шире, цель жизни не только в том, чтобы работать», — поделился мнением миллиардер.

И действительно, даже сейчас во многих высокооплачиваемых профессиях человеку достаточно работать два дня в неделю или даже в месяц, чтобы полностью закрыть базовые нужды. Можно выйти на раннюю пенсию в 35−40 лет и думать, чем заняться после программирования.

Правда, у многих людей потребности растут быстрее зарплаты, и мы не будем их осуждать, потому что такие люди позволяют расширяться экономике и зарабатывать изобретательным предпринимателям, которые придумывают (открывают) для людей новые потребности. Это и есть прогресс.

Но суть в том, что через десять лет большинству людей придётся решать проблему, которую сейчас решают только некоторые высокооплачиваемые работники — чем занять свободные пять дней в неделю?

Google показала Project Genie в новой фазе: теперь генеративный 3D-мир можно привязывать к реальным координатам Google Street View. Это уже не просто видео и не просто красивая демка, а полноценная world model, в которой робот может тренироваться в виртуальном Лондоне, Нью-Йорке или Токио, не выходя из дата-центра.

В статье разбираю, чем world models отличаются от video generation, как устроен Genie 3 под капотом, что уже используют Waymo и Google, и почему эта технология важна не только для робототехники, но и для gamedev. Отдельно смотрим, как связка Genie + Unity MCP + Blender MCP может превратить генерацию миров в рабочий production-пайплайн.

Догма психологии и нейробиологии давила как бетонная плита, утверждая, что каждый, кто читает эти строки, боится перетрудиться! Но вот в чем парадокс, я был готов до последнего тянуть с дедлайнами, забивая на написание диплома, зато днями напролет лупил по клаве, печатая первый фэнтези роман [его так и не опубликовали]. Если вы готовы часами гриндить пиксели в игре, но выполняете основную работу «абы не спросили», то хватит себя винить! Мы, люди, не боимся чрезмерных нагрузок. А вот от чего мы действительно бежим, так это от напрасных усилий! Вложений, которые не приносят прогресса или не оправдывают своих затрат. И этому посвящено новое исследование!

Cerebras запустили Kimi K2.6 (1T open-weight) на своём чипе со скоростью 981 токен/с — в 6,7× быстрее лучших GPU-облаков. 

Запрос 10k токенов на вход и 500 токенов на выход обрабатывается за 5,6 секунды вместо 164 секунд на официальном эндпоинте.

Покупая подписку ChatGPT за 20$, вы получаете возможность использовать токены на сумму ~1000$. Покупая подписку к Claude за 100$, вы получаете токенов на сумму ~2000$. Но подключить эти подписки напрямую в Cursor нельзя. Формат запросов в API и подписке отличаются. Вам нужен обходной путь — проксирование запросов.

Американский банк собрал в свой фонд 650 миллионов долларов, чтобы скупить доли в биотех-стартапах. Финансисты получили прямой доступ к лабораториям, которые занимаются генной инженерией.

Их цель — первыми узнать, когда люди смогут жить до 120 лет. Это нужно для спасения пенсионной системы. Американская пенсионная математика завязана на актуарных таблицах. Сейчас модели рассчитаны на дожитие до 80—87 лет. Если возраст вырастет, то фондам придётся платить дольше и появится риск долгожительства.

По той же логике инвестируют в климатические исследования. В 2020 году ураган «Лора» остановил 84% добычи нефти в Мексиканском заливе. Цены на нефть тогда взлетели сразу. Тот, кто знал путь урагана заранее, купил нужные контракты первым.

Схема одна: кто быстрее превращает научные данные в модели риска и продукты — тот зарабатывает. Разбираемся, какие лаборатории открывают финансовые гиганты и зачем им квантовые исследователи в штате.

MAX позиционируется как серьёзная платформа с госинтеграциями, но при этом разработчикам не дают базовых инструментов отладки. Работать в таких условиях можно, но это постоянные костыли и лишние часы. Я обращаюсь к команде MAX: если вы хотите, чтобы под вашу платформу делали качественные решения, нужно давать разработчикам нормальные инструменты. Иначе мы вместо экосистемы получим ещё один обязательный, но неудобный продукт.

В России сейчас активно продвигают мессенджер MAX как официальную альтернативу Telegram. Для пользователей это значит еще один клиент на рабочем столе, а для разработчиков — ещё одна платформа для ботов и мини‑приложений.

На бумаге это звучит норм: единая платформа, интеграция с госсервисами, мини‑аппы для бизнеса (привет, WeChat). На практике возникает базовый вопрос: как это вообще разрабатывать и отлаживать, если в десктопном клиенте нет нормальных DevTools?

В этой статье я попробую рассказать, как выглядит попоболь отладка мини‑приложений в MAX сегодня, чем она отличается от привычного процесса в Telegram (да да, опять сравнение с вездесущей телегой), и почему отсутствие инструментов разработки — не мелкая придирка, а системная проблема.

"Эксперты" говорят, что ближайшие несколько лет у каждого появится персональный ИИ-агент. Он будет писать код, помогать выбрать кофемашину, считать калории на ужин. Звучит как что-то из будущего... но оно уже наступило. Просто мы этого не заметили.

Хоть ветровая и солнечная генерация продолжают отъедать всё большие доли в мировом энергоснабжении, современный мир по-прежнему работает на нефтепродуктах, и в обозримом будущем ситуация не поменяется. Мир потребляет более 100 миллионов баррелей нефти в сутки. На 2023 год нефть отвечала за 30% от всей энергии, используемой в мире, её доля выше, чем у других источников (хоть и постепенно снижается). В химической отрасли использование нефтепродуктов ещё критичнее: целых 90% сырья химической промышленности получается из нефти или газа. Практически все пластмассы производятся из химикатов, извлечённых из нефти или газа; также нефтепродукты применяются в производстве множества повседневных товаров, от смазки и фанеры до синтетических тканей, удобрений и красок.

Огромные объёмы потребления нефтепродуктов возможны благодаря нефтеперерабатывающим заводам (НПЗ). Когда нефть добывают из земли, она представляет собой сложную смесь тысяч различных химикатов. НПЗ перерабатывают эту смесь, превращая её в те химикаты, которые мы можем использовать. Из-за масштабов мирового потребления нефтепродуктов НПЗ — это одни из самых крупных промышленных предприятий в мире. Большой нефтеперерабатывающий завод может занимать тысячи акров (1000 акров ≈ 4 км²), а его строительство стоит миллиарды долларов; каждый день НПЗ перерабатывает сотни тысяч баррелей нефти.

Картинка: blog.son-video.com

С чем мы сталкиваемся чаще всего, и что чаще всего вызывает желание это как-то улучшить? 

Я думаю, многие согласятся, что одним из самых надоедливых моментов является неожиданный выход из строя пультов инфракрасного дистанционного управления от разнообразной бытовой техники — причём происходит это, как правило, всегда неожиданно и по одной и той же причине: сели батарейки. 

Посмотрим, какие интересные варианты решения этого вопроса имеются! 

Случалось мне работать с CV: запускаешь сорокаминутное видео, YOLO честно находит людей, машины, собак. На двадцатой минуте падает сеть или, что хуже, камера наблюдения выходит из строя. Перезапускаешь. Модель снова смотрит те же кадры, снова инференс, трекинг ID, пошла пахота GPU…

Так продолжаться не может — подключаю кеширование.

Сегодня разбираемся, как совместить YOLO и кэширование Redis с трекингом объектов так, чтобы каждый кадр считался ровно один раз и чтобы информация не терялась. В конце будут готовые сниппеты, которые можно сразу скопировать и запустить.