Мать, видюха, память, звук и вот это всё
Локальный запуск больших LLM быстро упирается в память: веса не помещаются, оффлоад режет скорость, а красивые бенчмарки мало говорят о реальной нагрузке. Разбираем эксперимент с Kimi K3 на 2,8 трлн параметров и смотрим, как MoE, квантование, стриминг и иерархия памяти меняют пределы потребительского железа.
В июле 2026 вышло сразу несколько продуктов, которые демонстрируют две тенденции. Первая: воздушное охлаждение окончательно перестает справляться, и водоблоки появились даже на накопителях. Вторая: узким местом инференса и расчетов стала не арифметика, а память, и обходить это ограничение вендоры начали каждый по-своему. Ну и наконец PCIe 6.0 добрался до серийных продуктов. Разбираем, что именно показали вендоры.
Память снова в цене, причем буквально. За последний год цены подскочили так, что SSD от более-менее именитого производителя стал, скорее, предметом роскоши, чем «базовым минимумом». И в то же время на маркетплейсах можно найти сказочное изобилие: флешки известных брендов с огромным объемом продаются практически за бесценок. Кажется, здесь есть какой-то подвох…
Привет, меня зовут Денис Астафиев, я ведущий специалист аппаратных исследований в Бастионе. Конечно, про фейковые флешки писали уже не раз и на Хабре, и за его пределами, но по большей части рассматривая их со стороны потребителя: как вычислить контрафакт, как определить ее реальный объем и всё в этом же духе. Мне же более интересен другой подход: как недобросовестным производителям удалось достигнуть такого результата, и что они могут сделать, кроме изменения одного поля в конфигурации контроллера. И, как вы понимаете, был только один способ это узнать…
Вы сможете сходу ответить на вопрос, почему в результате простейшей операции 0.1 + 0.2 в консоли браузера выведется число 0.30000000000000004?
Мы привыкли списывать такие причуды на Великие и Ужасные Особенности Языка Программирования. Ну вот работает оно так, и всё.
Согласитесь, это гораздо проще, нежели потратить десять минут на поиск информации. Но за каждым глюком скрывается фундаментальный конфликт между человеческим разумом и логикой работы конечного устройства. Мы пишем код на языках высокого уровня, оперируем привычными десятками и сотнями, а под капотами наших IDE разыгрывается нешуточная вычислительная драма.
В этой статье мы поговорим об особенностях машинной арифметики: от костылей в бортовом компьютере «Аполлона» до проблемы 2038 года. Заваривайте чаёк покрепче, и мы начинаем.
Привет, Хабр! Меня зовут Максим Темнов, я руковожу департаментом постгарантийной сервисной поддержки (ПГСО) в «РТК-ЦОД». Это девять складов с комплектующими, более ста тысяч «железок» на поддержке и специалисты, готовые привезти и установить ЗИП за считанные часы. Мы выручаем заказчиков с ИТ-оборудованием, когда угасает последняя надежда на его производителей или вендоров. В условиях санкций, штрафов, дефицита на российском рынке и сложных логистических цепочек в хорошем провайдере ПГСО важно… все. Его компетенции и ресурсы — единственная волшебная таблетка для заказчика. В статье расскажу, как обстоят дела с «железом» сейчас и почему паниковать на этот счет не стоит.
Джей Кук, который прославился как американский герой за свою роль в обеспечении финансирования Союзных сил в Гражданской войне, 1 января 1870 года подписал контракт, который, по сути, привёл уже к Мировой войне.
В 1864 году Конгресс США создал Northern Pacific Railway (Северную Тихоокеанскую железнодорожную компанию), чтобы соединить Великие Озёра и залив Пьюджет-Саунд путями, которые в конечном итоге должны были пролегать от Дулута до Такомы. Эта хартия включала 40 миллионов акров прилегающих к путям земель, которые государство пообещало компании за их строительство. Однако в течение следующих шести лет Northern Pacific с трудом находила финансирование в то время, как Union Pacific и Central Pacific успешно строились навстречу друг другу и в мае 1869 забили «золотой костыль», символически ознаменовав окончательное соединение Сакраменто и Омахи.
Одноплатники становятся мощнее, но при этом умудряются сохранять весьма скромные размеры. Среди новинок последних месяцев есть 12-ядерная Orange Pi 6 с двумя слотами для NVMe, крошечная NanoPi с двумя гигабитными сетевыми портами и x86-плата на свежих процессорах Intel Wildcat Lake. Памяти тоже становится больше: некоторые модели получили до 32 ГБ.
Есть и другие нововведения. В новых платах появились NPU для локальной работы с нейросетями, сети 2.5 GbE, несколько интерфейсов для камер и отдельные ядра реального времени. Причем размер некоторых плат крохотный, всего 45 × 45 мм. Давайте оценим пять интересных моделей, представленных летом 2026 года.
Последние 5 лет, Apple использует в своих устройствах чипы исключительно собственной разработки. iPhone, Mac, Apple Watch, AirPods — все эти устройства так или иначе базируются на процессорах, которые были разработаны инженерами яблочной компании. Однако в 2000-х всё было не так и Apple собирала свои устройства из целой солянки самого разного железа — чаще всего от Samsung и Infineon (Siemens).
В сегодняшней статье мне хотелось бы рассмотреть аппаратную платформу оригинального iPhone и iPhone 3G. Мы с вами развеем главный миф о процессоре от Samsung, разберем устройство, проанализируем схемотехнику, узнаем и узнаем, за что отвечает каждый чип на плате. Интересно? Тогда жду вас под катом!
Когда начинаешь выбирать оперативную память, сразу бросаются в глаза две главные цифры. Производители даже в маркировку обычно выносят тип-частоту и тайминги. Обычно это цифры вроде DDR5-6000 и CL30. Споры о том, что из них важнее для игр, идут уже не меньше 15 лет, и как правило, обе стороны в них не правы примерно одинаково. Частота и тайминги — это не два независимых параметра, они связаны между собой через длительность такта, но часто важнее оказывается другой фактор. Об этом сейчас и поговорим.
Здравствуйте, уважаемые читатели! Безусловно, все слышали про игру Pacman. А слышали ли Вы про Pacgirl? Это подруга Pacman — она с бантиком...
Основная «фишка» эксперимента этой статьи — это, конечно, сеть ИОЛА, построенная из советских комплектующих. Её основа — сетевые адаптеры, собранные на «рассыпухе» малой степени интеграции, работающие по сей день. Самая старшая микросхема в сетевой плате — почтенная К155ЛА3 — датируется аж 1985 годом. Ей «стукнул» 41 год.
Для демонстрации сетевого взаимодействия мы выберем развлекательно-игровую среду. В качестве сетевого теста у нас будет Pacman! Простейшая и в то же время класснейшая игрушка. В нашем эксперименте данные между двумя машинами мы будем передавать не дискетками и не нуль-модемным кабелем. Мы увидим, как работает FTP-сервер, запущенный под MS-DOS.
Гоним мистера Пакмана, Пакгёл, догоняй...
Меня зовут Павел, и я пользователь Apple с 10-летним стажем. И два месяца назад я решил переехать с iCloud на домашний сервер с Open Source ПО.
Приходил я к этому постепенно. Долгое время я пользовался iPhone, iPad, MacBook, AirPods и другой яблочной техникой, и не знал забот. Вся моя жизнь была залита в iCloud, я там хранил и файлы, и документы, и номера кредиток, и фото за почти всю жизнь. Но со временем в мою голову стали закрадываться сомнения: зависимость от одной корпорации — не очень хорошая идея. Кто имеет доступ к моим данным, что они с ними делают, как это проверить? А что, если завтра Apple решит грохнуть мой аккаунт? Или обновление превратит мою технику в кирпич? Они же точно этого не сделают, они солидная компания! Ведь точно, не сделают?..
И можно было бы просто сделать бэкапы всего и успокоиться. Но я стал задаваться более глобальными вопросами: а насколько сегодня кофмортно можно жить, не завися от продуктов корпораций? Хотя бы в цифровом плане. Можно ли пользоваться исключительно Open Source софтом, контролировать свои данные, и при этом не потерять привычного комфорта?
Так я решил начать свой эксперимент. Цель я поставил масштабную — переехать полностью на Open Source ПО на компе, телефоне, ноутбуке и связать все это в экосистему. И начать я решил с домашнего облака.
Иван Лебедев (“Элрон”) о российской ЭКБ и ее будущем
Интервью с генеральным директором “Элрон” о российской микроэлектронике, электронной компонентной базе, импортозамещении и RISC-V.
На каналах “КЕДР Солюшенс” вышел 9-й выпуск подкаста “Платы и байты”. Публикуем ключевые темы и идеи разговора для тех, кто предпочитает читать.
Гостем Егора Гуторова в этот раз стал Иван Лебедев, генеральный директор компании “Элрон”. Говорили о том, как компания прошла путь от контрактного разработчика до производителя собственных продуктов. Обсудили, как изменилось отношение потребителей к российской электронике и какое будущее ждет отрасль.
Привет, Хабр! Меня зовут Антон. Я работаю в группе разработки аппаратной поддержки СнК в YADRO. Моя команда занимается разработкой аппаратной и программной частей стендов для тестирования полупроводниковых продуктов, поэтому наша деятельность находится на стыке железа и программирования. А тестовая лаборатория — неотъемлемая часть нашей работы.
Мой рассказ будет состоять из двух частей. В первой я расскажу, как мы организовали лабораторию и разместили стенды. Во второй — покажу, какое оборудование помогает сделать работу инженеров быстрее и удобнее.
RTX 5090, одна и та же сборка llama.cpp, один драйвер, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-A3B на той же карте выбирает 41%.
Маршрутизация экспертов тут почти ни при чём, я её измерил: ядра top-k занимают 7% времени. CUDA-графы захватываются, дыр между запусками нет, занятость SM 97%. Карта работает почти всё время, просто делает работу медленнее, чем позволяет память.
Причина оказалась в том, сколько байт читает одно ядро за запуск. Я написал программу на ggml, которая гоняет тот же mul_mat_vec_q на холодных весах, и снял кривую: на 1 МБ ядро берёт 23% полосы, на 4.2 МБ уже 53%, на 33.6 МБ 91%. У MoE на одно ядро приходится 4.6 МБ, у плотной модели 22.2 МБ. Вот и весь разрыв.
В статье: разбивка всех 437 матвеков по трассе nsys, четыре способа померить это неправильно и посидеть в каждой ловушке по очереди, проверка модели на другой архитектуре с ошибкой 3.7% и на четырёх глубинах контекста, цена сэмплера и всей обвязки llama-server. Последнее оказалось крупнее всего остального: пользователь видит 225 токенов в секунду там, где бенчмарк показывает 317.
Все началось вообще не с идеи написать очередной бенчмарк. Мне нужно было собрать локальный пайплайн для длинных подкастов: получить транскрипт, найти в нем интересные куски, выбрать несколько сильных фрагментов и уже из них делать короткие вертикальные ролики.
Облачные модели с этой задачей справляются, но постоянно гонять туда длинные расшифровки не очень хотелось. Плюс было интересно понять, насколько далеко сейчас можно уехать на железе.
Под рукой была GTX 1080 Ti на 11 ГБ. Карта 2017 года, архитектура Pascal, никаких Tensor Cores.
Так из прикладной задачи постепенно вырос небольшой домашний стенд. Я прогнал три модели в одинаковых условиях, отдельно проверил длинный контекст, затем сделал свой набор reasoning‑задач и сравнил режимы с размышлением и без него. Результаты получились не совсем такими, как я ожидал.
Итак, мы с тобой открываем свою OpenAI.
Решение принято, причем мной, и возможности отказаться у тебя нет. Учредительные документы я подал, домен купил, тебя записал техническим директором. Долю, так и быть, поделим поровну.
Обязанности такие: ты отвечаешь за то, чтобы модель обучилась, я за то, чтобы деньги не кончились раньше. Забегая вперед: с моей частью будут проблемы.
План простой и красивый, как все планы до первой таблицы. Китайцы обучили DeepSeek-V3 за 5,576 миллиона долларов и сами написали это в техотчете. Значит, нам нужно примерно столько же плюс аренда офиса. Дальше подписки, API, инвесторы, интервью в подкастах.
Ниже посчитано все: кластер, на котором такой прогон вообще возможен, зарплатная ведомость, данные вместе с юристами, раздача готовой модели пользователям и то, откуда на это берут деньги. С первоисточником на каждую цифру, отдельной колонкой по России и калькулятором в конце, чтобы ты подставил свои.
Давай считать.
Привет, хабр!
Ранее мы обсуждали:
0. Зачем делать иммерсионное охлаждение ПК
По итогам прошлой статьи мы подошли к довольно важной задаче: если мы действительно хотим погрузить компьютер целиком в жидкость, какую именно жидкость лучше применять?
На первый дилетантский взгляд вариантов диэлектриков много, от трансформаторного масла и фторорганики до растительного масла.
Поэтому исходим от требований к основному рабочему веществу...
Недавно мне подарили настоящую легенду — STB 3dfx Voodoo 3 с двумя TMU, 16'ю мегабайтами видеопамяти и 2D-ускорителем. Как настоящий гик и любитель покопаться в ретро-железе, я сразу же нашел даташит и начал изучать внутреннюю архитектуру этого игрового монстра. И поверьте, здесь есть на что посмотреть!
В сегодняшней статье мы во всех деталях изучим архитектуру оригинальной 3dfx Voodoo, узнаем почему Nvidia выиграла в гонке видеокарт и почему игры с API Glide выглядели гораздо красивее, чем с D3D/OpenGL! Если любите настоящие технарские статьи без нейрослопа и рерайта — жду вас под катом!
RTX PRO 5000 Blackwell на 72 Гб: золотая середина для локальных ИИ-моделей или переоцененный апгрейд? Разбираемся в нашем обзоре.
Всем привет, с вами Сергей Ковалёв, менеджер выделенных серверов в Selectel. Как инфраструктурный провайдер, мы ежедневно предоставляем клиентам серверы на процессорах AMD и Intel (и не только, но сегодня не об этом). Поэтому каждый анонс серверных процессоров от вендоров для нас — это не абстрактные слайды, а вполне конкретные вопросы: нужно ли обновлять линейку, что закупать, куда устанавливать и как все это охлаждать.
22 июля 2026 года на конференции AMD Advancing AI в Сан-Франциско представили шестое поколение серверных процессоров — AMD EPYC™ 9006 «Venice» на архитектуре Zen™ 6. Мы уже публиковали первую новость, а сегодня погрузимся в детали и оценим все преимущества и риски перехода на новую платформу. С точки зрения эксплуатации в дата-центре: сравню с текущим поколением EPYC™ 9005 Turin™, разберусь с новыми сокетами SP7 и SP8 и попробую ответить на ключевой вопрос любого владельца парка серверов — как здесь с price/performance.
Спойлер: 256 ядер, 1 ГБ кэша L3, 1,6 ТБ/с пропускной способности памяти и первый в индустрии серверный CPU с PCIe Gen 6. Впрочем, менять платформу придется целиком. Детали — под катом.