Я у прошки M3 (тоже, кстати, сложен и стоит вертикально в подставке - clamshell mode) то вентиляторы за год с лишним слышал единственный раз - когда локально LLM запустил, эйру то с чего греться.
Здесь на фото Herman Miller Aeron (еще и белый - вот же понты!) - у него на диво удобные подлокотники, вот сейчас я пишу этот комментарий, а мои локти на них лежат, подлокотники вровень со столешницей :)
Нет никакого пренебрежительного отношения. Просто не нужно путать их с "сисадминами" - они таковыми не являются. А если в какой-то лавке "скрепки и бухгалтерия идут в нагрузку" - это значит только то, что конторка еще маленькая и администратора в ней нет. Есть эникей с расширенными обязанностями.
Одна из родовых травм российской (или даже всей постоветской) айтишки - это то, что "любимчиков бухгалтерии и повелителей застрявших скрепок и рассыпанного тонера" с какого-то хрена стали считать/называть администраторами.
Тогда как IT technician - это вообще другая профессия.
В целом примерно поэтому никогда последнюю пятницу июля и не отмечал. Пусть празднуют повелители скрепок и любимчики бухгалтерии, а я работал в ISP - у нас был и есть День радио и связи :)
Всегда таким привожу в пример себя (10 семестров физфака со средним баллом зачетки 4.7 и отчислен с последней, 10 сессии, да, так бывает, мы учились 5.5 лет, то есть 11 семестров) и спрашиваю: куда отнесете? К первым? Ко вторым? :)
Диплома у меня, допустим, нет. А образование есть? :)
А еще к вопросу безопасности, вы забиваете в свой код credentials позволяющие, допустим, управлять инстансами VM... Угадайте что произойдет если это сервис сломают?
Ну вот с этого места всё понятно - автор комментария не то что не использовал, а даже документацию не читал. Но осуждает.
Этот бы возмущенный комментарий да в производительное русло.
Нет, не подходят. Давайте попросим R1 объяснить, почему :)
Объясни любопытному человеку, почему большую языковую модель (как deepseek‑r1, например) нельзя запустить на персональных компьютерах 1000 добровольцев. Объясни ему про важность latency, пропускную способность между узлами и другие значимые для производительности факторы.
Вот почему запуск большой языковой модели (LLM) вроде DeepSeek-R1 на тысяче персональных компьютеров (ПК) добровольцев технически крайне сложен или даже невозможен:
1. Проблема с памятью (VRAM/ОЗУ)
Размер модели: Современные LLM содержат миллиарды параметров. Например, модель с 70 млрд параметров в формате float16 занимает около 140 ГБ памяти. Даже если разделить её на 1000 узлов, каждому потребуется обрабатывать ~70 млн параметров, но:
Сложность распределения: Нейросети — не набор независимых блоков. Их слои связаны, и для вычислений требуется синхронизация всех параметров на каждом шаге.
Минимальные требования: Даже для инференса (генерации ответов) современные LLM требуют десятки гигабайт видеопамяти (VRAM). У большинства ПК её просто нет (домашние GPU обычно имеют 6–12 ГБ VRAM).
2. Латентность (Latency)
Задержка связи: Для совместной работы узлы должны постоянно обмениваться данными. Даже при идеальном интернете пинг между добровольцами будет 50–500 мс, а для нейросетевых операций требуется синхронизация каждые несколько микросекунд.
Накопление задержек: В LLM каждый токен генерируется последовательно. Если на генерацию одного слова уходит 1 секунда из-за задержек связи, ответ из 20 слов займет 20 секунд — это неприемлемо для пользователей.
3. Пропускная способность сети
Объем данных: При распределенных вычислениях узлы обмениваются градиентами, активациями и параметрами. Для модели с 70 млрд параметров это сотни гигабайт данных на каждую итерацию.
Ограничения домашнего интернета: У большинства добровольцев скорость загрузки (upload) не превышает 10–100 Мбит/с. Передача 1 ГБ данных займет 2–20 минут — это делает обучение или даже инференс невозможным.
4. Гетерогенность оборудования
Разная производительность: У одних участников могут быть мощные GPU (RTX 4090), у других — слабые CPU или интегрированная графика. Самый медленный узел станет «бутылочным горлышком».
Несовместимость: Для эффективной работы нужна единая программная среда (CUDA, драйверы, библиотеки). На 1000 ПК это нереалистично.
5. Надежность системы
Отказы узлов: Если 1 из 1000 компьютеров отключится во время вычислений, вся система может «упасть». Такие сбои будут происходить постоянно.
Непредсказуемая нагрузка: Добровольцы могут использовать свои ПК для других задач (игры, работа), что приведет к резкому падению производительности.
6. Энергоэффективность
Вычисления на GPU/TPU в дата-центрах оптимизированы для минимизации энергопотребления. На домашних ПК с их КПД ~50% затраты энергии будут в 5–10 раз выше.
7. Безопасность
Утечка данных: Передача промежуточных результатов между узлами повышает риск перехвата конфиденциальной информации (например, персональных данных в запросах).
Атаки на модель: Злоумышленники могут намеренно искажать вычисления на своих узлах, «ломая» работу модели.
Почему это работает для проектов вроде SETI@home, но не для LLM?
SETI@home обрабатывает независимые задачи (анализ радиосигналов), где задержка и синхронизация не критичны. LLM же требуют сложной координации всех узлов на каждом шаге.
Итог
Для больших языковых моделей критически важны низкая латентность, высокая пропускная способность, однородное железо и централизованное управление. Эти условия недостижимы в распределенной сети из домашних ПК. Даже компании вроде Google или OpenAI используют специализированные кластеры с тысячами связанных GPU/TPU через инфраструктуру с микросекундной задержкой и терабитной пропускной способностью.
Полный комплект MSDN Library был нескольких уровней Subscription и в полном виде занимал десятки CD, емнип что-то типа 42 (сорок два).
Приходило в довольно огромных коробках, потому что кроме самих дисков были еще такие футляры типа фотоальбомов, в которые эти диски вкладывались. И мягкие футляры еще вкладывались в такой пластиковый ящик типа чемоданчика. И куча книг в бумажном виде (реально занимало несколько полок на стеллаже).
Там был весь софт MS, который только выпускался публично, сами дистрибутивы и лицензии (CD keys). Для всех платформ, например Windows NT Server для интел, альфы, powerpc, mips и т.д.
Стоило что-то типа 6 тысяч долларов в год.
У нас на работе такая была :) Ошметки до сих пор есть у меня дома (некоторые CD и пара футляров).
Именно так. Но в условиях реальных санно-гусеничных походов на "Восток" в итоге выяснилось, что гораздо проще, когда он снаружи, капоты снимались и хоть совсем дергай на улицу талью и стрелой (с другой мвшины - на фото есть).
Я в своем комментарии именно на это и намекал. Что совет "надо на транспорте, не подверженном пробкам" - это довольно смешно для, например, маршрута Красноярск-Емельяново, где ОТ - это только автобус, стоящий в тех же самых пробках на выезде из города у строительства развязки :)
Подоконникам с Windows там еще никакого аналога AlDente не подвезли?
Я у прошки M3 (тоже, кстати, сложен и стоит вертикально в подставке - clamshell mode) то вентиляторы за год с лишним слышал единственный раз - когда локально LLM запустил, эйру то с чего греться.
Здесь на фото Herman Miller Aeron (еще и белый - вот же понты!) - у него на диво удобные подлокотники, вот сейчас я пишу этот комментарий, а мои локти на них лежат, подлокотники вровень со столешницей :)
Я так и сделал.
Нет никакого пренебрежительного отношения. Просто не нужно путать их с "сисадминами" - они таковыми не являются. А если в какой-то лавке "скрепки и бухгалтерия идут в нагрузку" - это значит только то, что конторка еще маленькая и администратора в ней нет. Есть эникей с расширенными обязанностями.
Прямо сейчас работаем с AS/400, fashion & apparel :)
Одна из родовых травм российской (или даже всей постоветской) айтишки - это то, что "любимчиков бухгалтерии и повелителей застрявших скрепок и рассыпанного тонера" с какого-то хрена стали считать/называть администраторами.
Тогда как IT technician - это вообще другая профессия.
В целом примерно поэтому никогда последнюю пятницу июля и не отмечал. Пусть празднуют повелители скрепок и любимчики бухгалтерии, а я работал в ISP - у нас был и есть День радио и связи :)
Всегда таким привожу в пример себя (10 семестров физфака со средним баллом зачетки 4.7 и отчислен с последней, 10 сессии, да, так бывает, мы учились 5.5 лет, то есть 11 семестров) и спрашиваю: куда отнесете? К первым? Ко вторым? :)
Диплома у меня, допустим, нет. А образование есть? :)
Вы у автора перевода спрашиваете?
Рядом с Транссибом оказалась деревня Кривощёково, а не Новониколаевск :)
Ну вот с этого места всё понятно - автор комментария не то что не использовал, а даже документацию не читал. Но осуждает.
Этот бы возмущенный комментарий да в производительное русло.
Переводчику эти вопросы задавать бесполезно, они становятся риторическими.
Как-то совсем не упомянут Mistral.
Вскоре автор найдёт ещё Msty и мы увидим на Хабре продолжение статьи, будет написано, чем лучше Jan.ai :-)
Нет, не подходят. Давайте попросим R1 объяснить, почему :)
Вот почему запуск большой языковой модели (LLM) вроде DeepSeek-R1 на тысяче персональных компьютеров (ПК) добровольцев технически крайне сложен или даже невозможен:
1. Проблема с памятью (VRAM/ОЗУ)
Размер модели: Современные LLM содержат миллиарды параметров. Например, модель с 70 млрд параметров в формате float16 занимает около 140 ГБ памяти. Даже если разделить её на 1000 узлов, каждому потребуется обрабатывать ~70 млн параметров, но:
Сложность распределения: Нейросети — не набор независимых блоков. Их слои связаны, и для вычислений требуется синхронизация всех параметров на каждом шаге.
Минимальные требования: Даже для инференса (генерации ответов) современные LLM требуют десятки гигабайт видеопамяти (VRAM). У большинства ПК её просто нет (домашние GPU обычно имеют 6–12 ГБ VRAM).
2. Латентность (Latency)
Задержка связи: Для совместной работы узлы должны постоянно обмениваться данными. Даже при идеальном интернете пинг между добровольцами будет 50–500 мс, а для нейросетевых операций требуется синхронизация каждые несколько микросекунд.
Накопление задержек: В LLM каждый токен генерируется последовательно. Если на генерацию одного слова уходит 1 секунда из-за задержек связи, ответ из 20 слов займет 20 секунд — это неприемлемо для пользователей.
3. Пропускная способность сети
Объем данных: При распределенных вычислениях узлы обмениваются градиентами, активациями и параметрами. Для модели с 70 млрд параметров это сотни гигабайт данных на каждую итерацию.
Ограничения домашнего интернета: У большинства добровольцев скорость загрузки (upload) не превышает 10–100 Мбит/с. Передача 1 ГБ данных займет 2–20 минут — это делает обучение или даже инференс невозможным.
4. Гетерогенность оборудования
Разная производительность: У одних участников могут быть мощные GPU (RTX 4090), у других — слабые CPU или интегрированная графика. Самый медленный узел станет «бутылочным горлышком».
Несовместимость: Для эффективной работы нужна единая программная среда (CUDA, драйверы, библиотеки). На 1000 ПК это нереалистично.
5. Надежность системы
Отказы узлов: Если 1 из 1000 компьютеров отключится во время вычислений, вся система может «упасть». Такие сбои будут происходить постоянно.
Непредсказуемая нагрузка: Добровольцы могут использовать свои ПК для других задач (игры, работа), что приведет к резкому падению производительности.
6. Энергоэффективность
Вычисления на GPU/TPU в дата-центрах оптимизированы для минимизации энергопотребления. На домашних ПК с их КПД ~50% затраты энергии будут в 5–10 раз выше.
7. Безопасность
Утечка данных: Передача промежуточных результатов между узлами повышает риск перехвата конфиденциальной информации (например, персональных данных в запросах).
Атаки на модель: Злоумышленники могут намеренно искажать вычисления на своих узлах, «ломая» работу модели.
Почему это работает для проектов вроде SETI@home, но не для LLM?
SETI@home обрабатывает независимые задачи (анализ радиосигналов), где задержка и синхронизация не критичны. LLM же требуют сложной координации всех узлов на каждом шаге.
Итог
Для больших языковых моделей критически важны низкая латентность, высокая пропускная способность, однородное железо и централизованное управление. Эти условия недостижимы в распределенной сети из домашних ПК. Даже компании вроде Google или OpenAI используют специализированные кластеры с тысячами связанных GPU/TPU через инфраструктуру с микросекундной задержкой и терабитной пропускной способностью.
А вот deepseek-r1:32b на m3 pro.
На 6? :)
Полный комплект MSDN Library был нескольких уровней Subscription и в полном виде занимал десятки CD, емнип что-то типа 42 (сорок два).
Приходило в довольно огромных коробках, потому что кроме самих дисков были еще такие футляры типа фотоальбомов, в которые эти диски вкладывались. И мягкие футляры еще вкладывались в такой пластиковый ящик типа чемоданчика. И куча книг в бумажном виде (реально занимало несколько полок на стеллаже).
Там был весь софт MS, который только выпускался публично, сами дистрибутивы и лицензии (CD keys). Для всех платформ, например Windows NT Server для интел, альфы, powerpc, mips и т.д.
Стоило что-то типа 6 тысяч долларов в год.
У нас на работе такая была :) Ошметки до сих пор есть у меня дома (некоторые CD и пара футляров).
Именно так. Но в условиях реальных санно-гусеничных походов на "Восток" в итоге выяснилось, что гораздо проще, когда он снаружи, капоты снимались и хоть совсем дергай на улицу талью и стрелой (с другой мвшины - на фото есть).
Когда-нибудь кто-нибудь напишет про Красноярск. Лишь бы написали не Бабий и не Макссофт :)))
Я в своем комментарии именно на это и намекал. Что совет "надо на транспорте, не подверженном пробкам" - это довольно смешно для, например, маршрута Красноярск-Емельяново, где ОТ - это только автобус, стоящий в тех же самых пробках на выезде из города у строительства развязки :)