Всегда таким привожу в пример себя (10 семестров физфака со средним баллом зачетки 4.7 и отчислен с последней, 10 сессии, да, так бывает, мы учились 5.5 лет, то есть 11 семестров) и спрашиваю: куда отнесете? К первым? Ко вторым? :)
Диплома у меня, допустим, нет. А образование есть? :)
А еще к вопросу безопасности, вы забиваете в свой код credentials позволяющие, допустим, управлять инстансами VM... Угадайте что произойдет если это сервис сломают?
Ну вот с этого места всё понятно - автор комментария не то что не использовал, а даже документацию не читал. Но осуждает.
Этот бы возмущенный комментарий да в производительное русло.
Нет, не подходят. Давайте попросим R1 объяснить, почему :)
Объясни любопытному человеку, почему большую языковую модель (как deepseek‑r1, например) нельзя запустить на персональных компьютерах 1000 добровольцев. Объясни ему про важность latency, пропускную способность между узлами и другие значимые для производительности факторы.
Вот почему запуск большой языковой модели (LLM) вроде DeepSeek-R1 на тысяче персональных компьютеров (ПК) добровольцев технически крайне сложен или даже невозможен:
1. Проблема с памятью (VRAM/ОЗУ)
Размер модели: Современные LLM содержат миллиарды параметров. Например, модель с 70 млрд параметров в формате float16 занимает около 140 ГБ памяти. Даже если разделить её на 1000 узлов, каждому потребуется обрабатывать ~70 млн параметров, но:
Сложность распределения: Нейросети — не набор независимых блоков. Их слои связаны, и для вычислений требуется синхронизация всех параметров на каждом шаге.
Минимальные требования: Даже для инференса (генерации ответов) современные LLM требуют десятки гигабайт видеопамяти (VRAM). У большинства ПК её просто нет (домашние GPU обычно имеют 6–12 ГБ VRAM).
2. Латентность (Latency)
Задержка связи: Для совместной работы узлы должны постоянно обмениваться данными. Даже при идеальном интернете пинг между добровольцами будет 50–500 мс, а для нейросетевых операций требуется синхронизация каждые несколько микросекунд.
Накопление задержек: В LLM каждый токен генерируется последовательно. Если на генерацию одного слова уходит 1 секунда из-за задержек связи, ответ из 20 слов займет 20 секунд — это неприемлемо для пользователей.
3. Пропускная способность сети
Объем данных: При распределенных вычислениях узлы обмениваются градиентами, активациями и параметрами. Для модели с 70 млрд параметров это сотни гигабайт данных на каждую итерацию.
Ограничения домашнего интернета: У большинства добровольцев скорость загрузки (upload) не превышает 10–100 Мбит/с. Передача 1 ГБ данных займет 2–20 минут — это делает обучение или даже инференс невозможным.
4. Гетерогенность оборудования
Разная производительность: У одних участников могут быть мощные GPU (RTX 4090), у других — слабые CPU или интегрированная графика. Самый медленный узел станет «бутылочным горлышком».
Несовместимость: Для эффективной работы нужна единая программная среда (CUDA, драйверы, библиотеки). На 1000 ПК это нереалистично.
5. Надежность системы
Отказы узлов: Если 1 из 1000 компьютеров отключится во время вычислений, вся система может «упасть». Такие сбои будут происходить постоянно.
Непредсказуемая нагрузка: Добровольцы могут использовать свои ПК для других задач (игры, работа), что приведет к резкому падению производительности.
6. Энергоэффективность
Вычисления на GPU/TPU в дата-центрах оптимизированы для минимизации энергопотребления. На домашних ПК с их КПД ~50% затраты энергии будут в 5–10 раз выше.
7. Безопасность
Утечка данных: Передача промежуточных результатов между узлами повышает риск перехвата конфиденциальной информации (например, персональных данных в запросах).
Атаки на модель: Злоумышленники могут намеренно искажать вычисления на своих узлах, «ломая» работу модели.
Почему это работает для проектов вроде SETI@home, но не для LLM?
SETI@home обрабатывает независимые задачи (анализ радиосигналов), где задержка и синхронизация не критичны. LLM же требуют сложной координации всех узлов на каждом шаге.
Итог
Для больших языковых моделей критически важны низкая латентность, высокая пропускная способность, однородное железо и централизованное управление. Эти условия недостижимы в распределенной сети из домашних ПК. Даже компании вроде Google или OpenAI используют специализированные кластеры с тысячами связанных GPU/TPU через инфраструктуру с микросекундной задержкой и терабитной пропускной способностью.
Полный комплект MSDN Library был нескольких уровней Subscription и в полном виде занимал десятки CD, емнип что-то типа 42 (сорок два).
Приходило в довольно огромных коробках, потому что кроме самих дисков были еще такие футляры типа фотоальбомов, в которые эти диски вкладывались. И мягкие футляры еще вкладывались в такой пластиковый ящик типа чемоданчика. И куча книг в бумажном виде (реально занимало несколько полок на стеллаже).
Там был весь софт MS, который только выпускался публично, сами дистрибутивы и лицензии (CD keys). Для всех платформ, например Windows NT Server для интел, альфы, powerpc, mips и т.д.
Стоило что-то типа 6 тысяч долларов в год.
У нас на работе такая была :) Ошметки до сих пор есть у меня дома (некоторые CD и пара футляров).
Именно так. Но в условиях реальных санно-гусеничных походов на "Восток" в итоге выяснилось, что гораздо проще, когда он снаружи, капоты снимались и хоть совсем дергай на улицу талью и стрелой (с другой мвшины - на фото есть).
Я в своем комментарии именно на это и намекал. Что совет "надо на транспорте, не подверженном пробкам" - это довольно смешно для, например, маршрута Красноярск-Емельяново, где ОТ - это только автобус, стоящий в тех же самых пробках на выезде из города у строительства развязки :)
кроме Мск и СПб в Российского Федерации существует еще штук 14 (емнип) только миллионников, а кроме них бывают и другие города, как ни странно, но тоже с аэропортами
Ваш тезис абсолютно понятен и имеет право на существование, но в свою очередь отмечу, что все же существует и существенная разница между "юнгой принеси-подай", "неоднократно наблюдал" и "работал самостоятельно, в том числе абсолютно самостоятельно в ночные смены", "перезапускал после сбоев" и "диагностировал проблемы с накопителями, контроллером каналов и памятью".
Считалось, что КГУ - это Казанский (в котором учился Ленин, и который на 165 лет старше), поэтому формально КрасГУ. Но внутри города был КГУ, конечно, кто там станет язык ломать.
Всегда таким привожу в пример себя (10 семестров физфака со средним баллом зачетки 4.7 и отчислен с последней, 10 сессии, да, так бывает, мы учились 5.5 лет, то есть 11 семестров) и спрашиваю: куда отнесете? К первым? Ко вторым? :)
Диплома у меня, допустим, нет. А образование есть? :)
Вы у автора перевода спрашиваете?
Рядом с Транссибом оказалась деревня Кривощёково, а не Новониколаевск :)
Ну вот с этого места всё понятно - автор комментария не то что не использовал, а даже документацию не читал. Но осуждает.
Этот бы возмущенный комментарий да в производительное русло.
Переводчику эти вопросы задавать бесполезно, они становятся риторическими.
Как-то совсем не упомянут Mistral.
Вскоре автор найдёт ещё Msty и мы увидим на Хабре продолжение статьи, будет написано, чем лучше Jan.ai :-)
Нет, не подходят. Давайте попросим R1 объяснить, почему :)
Вот почему запуск большой языковой модели (LLM) вроде DeepSeek-R1 на тысяче персональных компьютеров (ПК) добровольцев технически крайне сложен или даже невозможен:
1. Проблема с памятью (VRAM/ОЗУ)
Размер модели: Современные LLM содержат миллиарды параметров. Например, модель с 70 млрд параметров в формате float16 занимает около 140 ГБ памяти. Даже если разделить её на 1000 узлов, каждому потребуется обрабатывать ~70 млн параметров, но:
Сложность распределения: Нейросети — не набор независимых блоков. Их слои связаны, и для вычислений требуется синхронизация всех параметров на каждом шаге.
Минимальные требования: Даже для инференса (генерации ответов) современные LLM требуют десятки гигабайт видеопамяти (VRAM). У большинства ПК её просто нет (домашние GPU обычно имеют 6–12 ГБ VRAM).
2. Латентность (Latency)
Задержка связи: Для совместной работы узлы должны постоянно обмениваться данными. Даже при идеальном интернете пинг между добровольцами будет 50–500 мс, а для нейросетевых операций требуется синхронизация каждые несколько микросекунд.
Накопление задержек: В LLM каждый токен генерируется последовательно. Если на генерацию одного слова уходит 1 секунда из-за задержек связи, ответ из 20 слов займет 20 секунд — это неприемлемо для пользователей.
3. Пропускная способность сети
Объем данных: При распределенных вычислениях узлы обмениваются градиентами, активациями и параметрами. Для модели с 70 млрд параметров это сотни гигабайт данных на каждую итерацию.
Ограничения домашнего интернета: У большинства добровольцев скорость загрузки (upload) не превышает 10–100 Мбит/с. Передача 1 ГБ данных займет 2–20 минут — это делает обучение или даже инференс невозможным.
4. Гетерогенность оборудования
Разная производительность: У одних участников могут быть мощные GPU (RTX 4090), у других — слабые CPU или интегрированная графика. Самый медленный узел станет «бутылочным горлышком».
Несовместимость: Для эффективной работы нужна единая программная среда (CUDA, драйверы, библиотеки). На 1000 ПК это нереалистично.
5. Надежность системы
Отказы узлов: Если 1 из 1000 компьютеров отключится во время вычислений, вся система может «упасть». Такие сбои будут происходить постоянно.
Непредсказуемая нагрузка: Добровольцы могут использовать свои ПК для других задач (игры, работа), что приведет к резкому падению производительности.
6. Энергоэффективность
Вычисления на GPU/TPU в дата-центрах оптимизированы для минимизации энергопотребления. На домашних ПК с их КПД ~50% затраты энергии будут в 5–10 раз выше.
7. Безопасность
Утечка данных: Передача промежуточных результатов между узлами повышает риск перехвата конфиденциальной информации (например, персональных данных в запросах).
Атаки на модель: Злоумышленники могут намеренно искажать вычисления на своих узлах, «ломая» работу модели.
Почему это работает для проектов вроде SETI@home, но не для LLM?
SETI@home обрабатывает независимые задачи (анализ радиосигналов), где задержка и синхронизация не критичны. LLM же требуют сложной координации всех узлов на каждом шаге.
Итог
Для больших языковых моделей критически важны низкая латентность, высокая пропускная способность, однородное железо и централизованное управление. Эти условия недостижимы в распределенной сети из домашних ПК. Даже компании вроде Google или OpenAI используют специализированные кластеры с тысячами связанных GPU/TPU через инфраструктуру с микросекундной задержкой и терабитной пропускной способностью.
А вот deepseek-r1:32b на m3 pro.
На 6? :)
Полный комплект MSDN Library был нескольких уровней Subscription и в полном виде занимал десятки CD, емнип что-то типа 42 (сорок два).
Приходило в довольно огромных коробках, потому что кроме самих дисков были еще такие футляры типа фотоальбомов, в которые эти диски вкладывались. И мягкие футляры еще вкладывались в такой пластиковый ящик типа чемоданчика. И куча книг в бумажном виде (реально занимало несколько полок на стеллаже).
Там был весь софт MS, который только выпускался публично, сами дистрибутивы и лицензии (CD keys). Для всех платформ, например Windows NT Server для интел, альфы, powerpc, mips и т.д.
Стоило что-то типа 6 тысяч долларов в год.
У нас на работе такая была :) Ошметки до сих пор есть у меня дома (некоторые CD и пара футляров).
Именно так. Но в условиях реальных санно-гусеничных походов на "Восток" в итоге выяснилось, что гораздо проще, когда он снаружи, капоты снимались и хоть совсем дергай на улицу талью и стрелой (с другой мвшины - на фото есть).
Когда-нибудь кто-нибудь напишет про Красноярск. Лишь бы написали не Бабий и не Макссофт :)))
Я в своем комментарии именно на это и намекал. Что совет "надо на транспорте, не подверженном пробкам" - это довольно смешно для, например, маршрута Красноярск-Емельяново, где ОТ - это только автобус, стоящий в тех же самых пробках на выезде из города у строительства развязки :)
кроме Мск и СПб в Российского Федерации существует еще штук 14 (емнип) только миллионников, а кроме них бывают и другие города, как ни странно, но тоже с аэропортами
у автора со словом "протокол" в посте вообще беда.
waaait? шта?
Ваш тезис абсолютно понятен и имеет право на существование, но в свою очередь отмечу, что все же существует и существенная разница между "юнгой принеси-подай", "неоднократно наблюдал" и "работал самостоятельно, в том числе абсолютно самостоятельно в ночные смены", "перезапускал после сбоев" и "диагностировал проблемы с накопителями, контроллером каналов и памятью".
Ну почему, мой препод в университете (1993 год, он был аспирантом) умел в это. Сейчас ему слегка за полтос.
Некрокоммент, но Sentry основана в 2011, а "интересный парень" Армин в компании работает с 2015. Всё ещё иронично? :)
This app is available only on the App Store for iPhone, iPad, and Apple Watch.
А для десктопного Mac (которое и делал автор) "приложения самого Yelp" нет.
Считалось, что КГУ - это Казанский (в котором учился Ленин, и который на 165 лет старше), поэтому формально КрасГУ. Но внутри города был КГУ, конечно, кто там станет язык ломать.