Search
Write a publication
Pull to refresh
39
0
cadmi @cadmi

User

Send message

Всегда таким привожу в пример себя (10 семестров физфака со средним баллом зачетки 4.7 и отчислен с последней, 10 сессии, да, так бывает, мы учились 5.5 лет, то есть 11 семестров) и спрашиваю: куда отнесете? К первым? Ко вторым? :)

Диплома у меня, допустим, нет. А образование есть? :)

Вы у автора перевода спрашиваете?

Рядом с Транссибом оказалась деревня Кривощёково, а не Новониколаевск :)

А еще к вопросу безопасности, вы забиваете в свой код credentials позволяющие, допустим, управлять инстансами VM... Угадайте что произойдет если это сервис сломают?

Ну вот с этого места всё понятно - автор комментария не то что не использовал, а даже документацию не читал. Но осуждает.

Этот бы возмущенный комментарий да в производительное русло.

Переводчику эти вопросы задавать бесполезно, они становятся риторическими.

Вскоре автор найдёт ещё Msty и мы увидим на Хабре продолжение статьи, будет написано, чем лучше Jan.ai :-)

Нет, не подходят. Давайте попросим R1 объяснить, почему :)

Объясни любопытному человеку, почему большую языковую модель (как deepseek‑r1, например) нельзя запустить на персональных компьютерах 1000 добровольцев. Объясни ему про важность latency, пропускную способность между узлами и другие значимые для производительности факторы.

Вот почему запуск большой языковой модели (LLM) вроде DeepSeek-R1 на тысяче персональных компьютеров (ПК) добровольцев технически крайне сложен или даже невозможен:

1. Проблема с памятью (VRAM/ОЗУ)

  • Размер модели: Современные LLM содержат миллиарды параметров. Например, модель с 70 млрд параметров в формате float16 занимает около 140 ГБ памяти. Даже если разделить её на 1000 узлов, каждому потребуется обрабатывать ~70 млн параметров, но:

    • Сложность распределения: Нейросети — не набор независимых блоков. Их слои связаны, и для вычислений требуется синхронизация всех параметров на каждом шаге.

    • Минимальные требования: Даже для инференса (генерации ответов) современные LLM требуют десятки гигабайт видеопамяти (VRAM). У большинства ПК её просто нет (домашние GPU обычно имеют 6–12 ГБ VRAM).

2. Латентность (Latency)

  • Задержка связи: Для совместной работы узлы должны постоянно обмениваться данными. Даже при идеальном интернете пинг между добровольцами будет 50–500 мс, а для нейросетевых операций требуется синхронизация каждые несколько микросекунд.

  • Накопление задержек: В LLM каждый токен генерируется последовательно. Если на генерацию одного слова уходит 1 секунда из-за задержек связи, ответ из 20 слов займет 20 секунд — это неприемлемо для пользователей.

3. Пропускная способность сети

  • Объем данных: При распределенных вычислениях узлы обмениваются градиентами, активациями и параметрами. Для модели с 70 млрд параметров это сотни гигабайт данных на каждую итерацию.

  • Ограничения домашнего интернета: У большинства добровольцев скорость загрузки (upload) не превышает 10–100 Мбит/с. Передача 1 ГБ данных займет 2–20 минут — это делает обучение или даже инференс невозможным.

4. Гетерогенность оборудования

  • Разная производительность: У одних участников могут быть мощные GPU (RTX 4090), у других — слабые CPU или интегрированная графика. Самый медленный узел станет «бутылочным горлышком».

  • Несовместимость: Для эффективной работы нужна единая программная среда (CUDA, драйверы, библиотеки). На 1000 ПК это нереалистично.

5. Надежность системы

  • Отказы узлов: Если 1 из 1000 компьютеров отключится во время вычислений, вся система может «упасть». Такие сбои будут происходить постоянно.

  • Непредсказуемая нагрузка: Добровольцы могут использовать свои ПК для других задач (игры, работа), что приведет к резкому падению производительности.

6. Энергоэффективность

  • Вычисления на GPU/TPU в дата-центрах оптимизированы для минимизации энергопотребления. На домашних ПК с их КПД ~50% затраты энергии будут в 5–10 раз выше.

7. Безопасность

  • Утечка данных: Передача промежуточных результатов между узлами повышает риск перехвата конфиденциальной информации (например, персональных данных в запросах).

  • Атаки на модель: Злоумышленники могут намеренно искажать вычисления на своих узлах, «ломая» работу модели.

Почему это работает для проектов вроде SETI@home, но не для LLM?

  • SETI@home обрабатывает независимые задачи (анализ радиосигналов), где задержка и синхронизация не критичны. LLM же требуют сложной координации всех узлов на каждом шаге.

Итог

Для больших языковых моделей критически важны низкая латентностьвысокая пропускная способностьоднородное железо и централизованное управление. Эти условия недостижимы в распределенной сети из домашних ПК. Даже компании вроде Google или OpenAI используют специализированные кластеры с тысячами связанных GPU/TPU через инфраструктуру с микросекундной задержкой и терабитной пропускной способностью.

А вот deepseek-r1:32b на m3 pro.

Ответ
Ответ
Рассуждения
Рассуждения

На 6? :)

Полный комплект MSDN Library был нескольких уровней Subscription и в полном виде занимал десятки CD, емнип что-то типа 42 (сорок два).

Приходило в довольно огромных коробках, потому что кроме самих дисков были еще такие футляры типа фотоальбомов, в которые эти диски вкладывались. И мягкие футляры еще вкладывались в такой пластиковый ящик типа чемоданчика. И куча книг в бумажном виде (реально занимало несколько полок на стеллаже).

Там был весь софт MS, который только выпускался публично, сами дистрибутивы и лицензии (CD keys). Для всех платформ, например Windows NT Server для интел, альфы, powerpc, mips и т.д.

Стоило что-то типа 6 тысяч долларов в год.

У нас на работе такая была :) Ошметки до сих пор есть у меня дома (некоторые CD и пара футляров).

Именно так. Но в условиях реальных санно-гусеничных походов на "Восток" в итоге выяснилось, что гораздо проще, когда он снаружи, капоты снимались и хоть совсем дергай на улицу талью и стрелой (с другой мвшины - на фото есть).

Когда-нибудь кто-нибудь напишет про Красноярск. Лишь бы написали не Бабий и не Макссофт :)))

Я в своем комментарии именно на это и намекал. Что совет "надо на транспорте, не подверженном пробкам" - это довольно смешно для, например, маршрута Красноярск-Емельяново, где ОТ - это только автобус, стоящий в тех же самых пробках на выезде из города у строительства развязки :)

кроме Мск и СПб в Российского Федерации существует еще штук 14 (емнип) только миллионников, а кроме них бывают и другие города, как ни странно, но тоже с аэропортами

у автора со словом "протокол" в посте вообще беда.

Классические протоколы, такие как Wireguard и Outline


waaait? шта?

Ваш тезис абсолютно понятен и имеет право на существование, но в свою очередь отмечу, что все же существует и существенная разница между "юнгой принеси-подай", "неоднократно наблюдал" и "работал самостоятельно, в том числе абсолютно самостоятельно в ночные смены", "перезапускал после сбоев" и "диагностировал проблемы с накопителями, контроллером каналов и памятью".

Ну почему, мой препод в университете (1993 год, он был аспирантом) умел в это. Сейчас ему слегка за полтос.

Некрокоммент, но Sentry основана в 2011, а "интересный парень" Армин в компании работает с 2015. Всё ещё иронично? :)

This app is available only on the App Store for iPhone, iPad, and Apple Watch.

А для десктопного Mac (которое и делал автор) "приложения самого Yelp" нет.

Считалось, что КГУ - это Казанский (в котором учился Ленин, и который на 165 лет старше), поэтому формально КрасГУ. Но внутри города был КГУ, конечно, кто там станет язык ломать.

1
23 ...

Information

Rating
7,937-th
Location
Россия
Date of birth
Registered
Activity