Может ли ИИ размножаться? Anthropic проверила, что для этого уже умеют модели

[Truespb]

Что за скромные запросы?

Ничего не понимаю, в локальных моделях.

Товарищи гуру - какое железо понадобится, какую локальную модель я могу запустить дома, без всякой внешней связи/инета, чтобы кормить её моей обучающей инфой и получать хоть какие-то вменяемые ответы?

Само собой, что размеры накопителей с датой - по умолчанию безграничны. Ну так, от 500 теров, для начала - сойдёт?

[rustydroid]

На твой вопрос отвечает локальная модель Qwen3.6-28B-REAP20-A3B-Q4_K_M, поднятая на старой машинке с i5-2500, 16G DDR3 и GPU AMD Radeon Pro WX 5100 Graphics с 8G, думала 5 минут, скорость 11 т/с. Надо отметить что сама она работает на гораздо более меньшем железе чем тот минимум что описала.

Скрытый текст

Запуск локальной модели без интернета — задача вполне решаемая, но «сensible» (разумные) ответы требуют определенного уровня «железа». 500 ТБ места — это с запасом для любых нужд, но главный ограничитель — это видеопамять (VRAM), а не объем накопителей.

Чтобы модель «думала» и понимала контекст, ей нужно много памяти. Вот три уровня реализации, от «игрового» до «серверного».

Уровень 1: «Энтузиаст» (Один мощный GPU)

Подходит, если бюджет ограничен, но хочется попробовать.

• Видеокарта: NVIDIA GeForce RTX 3090 или 4090 (24 ГБ VRAM).

• Что запустить: Модели на 7–13 миллиардов параметров (например, Llama-3-8B, Mistral-2.5-9B, Qwen2.5-7B).

• Качество ответов: Хорошее для простых задач, письма кода, перевода. Но для сложного анализа больших объемов текста памяти будет мало.

• Обучение: Можно делать тонкую настройку (LoRA) на ваших данных, но объем обучающей выборки будет ограничен (нельзя скормить модели 1000 книг сразу).

• Итог: Это порог входа. Вы получите ответы, но они будут «узкоспециализированными».

Уровень 2: «Золд-мидл» (Многота GPU или Профессиональная карта) — Оптимальный выбор

Чтобы получать действительно умные ответы, вам нужна модель класса 70B (70 миллиардов параметров).

• Видеокарта:

  • Вариант А: Две или три видеокарты RTX 3090/4090 (связанные через NVLink или просто в одной системе). Итого 48–72 ГБ VRAM.

  • Вариант Б: Одна профессиональная карта NVIDIA RTX 6000 Ada (48 ГБ) или A6000 (48 ГБ).

  • Вариант В: Б/У серверная карта NVIDIA A100 (80 ГБ) — очень дорого, но мощно.

• Что запустить: Llama-3-70B (в квантизации Q4/Q5 — сжатая версия).

• Качество ответов: Высокое. Это уровень, когда модель начинает логически рассуждать, понимать сложные инструкции и работать с большим контекстом (до 32-64 тысяч токенов).

• Обучение: Вы сможете скормить ей сотни гигабайт ваших данных и дообучить её (Fine-tune).

• Итог: Это тот уровень, где «кормить её инфой» становится осмысленным.

Уровень 3: «Apple Silicon» (Альтернатива)

Если вы не хотите собирать ПК на Windows/Linux.

• Железо: Mac Studio M2/M3 Max или Ultra с максимальным объемом единой памяти (Unified Memory).

• Память: Нужно минимум 128 ГБ, а лучше 192 ГБ.

• Плюсы: Вы можете загрузить огромную модель (не сжатую) целиком в память.

• Минусы: Обучение (Fine-tune) происходит меднее, чем на NVIDIA (CUDA), и софт сложнее настраивать.

Остальное железо (Системные требования)

Помимо GPU, чтобы система не «захлебнулась» данными:

1. Оперативная память (RAM):

   • Минимум 128 ГБ DDR5 (желательно 256 ГБ).

   • Зачем: Когда вы загружаете модель в видеокарту, часть данных (текст, запрос, ОС) живет в оперативной памяти. Если RAM кончится, система начнет писать на диск, и всё умрет.

2. Процессор (CPU):

   • Любой современный мощный (Ryzen 9 7950X / 9950X или Intel i9-13900K / 14900K).

   • Зачем: CPU помогает подгружать данные с диска в GPU. Чем быстрее процессор, тем быстрее вы увидите ответ.

3. Накопители (Storage):

   • У вас 500 ТБ — это отлично. Но для скорости загрузки весов модели нужны NVMe SSD (PCIe 4.0 или 5.0).

   • Например: 2x Samsung 990 Pro по 2 ТБ.

   • Важно: Обычные HDD или медленные SATA SSD не подойдут для быстрой работы — вы будете ждать загрузки модели 10 минут вместо 3 секунд.

Как это работает (Техническая часть)

1. Скачивание: Вы один раз скачиваете веса модели (например, Llama-3-70B-Instruct-GGUF) на свой диск.

2. Запуск: Вы используете софт (см. ниже). Он загружает модель в GPU.

3. Кормление (Инференс): Вы пишете запрос. Модель генерирует ответ.

4. Обучение (Fine-tuning):

   • Вы не можете обучить модель с нуля (для этого нужны тысячи GPU).

   • Вы используете технику LoRA. Вы берете базовую модель и «прививаете» ей ваши данные (тексты, код, базу знаний).

   • На мощном GPU (уровень 2) это займет от нескольких часов до суток.

Какой софт использовать?

Так как интернета нет, вам нужно всё установить заранее:

1. LM Studio (для Windows/Mac) — самый простой интерфейс “перетащи и запусти”.

2. Ollama (командная строка) — стандарт индустрии, легко интегрируется.

3. Text-Generation-WebUI (Oobabooga) — мощная среда для Windows, позволяет делать Fine-tune (обучение) прямо там.

4. Unsloth — инструмент для очень быстрого обучения моделей на Linux.

Резюме

Чтобы получать вменяемые ответы и реально кормить модель вашей базой знаний:

1. Вам нужен минимум 48 ГБ видеопамяти (две RTX 3090/4090 или одна A100/A6000). С одной картой (24 ГБ) вы будете упираются в потолок.

2. Системная RAM: 128 ГБ+.

3. Диск: Быстрый NVMe SSD.

С 500 ТБ дискового пространства вы сможете хранить терабайты своих текстов, которые модель будет читать в режиме RAG (Retrieval-Augmented Generation), не загружая всё в память, а вытаскивая нужные куски из базы по запросу.

[Wesha]

Модель Gemma4-26B-A4B разделили между ними: каждое устройство хранило небольшую часть нейросети и выполняло соответствующую часть вычислений. Результат передавался дальше по цепочке.

И тут прямо вспомнилось

[riky]

если устройств будет больше то нейронка может работать во много потоков параллельно. при этом количество потоков будет не N * 15. а может быть сильно больше.
т.к. это МоЕ то одновременно считает один ПК, остальные сидят без дела. скорее всего для их узких целей чаще всего будут использоваться лишь несколько экспертов. и выгоднее этих экспертов залить на большее число устройств. если устройств в сети порядка 1000. то возможно половина будет с одним и тем же жкспертом, еще четверть с другим и тд. и можно добится того чтоб большая часть всегда будет генерировать токены, а не как сейчас: 1 генерирует, 14 ждут без дела.
итого например при 1000 устройств будет практически столько же потоков отдельных агентов, роутер просто будет искать хост со свободным экспертом нужного типа. да могут быть нюансы с KV кешем, т.к. его тоже нужно будет таскать (а лучше не таскать, а использовать частично посчитанный на предыдущи итерациях - лучше чем ничего).
да, медленные, но какая им разница, для них времени почти не существует...