Все зависит от задач, которые будете давать. У меня на мелких задачах по извлечению данных из небольших текстов, по категоризации мелких запросов нормально работают модели 8B (llama3.1, deepseek-r1 - эта из-за рассуждений своих конечно медленней работает) на макбуке air m1 2021 с 16 ГБ RAM. В среде Ollama + Open-webui в докере
UPD нормально = секунды 3 на llama, и секунд 30-60 deepseek
в тг есть паблик LLM под капотом. Там есть чат. Можно читать и задавать вопросы, много всего полезного. Я только начинаю погружаться, но скорее всего вам подойдет технология RAG. Fine Tuning очень ресурсозатратный.
RAG: * свою базу знаний разбиваете на кусочки (мини-статьи/абзацы) * делается база с этими кусочками (векторная) * при запросе к LLM сначала через скрипт определяется к какими кусочками есть пересечение * далее в LLM скрипт уже передает запрос вида: Вот тебе куски из статей +- по этой теме, , дай ответ на заданный вопрос по ним
Про интернет не подскажу - скорее всего надо чтобы модель умела делать поиски в гугле и анализировала потом уже ответы (помоему это делается через Tools или Agents)
Все зависит от задач, которые будете давать. У меня на мелких задачах по извлечению данных из небольших текстов, по категоризации мелких запросов нормально работают модели 8B (llama3.1, deepseek-r1 - эта из-за рассуждений своих конечно медленней работает) на макбуке air m1 2021 с 16 ГБ RAM. В среде Ollama + Open-webui в докере
UPD нормально = секунды 3 на llama, и секунд 30-60 deepseek
в тг есть паблик LLM под капотом. Там есть чат. Можно читать и задавать вопросы, много всего полезного. Я только начинаю погружаться, но скорее всего вам подойдет технология RAG. Fine Tuning очень ресурсозатратный.
RAG:
* свою базу знаний разбиваете на кусочки (мини-статьи/абзацы)
* делается база с этими кусочками (векторная)
* при запросе к LLM сначала через скрипт определяется к какими кусочками есть пересечение
* далее в LLM скрипт уже передает запрос вида: Вот тебе куски из статей +- по этой теме, , дай ответ на заданный вопрос по ним
Про интернет не подскажу - скорее всего надо чтобы модель умела делать поиски в гугле и анализировала потом уже ответы (помоему это делается через Tools или Agents)
Между взломом и уничтожением может проходить несколько месяцев. За это время хакеры и структуру сети изучат, и учетки с компами админов захватят.