Общие серверы без видеокарт – это экономически и технически оправданный выбор для большинства бизнес‑нагрузок.
Для LLM, особенно больших и требовательных к скорости, видеокарты с достаточным объёмом памяти становятся необходимыми, но их добавление обычно делается только там, где действительно нужна такая производительность.
Твоя мысль о «переплюнувшем» количестве статей действительно заставляет задуматься. Возможно, стоит предложить редакциям добавить рубрику «HR‑взгляд на ИИ»? Тогда читатели получат обе перспективы, а мы сможем увидеть, как технологии влияют на управление персоналом. Что думаешь?
Как выйдет, вставлю новый SSD, установлю, проверю как это работает с моим железом и дополню статью, либо создам новую статью, с учетом комментариев. У меня много железяк для тестирования, времени правда не всегда хватает.
Вам конечно респект что вы возможно хорошо знаете линукс и для вас это все является простой задачей.
Но вы не думаете о том что есть люди, которым хочется это запустить, но знаний линукса у них пока нет или есть только поверхностные. Так вот этот материал для них, не все сразу родились с линуксом в голове.
Я что видимо один из таких, мне несколько дней потребовалось, для того чтобы собрать информацию как вообще запустить этот линукс и с чем его есть. Везде все кусками и часто противоречащими друг другу. Раз десять переустанавливал систему.
Если была бы такая статья, я не потратил бы лишнего времени и мне бы проще было все понять. Но что то многознающие люди не написали такой статьи.
Что касается Docker, да он есть, но когда вы впервые установили линукс, при поиске информации в интернет будет много упоминаний про этот докер, но ни одной статьи в которой описана его работа так сказать на пальцах нету, а главное ни кажому он нужен.
И вообще у меня сложилось такое мнение, возможно ошибочное, линуксоиды считают всех кто не знает линукс людьми третьего сорта, так как часто при вопросе от новичка начинают его высказывать умные слова, вместо того что бы просто объяснить простыми словами. Уж не примите это за оскорбление.
Чем я потихоньку и занимаюсь, RAG в принципе работает неплохо. А файнтюнить получается с переменным успехом, железо позволяет, но приходится изучать много нового для себя. тот же пайтон, я всю жизнь писал на СИ, PHP и javascript.
В сети сейчас полно «гуру» и коучей, которые обещают помочь запустить собственную LLM почти на ноутбуке. Да, это технически возможно, но обычно речь идёт о моделях в диапазоне от млн до млрд параметров. Такая модель будет работать, однако — медленно, и её практическая ценность будет ограничена. В результате многие пользователи разочаровываются в локальных LLM
Это неплохо, но без GPU эта модель будет очень сильно тормозить
А вы что так переживаете? Не нужно нервничать, нервы не восстанавливаются.
Будьте позитивней.
Ну уже результат, а какие характеристики вашего ПК? раз туда 49Гб влезло.
А более обоснованно вы можете ответить?
Общие серверы без видеокарт – это экономически и технически оправданный выбор для большинства бизнес‑нагрузок. Для LLM, особенно больших и требовательных к скорости, видеокарты с достаточным объёмом памяти становятся необходимыми, но их добавление обычно делается только там, где действительно нужна такая производительность.
Твоя мысль о «переплюнувшем» количестве статей действительно заставляет задуматься. Возможно, стоит предложить редакциям добавить рубрику «HR‑взгляд на ИИ»? Тогда читатели получат обе перспективы, а мы сможем увидеть, как технологии влияют на управление персоналом. Что думаешь?
А зачем, мне пока не нужно
Ну я вообще то сравнивал даже с GPT 5 и результат не в пользу GPT 5
Мне пока больше всего нравится gpt-oss:120b?
Но на 5060 с ней не поиграться
Как выйдет, вставлю новый SSD, установлю, проверю как это работает с моим железом и дополню статью, либо создам новую статью, с учетом комментариев. У меня много железяк для тестирования, времени правда не всегда хватает.
Поправил недочет.
И еще маленький вопрос, вы используете локальный LLM сервер? Если да, то можно поинтересоваться его характеристиками?
Если ваш сервер очень мощный, пусть читатели за вас порадуются, ну и возможно позавидуют белой завистью.
Фигня в чем?
На его основе не получится запустить удаленный сервер для LLM?
Вам конечно респект что вы возможно хорошо знаете линукс и для вас это все является простой задачей.
Но вы не думаете о том что есть люди, которым хочется это запустить, но знаний линукса у них пока нет или есть только поверхностные. Так вот этот материал для них, не все сразу родились с линуксом в голове.
Я что видимо один из таких, мне несколько дней потребовалось, для того чтобы собрать информацию как вообще запустить этот линукс и с чем его есть. Везде все кусками и часто противоречащими друг другу. Раз десять переустанавливал систему.
Если была бы такая статья, я не потратил бы лишнего времени и мне бы проще было все понять. Но что то многознающие люди не написали такой статьи.
Что касается Docker, да он есть, но когда вы впервые установили линукс, при поиске информации в интернет будет много упоминаний про этот докер, но ни одной статьи в которой описана его работа так сказать на пальцах нету, а главное ни кажому он нужен.
И вообще у меня сложилось такое мнение, возможно ошибочное, линуксоиды считают всех кто не знает линукс людьми третьего сорта, так как часто при вопросе от новичка начинают его высказывать умные слова, вместо того что бы просто объяснить простыми словами. Уж не примите это за оскорбление.
потому что она с графическим интерфейсом и новичку будет проще.
Пусть я буду любителем, но пока хватает, позже может еще стролько же добавлю.
Чем я потихоньку и занимаюсь, RAG в принципе работает неплохо. А файнтюнить получается с переменным успехом, железо позволяет, но приходится изучать много нового для себя. тот же пайтон, я всю жизнь писал на СИ, PHP и javascript.
Ну до 10Тб мне как до китая пешком, но 96Gb VRAM есть.
У меня RTX4090 в каждой по 48Гб видеопамяти, итого 96Гб. В магазине такие конечно не продаются, за ними нужно в Китай ехать.
У меня только одна модель не лезет в видеопамять, это qwen3:235b она весит 140Гб. Естественно работает в разы медленней.
В сети сейчас полно «гуру» и коучей, которые обещают помочь запустить собственную LLM почти на ноутбуке. Да, это технически возможно, но обычно речь идёт о моделях в диапазоне от млн до млрд параметров. Такая модель будет работать, однако — медленно, и её практическая ценность будет ограничена. В результате многие пользователи разочаровываются в локальных LLM