В сети сейчас полно «гуру» и коучей, которые обещают помочь запустить собственную LLM почти на ноутбуке. Да, это технически возможно, но обычно речь идёт о моделях в диапазоне от млн до млрд параметров. Такая модель будет работать, однако — медленно, и её практическая ценность будет ограничена. В результате многие пользователи разочаровываются в локальных LLM
И у меня есть подозрение что люди пытаются скрывать это.
У меня запущен довольно мощный сервер который может упростить работу некоторых сотрудников, но они с упорством осла отказываются его использовать. Видимо понимая тот факт что я буду видеть статистику использования нейросети.
Я использую только локальные LLM. gpt-oss:120b, qwen3:235b, qwen3-next:80b и еще несколько для распознавания изображений. Правда это требует довольно дорогого оборудования. А с текущим бумом на память, наверное очень дорогого.
Ну я например столкнулся с тем что локальные LLM часто быстрей и точней общедоступных онлайн сервисов типа дипсик, гпт или гигачатов.
Еще плюс тут - бесплатность, полная конфидициальность, а главное возможность создания собственных сервисов, ботов и чатов техподдержки полность (ну или почти полностью) без участия человеческого фактора.
Люди боятся, что их заменит искусственный интеллект. При этом возникает типичная дилемма:
Работник старается делать меньше, но просит за свою работу больше, создавая видимость «бурной деятельности».
Работодатель замечает, что сотрудник завышает свою цену, и часто понимает, что она не соответствует его реальной компетенции.
Есть небольшая группа честных работников, которые называют свою реальную стоимость и действительно соответствуют своим навыкам. Такие сотрудники ценятся, и им без колебаний платят.
Когда работодатель решает заменить сотрудника ИИ (если это возможно), ему нужны все скрытые данные о нём. Осознав угрозу, сотрудник может запереть накопленные за время работы сведения, надеясь позже получить от них выгоду. При этом он отрицает пользу нейросетей, не понимая, что технологии могут:
Снять рутину с плеч;
Повысить эффективность;
В дальнейшем увеличить доход, усилив профессиональные знания.
Ну это понятно когда пожилой человек не может понять как пользоваться госуслугами, но когда человек с образованием и не страдающий старческими изменениями пытается запереть себя от использования технологий, убеждая себя в том что это все фейк или просто расширенная версия поисковика!
А если есть интерес потестировать мой сервер то могу дать временный доступ к нему, он в сети на моем домене 24 часа в сутки. Пишите в личку если интересно.
Ну до 10Тб мне как до китая пешком, но 96Gb VRAM есть.
У меня RTX4090 в каждой по 48Гб видеопамяти, итого 96Гб. В магазине такие конечно не продаются, за ними нужно в Китай ехать.
У меня только одна модель не лезет в видеопамять, это qwen3:235b она весит 140Гб. Естественно работает в разы медленней.
В сети сейчас полно «гуру» и коучей, которые обещают помочь запустить собственную LLM почти на ноутбуке. Да, это технически возможно, но обычно речь идёт о моделях в диапазоне от млн до млрд параметров. Такая модель будет работать, однако — медленно, и её практическая ценность будет ограничена. В результате многие пользователи разочаровываются в локальных LLM
2 GPU RTX4090 по 48Гб видеопамяти каждая
Процессор Core I9 14900K
RAM 192Гб DDR5
Модели в основном использую gpt-oss:120b, qwen3:235 и qwen3-next:80b
Сервер принадлежит мне, но собрал для нужд своей организации.
Пишите вопросы которые интересуют, постараюсь ответить как можно детальней.
Ну есть у меня своя нейросеть, почему бы ее не использовать для корректировки своих мыслей?
Я старался, собирал ее, потратил очень много денег на нее и что не могу использовать?
Тут я с вами согласен.
И у меня есть подозрение что люди пытаются скрывать это.
У меня запущен довольно мощный сервер который может упростить работу некоторых сотрудников, но они с упорством осла отказываются его использовать. Видимо понимая тот факт что я буду видеть статистику использования нейросети.
Дрючат втихаря дипсики, гигачаты и алису видимо.
Я использую только локальные LLM. gpt-oss:120b, qwen3:235b, qwen3-next:80b и еще несколько для распознавания изображений. Правда это требует довольно дорогого оборудования. А с текущим бумом на память, наверное очень дорогого.
Ну я например столкнулся с тем что локальные LLM часто быстрей и точней общедоступных онлайн сервисов типа дипсик, гпт или гигачатов.
Еще плюс тут - бесплатность, полная конфидициальность, а главное возможность создания собственных сервисов, ботов и чатов техподдержки полность (ну или почти полностью) без участия человеческого фактора.
Люди боятся, что их заменит искусственный интеллект.
При этом возникает типичная дилемма:
Работник старается делать меньше, но просит за свою работу больше, создавая видимость «бурной деятельности».
Работодатель замечает, что сотрудник завышает свою цену, и часто понимает, что она не соответствует его реальной компетенции.
Есть небольшая группа честных работников, которые называют свою реальную стоимость и действительно соответствуют своим навыкам. Такие сотрудники ценятся, и им без колебаний платят.
Когда работодатель решает заменить сотрудника ИИ (если это возможно), ему нужны все скрытые данные о нём. Осознав угрозу, сотрудник может запереть накопленные за время работы сведения, надеясь позже получить от них выгоду. При этом он отрицает пользу нейросетей, не понимая, что технологии могут:
Снять рутину с плеч;
Повысить эффективность;
В дальнейшем увеличить доход, усилив профессиональные знания.
Ну это понятно когда пожилой человек не может понять как пользоваться госуслугами, но когда человек с образованием и не страдающий старческими изменениями пытается запереть себя от использования технологий, убеждая себя в том что это все фейк или просто расширенная версия поисковика!
Очень интересно какую нейросеть вы используете регулярно?
Но и гугловский ИИ не выиграл, вот в чем вопрос.
Ну значит Opus поучает плюсик в моем рейтинге.
Но есть же возможность запустить свою локальную нейросеть и не зависеть ни от кого.
А во вторых, пока есть возможность использовать нейросети условно бесплатно, почему люди их боятся и отвергают?
Ну да gpt-oss:20b тоже решила.
Работала на одной видеокарте
Но тоже думала минуту.
Сервер жрал полкиловата когда думал.
Щас скачаю 20b, посмотрю что у меня она ответит, думаю с сетью 1 гигабит будет быстро.
только не WDI, а VDI
Но меня это не интересует.
А если есть интерес потестировать мой сервер то могу дать временный доступ к нему, он в сети на моем домене 24 часа в сутки. Пишите в личку если интересно.
Ну раз вы можете запустить gpt-oss:120b у вас тоже неплохое железо.
Я провери эту задачу на 12 моделях, с первого раза решили только 3.