Я использую только локальные LLM. gpt-oss:120b, qwen3:235b, qwen3-next:80b и еще несколько для распознавания изображений. Правда это требует довольно дорогого оборудования. А с текущим бумом на память, наверное очень дорогого.
Ну я например столкнулся с тем что локальные LLM часто быстрей и точней общедоступных онлайн сервисов типа дипсик, гпт или гигачатов.
Еще плюс тут - бесплатность, полная конфидициальность, а главное возможность создания собственных сервисов, ботов и чатов техподдержки полность (ну или почти полностью) без участия человеческого фактора.
Люди боятся, что их заменит искусственный интеллект. При этом возникает типичная дилемма:
Работник старается делать меньше, но просит за свою работу больше, создавая видимость «бурной деятельности».
Работодатель замечает, что сотрудник завышает свою цену, и часто понимает, что она не соответствует его реальной компетенции.
Есть небольшая группа честных работников, которые называют свою реальную стоимость и действительно соответствуют своим навыкам. Такие сотрудники ценятся, и им без колебаний платят.
Когда работодатель решает заменить сотрудника ИИ (если это возможно), ему нужны все скрытые данные о нём. Осознав угрозу, сотрудник может запереть накопленные за время работы сведения, надеясь позже получить от них выгоду. При этом он отрицает пользу нейросетей, не понимая, что технологии могут:
Снять рутину с плеч;
Повысить эффективность;
В дальнейшем увеличить доход, усилив профессиональные знания.
Ну это понятно когда пожилой человек не может понять как пользоваться госуслугами, но когда человек с образованием и не страдающий старческими изменениями пытается запереть себя от использования технологий, убеждая себя в том что это все фейк или просто расширенная версия поисковика!
А если есть интерес потестировать мой сервер то могу дать временный доступ к нему, он в сети на моем домене 24 часа в сутки. Пишите в личку если интересно.
У gpt-oss:120b у меня выставлено максимальное контекстное окно для нее в 128К токенов. Она мне больше всего нравится. Есть еще Qwen3:235b, она не лезет в видеопамять, думает долго, но некоторые вопросы решает более детально. Кроме них есть еще 6 моделей, но их не использую почти.
Нет, не по одной. основные сравнения были по написанию кода, гигачат слишком много нужно поправлять, так как делает много ошибок. И иногда что то проще самому написать, чем редактировать его код.
Я использую только локальные LLM. gpt-oss:120b, qwen3:235b, qwen3-next:80b и еще несколько для распознавания изображений. Правда это требует довольно дорогого оборудования. А с текущим бумом на память, наверное очень дорогого.
Ну я например столкнулся с тем что локальные LLM часто быстрей и точней общедоступных онлайн сервисов типа дипсик, гпт или гигачатов.
Еще плюс тут - бесплатность, полная конфидициальность, а главное возможность создания собственных сервисов, ботов и чатов техподдержки полность (ну или почти полностью) без участия человеческого фактора.
Люди боятся, что их заменит искусственный интеллект.
При этом возникает типичная дилемма:
Работник старается делать меньше, но просит за свою работу больше, создавая видимость «бурной деятельности».
Работодатель замечает, что сотрудник завышает свою цену, и часто понимает, что она не соответствует его реальной компетенции.
Есть небольшая группа честных работников, которые называют свою реальную стоимость и действительно соответствуют своим навыкам. Такие сотрудники ценятся, и им без колебаний платят.
Когда работодатель решает заменить сотрудника ИИ (если это возможно), ему нужны все скрытые данные о нём. Осознав угрозу, сотрудник может запереть накопленные за время работы сведения, надеясь позже получить от них выгоду. При этом он отрицает пользу нейросетей, не понимая, что технологии могут:
Снять рутину с плеч;
Повысить эффективность;
В дальнейшем увеличить доход, усилив профессиональные знания.
Ну это понятно когда пожилой человек не может понять как пользоваться госуслугами, но когда человек с образованием и не страдающий старческими изменениями пытается запереть себя от использования технологий, убеждая себя в том что это все фейк или просто расширенная версия поисковика!
Очень интересно какую нейросеть вы используете регулярно?
Но и гугловский ИИ не выиграл, вот в чем вопрос.
Ну значит Opus поучает плюсик в моем рейтинге.
Но есть же возможность запустить свою локальную нейросеть и не зависеть ни от кого.
А во вторых, пока есть возможность использовать нейросети условно бесплатно, почему люди их боятся и отвергают?
Ну да gpt-oss:20b тоже решила.
Работала на одной видеокарте
Но тоже думала минуту.
Сервер жрал полкиловата когда думал.
Щас скачаю 20b, посмотрю что у меня она ответит, думаю с сетью 1 гигабит будет быстро.
только не WDI, а VDI
Но меня это не интересует.
А если есть интерес потестировать мой сервер то могу дать временный доступ к нему, он в сети на моем домене 24 часа в сутки. Пишите в личку если интересно.
Ну раз вы можете запустить gpt-oss:120b у вас тоже неплохое железо.
Я провери эту задачу на 12 моделях, с первого раза решили только 3.
У gpt-oss:120b у меня выставлено максимальное контекстное окно для нее в 128К токенов. Она мне больше всего нравится. Есть еще Qwen3:235b, она не лезет в видеопамять, думает долго, но некоторые вопросы решает более детально. Кроме них есть еще 6 моделей, но их не использую почти.
А почему бы не сравнивать? В жизни вообще то все познается в сравнении.
Вот я сравнил суперкомпьютер Christofari от Сбера со своим сервером и Сбер проиграл.
Еще подобной задачей проверил Grok и GPTChat. GPTChat начал рассуждать и не закончил. Grok ответил мгновенно НО неправильно.
Но, со второго раза на пару минут задумался и ответил правильно.
Такая конфигурация обошлась почти в 1 млн.
Сейчас наверное дороже будет.
Нет, не по одной. основные сравнения были по написанию кода, гигачат слишком много нужно поправлять, так как делает много ошибок. И иногда что то проще самому написать, чем редактировать его код.
Тут только путь ножками в Китай если там нет того кому вы можете доверить и отправить большую кучу денег на покупку таких комплектух.
Есть только одна проблема с этими картами, нужно будет их на водянку переводить, а разбирать боязно.
При нагрузке шумят как взлетающий самолет.
Финальная конфигурация обошлась почти в 1 млн.
Результат использования меня вполне удовлетворяет.
Над переобучением (finetuning) или RAG я пока думаю и собираю необходимый мне датасет. Или вы что то другое имели в виду?