Запускал сегодня huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated на ollama с GPU в docker, интерфейс через open-webui. Около 3-4 токенов/сек на r9 5900x с rtx 2070s. Поиграться Интересная модель для тестирования, но работает удовлетворительно лишь на английском, вероятно, из-за своего размера. Жаль, что в статье нет практических тестов — только пересказ теории из Twitter.
Идея для вас, автор: я тратить деньги не планирую, но ради статьи вы могли бы протестировать полноразмерную модель на 8xH100 от Nvidia. У DigitalOcean есть неплохое предложение ~$23/час.
А если серьезно, то с учетом стоимости API экономический смысл локального запуска модели для большинства задач отсутствует. Единственное, что действительно вызывает беспокойство, — их подход к безопасности. Судя по всему, сервисы они разрабатывают при помощи собственной AI модели.
P.S. В видео, в отличие от оригинала из Twitter, практически ничего не разобрать.
После первого дня использования значительного отличия от o1 я не заметил. Интересной деталью оказалось поведение модели Deepseek R1 при рассуждении о вопросе "Как тебя запустить локально". На русском языке она неожиданно упоминала, что является продуктом OpenAI, тогда как при формулировке того же вопроса на английском вместо OpenAI появлялось название Deepseek, при этом структура ответа оставалась идентичной
Задавая не типовые вопросы, появилось стойкое ощущение что правильные ответы на популярные задачи корректировались вручную. Возможно я изменю свое мнение, после более продолжительного использования.
Почему считают бывшие советские республики как отдельные страны?
Потому как они ими и являются, ответ очевиден.
Но действительно, было бы корректно учесть тех кто переехал до 91 года. Но и тогда были республики, из-за чего текущее упрощение графика является логичным.
У меня есть ПК с установленным Proxmox, который я использую для игр, лаунчерам которых я не доверяю. На vm с windows, GPU Pass-through и KVM. Такая конфигурация действительно может работать стабильно и эффективно, но есть нюанс - античиты популярных игр (например, EAC или BattleEye) не позволяют запускать игру в виртуальной среде. На KVM это можно обойти почти веде, кроме античита у faceit, там за сам факт запуска из под виртуалки можно бан получить (Обсуждал это с их представителем на reddit).О том как это делается, можно почитать на разных форумах для читеров, они сильно продвинулись в этом вопросе и часто используют виртуалки. Для нас, нормальных людей, их опыт тоже будет полезен.
Хорошо бы статью мне написать, но оставлю это тут. Если кратко, то нужно полностью заполнить smbios данными вроде серийного номера производителя мат.платы, uuid и так далее. Удалить драйвера VirtIO из гостевой системы, balloon и прочие. И передать через конфигурацию дополнительные параметры для QEMU. То как это настроено у меня: args: -smp 24,cores=12,threads=2,sockets=1,maxcpus=24 -cpu host,-hypervisor,hv_vendor_id=amd,kvm=off cores: 24 cpu: host
В самой системе, выглядит это примерно так:
Скрытый текст
task manager на моей виртуалке с windows 11
Cores и Logical processors показывают одно значение, и кэш отображается некорректно. Но в остальном, античиты на данном конфиге работают нормально.
Маск однозначно визионер, но стоит ли делать насколько громкие выводы из таких мелочей.
Когда bitcoin был написан, его код был далёк от идеала, а Маск в то время активно прогорал с Tesla на фоне кризиса. Где был тогда его SpaceX, я вообще затрудняюсь ответить. Наверняка у него было чем заняться в то время.
Он проявляет много интереса к криптовалютам, политике и много чему ещё, такая он личность. Но это не говорит нам о том что он их создал.
Скоро браузеры смогут пересказывать статьи, если такой функционал еще не внедрен. Получается, что AI будет и писать, и читать статьи, исключая человека из процесса. Это порождает контент, который не несет ценности даже для его "автора" - того, кто просто инициировал генерацию.
Любой человек может напрямую задать интересующий его вопрос тому же gpt или другой модели и получить ответ. Зачем в этом процессе посредник в виде блога и его автора?
Напоминает, как во времена до AI мы писали курсовые, тезисы и даже дипломы, не вникая в процесс. Просто копировали наиболее подходящую информацию из интернета, рерайтили и собирали что-то вроде коллажа. Бесполезные и бессмысленные тонны текста, которые были нужны лишь для галочки.
Не могу говорить за текущее положение дел, но раньше любой префикс можно было выдать только администратору. Даже без прав, он будет отображаться как админ, для других ботов например, и сможет воспользоваться некоторыми функциями администратора.
Вчера, у товарища отвалились сервера на DO и Hetzner, а выше указанные сервисы скорее всего используют AWS(Twitch точно). Есть подозрения, что вступают в силу ограничения описанные тут: https://habr.com/ru/news/864700/
PS. icmp(ping) ходит, а вот остальное включая ssh не работает. Похоже подсети указанных провайдеров ушли под какой-то фильтр.
Не значительно наверное, но все же странно. Нам показывается Объем свободной RAM / Общий объем RAM. Хотя я тут ожидал увидеть объем занятой памяти, так же как это сделано в любой другой софтине мониторинга памяти.
Да, но в таком случае даже более странно выходит, мы получаем сетевое хранилище - качалку торрентов. Которое в локальной сети в 2.5 раза медленнее отдает файлы чем наш uplink их получает.
По внешнему виду понравилась Corsair K100 Air, разве только подсветку бы отключил. Похожа на мою любимую Logitech K280E. Но как-то жаба душит отдавать 350-400$ за клавиатуру, при том что моя вышеупомянутая logitech во всем меня устраивает.
Для увеличения скорости обмена может быть снять сервера в Москве? Рассматривали такой вариант?
1.16 секунды, это очень много и дело тут явно не в пинге.
Возможно, проблема в самом стороннем API. В том как оно взаимодействует с торговым движком биржи. А может это и вовсе limit order, который заполняется постепенно, в отличии от market-а. Плохо разбираюсь в теме, не читал исходники автора.
P.S,
Указанная сложность статьи не соответствует реальности, тут должна быть "легкая".
Запускал сегодня huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated на ollama с GPU в docker, интерфейс через open-webui. Около 3-4 токенов/сек на r9 5900x с rtx 2070s.
Поиграться Интересная модель для тестирования, но работает удовлетворительно лишь на английском, вероятно, из-за своего размера. Жаль, что в статье нет практических тестов — только пересказ теории из Twitter.
Идея для вас, автор: я тратить деньги не планирую, но ради статьи вы могли бы протестировать полноразмерную модель на 8xH100 от Nvidia. У DigitalOcean есть неплохое предложение ~$23/час.
А если серьезно, то с учетом стоимости API экономический смысл локального запуска модели для большинства задач отсутствует. Единственное, что действительно вызывает беспокойство, — их подход к безопасности. Судя по всему, сервисы они разрабатывают при помощи собственной AI модели.
P.S. В видео, в отличие от оригинала из Twitter, практически ничего не разобрать.
После первого дня использования значительного отличия от o1 я не заметил. Интересной деталью оказалось поведение модели Deepseek R1 при рассуждении о вопросе "Как тебя запустить локально". На русском языке она неожиданно упоминала, что является продуктом OpenAI, тогда как при формулировке того же вопроса на английском вместо OpenAI появлялось название Deepseek, при этом структура ответа оставалась идентичной
Задавая не типовые вопросы, появилось стойкое ощущение что правильные ответы на популярные задачи корректировались вручную. Возможно я изменю свое мнение, после более продолжительного использования.
Потому как они ими и являются, ответ очевиден.
Но действительно, было бы корректно учесть тех кто переехал до 91 года. Но и тогда были республики, из-за чего текущее упрощение графика является логичным.
У меня есть ПК с установленным Proxmox, который я использую для игр, лаунчерам которых я не доверяю. На vm с windows, GPU Pass-through и KVM. Такая конфигурация действительно может работать стабильно и эффективно, но есть нюанс - античиты популярных игр (например, EAC или BattleEye) не позволяют запускать игру в виртуальной среде.
На KVM это можно обойти почти веде, кроме античита у faceit, там за сам факт запуска из под виртуалки можно бан получить (Обсуждал это с их представителем на reddit).О том как это делается, можно почитать на разных форумах для читеров, они сильно продвинулись в этом вопросе и часто используют виртуалки. Для нас, нормальных людей, их опыт тоже будет полезен.
Хорошо бы статью мне написать, но оставлю это тут.
Если кратко, то нужно полностью заполнить smbios данными вроде серийного номера производителя мат.платы, uuid и так далее. Удалить драйвера VirtIO из гостевой системы, balloon и прочие.
И передать через конфигурацию дополнительные параметры для QEMU.
То как это настроено у меня:
args: -smp 24,cores=12,threads=2,sockets=1,maxcpus=24 -cpu host,-hypervisor,hv_vendor_id=amd,kvm=offcores: 24
cpu: host
В самой системе, выглядит это примерно так:
Скрытый текст
Cores и Logical processors показывают одно значение, и кэш отображается некорректно. Но в остальном, античиты на данном конфиге работают нормально.
Надеюсь, мой опыт будет полезен для Вас.
Маск однозначно визионер, но стоит ли делать насколько громкие выводы из таких мелочей.
Когда bitcoin был написан, его код был далёк от идеала, а Маск в то время активно прогорал с Tesla на фоне кризиса. Где был тогда его SpaceX, я вообще затрудняюсь ответить. Наверняка у него было чем заняться в то время.
Он проявляет много интереса к криптовалютам, политике и много чему ещё, такая он личность. Но это не говорит нам о том что он их создал.
Возможно им стоит выпустить 11.1 в будущем. Т.к 8.1 была неплохой системой, чего про любую из версий vista сказать нельзя было...
Скоро браузеры смогут пересказывать статьи, если такой функционал еще не внедрен. Получается, что AI будет и писать, и читать статьи, исключая человека из процесса. Это порождает контент, который не несет ценности даже для его "автора" - того, кто просто инициировал генерацию.
Любой человек может напрямую задать интересующий его вопрос тому же gpt или другой модели и получить ответ. Зачем в этом процессе посредник в виде блога и его автора?
Напоминает, как во времена до AI мы писали курсовые, тезисы и даже дипломы, не вникая в процесс. Просто копировали наиболее подходящую информацию из интернета, рерайтили и собирали что-то вроде коллажа. Бесполезные и бессмысленные тонны текста, которые были нужны лишь для галочки.
Keenetic один из лучших устройство для домашнего использование. Лет 6 с ними, имею пару KN 1810 в активном использовании.
Ноль проблем и одно удовольствие от UI.
На обоих роутерах прописано сотня тысяч маршрутов для 4.5кк адресов, и роутеры работают отлично.
Зачем роутеру NPU, там будет "умный" IDS?
$30 в год, звучит дешево. Лучше откуплюсь, чем поставлю на основное железо 11ю винду. Мне стабильная работа сильно дороже.
Писал такого бота в 2017, но от идеи отказался.
Не могу говорить за текущее положение дел, но раньше любой префикс можно было выдать только администратору. Даже без прав, он будет отображаться как админ, для других ботов например, и сможет воспользоваться некоторыми функциями администратора.
Звучит как монолит на Laravel c Vue через Inertia =)
Не плохой бы сервис вышел, но таким образом мы отказываешься лишь от node.js в данной архитектуре. И даже так, в качестве зависимости он нужен.
Вчера, у товарища отвалились сервера на DO и Hetzner, а выше указанные сервисы скорее всего используют AWS(Twitch точно).
Есть подозрения, что вступают в силу ограничения описанные тут: https://habr.com/ru/news/864700/
PS.
icmp(ping) ходит, а вот остальное включая ssh не работает. Похоже подсети указанных провайдеров ушли под какой-то фильтр.
Не значительно наверное, но все же странно. Нам показывается Объем свободной RAM / Общий объем RAM. Хотя я тут ожидал увидеть объем занятой памяти, так же как это сделано в любой другой софтине мониторинга памяти.
Да, но в таком случае даже более странно выходит, мы получаем сетевое хранилище - качалку торрентов. Которое в локальной сети в 2.5 раза медленнее отдает файлы чем наш uplink их получает.
Дело в том что там LAN 1Gbps, мы никак не сможем утилизировать WAN на 2.5Gbps.
Почему WAN 2.5Gbps, а LAN всего 1G?
Если я захочу подключить 2.5Gbps, что мне с ним делать на этом устройстве.
Не понятная для меня экономия.
PS,
Я тут обнаружил, что ее стоимость 180$ на Amazon по случаю Black Friday. Пользуйтесь информацией, если кому-то она как и мне понравилась.
По внешнему виду понравилась Corsair K100 Air, разве только подсветку бы отключил.
Похожа на мою любимую Logitech K280E. Но как-то жаба душит отдавать 350-400$ за клавиатуру, при том что моя вышеупомянутая logitech во всем меня устраивает.
1.16 секунды, это очень много и дело тут явно не в пинге.
Возможно, проблема в самом стороннем API. В том как оно взаимодействует с торговым движком биржи. А может это и вовсе limit order, который заполняется постепенно, в отличии от market-а. Плохо разбираюсь в теме, не читал исходники автора.
P.S,
Указанная сложность статьи не соответствует реальности, тут должна быть "легкая".