Оно вполне себе... ползало на Tesla P40 + RTX 4060Ti (пока с P40 проблемы не начались) llama 3 70b врёт не заикаясь, и с хотя с причинно-следственными связами у неё лучше, чем у llama 2, её ничего нельзя доверить. Даже "поменяй пожалуйста формат этих данных"
Насколько я помню, в Wayland не было какой-то фичи нужной драйверу nvidia для работы с переменной частотой обновления. В результате оно работало на Xorg, но не работало на Wayland.
Он в перманентном development hell. Там приложение не может свой значёк окна поменять или расставить свои окна как оно считает нужным. И они только полгода назад vsync на картах nvidia исправили.
Я тут должен добавить что Bryan Lunduke не разу ни является нейтральной стороной и у него есть свои при претензии к Red Hat. С другой стороны, он был единственным технологическим ютубером из тех что появляются у меня в рекомендациях, который рассказал о бане Российских мэйнтейнеров ядра Linux.
Приветствую. Похоже один из ваших клиентов использует либо решил создать дубликат собственного сервиса и "некропостить" старых пользователей (с 2016г), либо использует украденную базу другого сервиса.
Я получатель рассылки на которую не подписывался, почта относительно уникальна и была в базе потому что в 2016 выполнял работы для компании и на этот адрес был привязан тестовый аккаунт. С 2016 практически не использовалась (как и до, это специфический ящик на личном домене). Можно ли принять какие-то меры по этому поводу к спамеру?
Дополнительная проблема состоит в том, что на Яндексе невозможно отправить в Спам все письма с вашего сервиса. То: что я пометил как спам улетает в спам, новые же - опять во входящих. Кнопку "отписаться" использовать не буду принципиально, так как не подписывался.
Что вообще первично: смысл или участие ИИ в создании текста?
Почему-то пропустил этот вопрос. Проблема в том, что участие ИИ в создание текста результат удучшает редко. С чего вдруг автор решил, что не смотря на то, LLM не может написать текст на тему, о которой пишет автор, LLM вдруг сможет дать ему адекватные советы по стилю?
Более того, текст написанный с помочью LLM "тригеррит" те же признаки, что и текст, написанный LLM целиком. И я персонально я не хочу разбираться в разных сортах вот этого вот. Если я вижу стиль LLM - я просто больше никогда не буду читать этого автора.
Есть обычные предложения, есть длинные предложения, есть предложения написанные Гоголем, а есть текст от LLM. Проблема не в длине предложений, а в их целесообразности. LLM имеет склонность стоить длинные предложения ради длинных предложений. Быть может вы видели мем - gif с грузовиком с разных ракурсов, который никак не врежется в столб. Тексты от LLM ощущаются именно как эта gif.
Это совершенно точно лучше, чем установка языка в аккаунте на сейте, но для этого вам нужно зарегистрироваться на сайте некорректно выбранным языком и найти этот пукнт в настройках (Гугл, ты совсем того? Блогспот таким же страдает)
Воздух в помещении всё таки должен вентилироваться. У меня прошлым летом кондишка в 35С потекла внутри помещения. Выключать при такой погоде не вариант, пришлось пластиковый ящик ставить чтоб в него текла. За сутки литров 50 набралось.
Я поспорю с тезисом что LLM может повысить качество. LLM чаще всего просто наливает воды в текст, причём всегда используя одни и те же обороты. Если вы видите в фразу "delve into <topic>" вместо "dive into <topic>" - это 99% AI. (0.95% человек который читал слишком много AI текстов и 0.05% - выходец из ЮАР)
Вот это коммент - отличный пример почему люди не любят LLM-тексты. Букв много, а смысла почти нет. Смотришь на это счастье, и хочется tl;dr у этой самой нейронки спросить.
При всём уважении, статья на волне хайпа. > Сейчас доступно 2 модели: Все они доступны. То, что вы видите - это featured модели, а не доступные в принципе. Просто наберите "R1 Distill" в поиск, или посмотрите модели вот этого пользователя: https://huggingface.co/bartowski
Запускать любую сетку, а особенно большую на CPU обычного ПК - идея довольно плохая. Оно в доступ к памяти упирается.
Ещё, если у вас DDR5 и Intel 12 gen - отключите e-cores в UEFI. p-cores поддерживают частоту 4800GHz, e-cores - только 3300, в результате когда они активны (в на Windows они активны всегда) - частота внутренней шины снижается до 3300GHz.
LM Studio самое "User Friendly" приложение. Проприетарное. На Windows вы просто качаете инсталятор, ставите приложение, качаете через него совместимые с вашим ПК кванты модели и запускаете LLM. Всё. - Встроенный GUI поддерживает RAG (загрузить документы в чат), но не без багов. - Поддерживает некоторое Vision модели (Поддерживает LLaVa, не поддерживает llama 3.2-vision). - Может быть сервером, пытается симулировать OpenAI API но функционал явно work in progress. Невозможно управлять токенизацией.
Ollama - Open Source, MIT - ставится как сервис, нет интерфейса, работает только через сеть. Делает это намного лучше чем LM Studio, но вам придётся ставить один из веб-интерфейсов (и я не смог заставить работать нормально ни один их них) - Управление через терминал - Поддерживает llama 3.2 vision
Формат моделей LM Studio и Ollama не совместим, к сожалению. Так что если вы хотите использовать и то и то - этак 70Gb будут лежать на диске у вас дважды. В итоге у меня Ollama стоит, но использую я LM Studio. Оба используют llama.cpp под капотом.
Оно вполне себе... ползало на Tesla P40 + RTX 4060Ti (пока с P40 проблемы не начались)
llama 3 70b врёт не заикаясь, и с хотя с причинно-следственными связами у неё лучше, чем у llama 2, её ничего нельзя доверить. Даже "поменяй пожалуйста формат этих данных"
Ок, АИ таки хайп и пузырь который лопнет, Llama 3 70B совершенно непригодна ни для чего серьёзного, я её тут на локальном компе пинаю...
Насколько я помню, в Wayland не было какой-то фичи нужной драйверу nvidia для работы с переменной частотой обновления. В результате оно работало на Xorg, но не работало на Wayland.
Он в перманентном development hell. Там приложение не может свой значёк окна поменять или расставить свои окна как оно считает нужным. И они только полгода назад vsync на картах nvidia исправили.
https://www.youtube.com/watch?v=iwaaSatk0pIВот видео о релизе, которое вероятно в том числе стало причиной его блокировки
Я тут должен добавить что Bryan Lunduke не разу ни является нейтральной стороной и у него есть свои при претензии к Red Hat. С другой стороны, он был единственным технологическим ютубером из тех что появляются у меня в рекомендациях, который рассказал о бане Российских мэйнтейнеров ядра Linux.
(Пардон, не ту кнопку "Ответить" нажал)
Приветствую. Похоже один из ваших клиентов использует либо решил создать дубликат собственного сервиса и "некропостить" старых пользователей (с 2016г), либо использует украденную базу другого сервиса.
Я получатель рассылки на которую не подписывался, почта относительно уникальна и была в базе потому что в 2016 выполнял работы для компании и на этот адрес был привязан тестовый аккаунт. С 2016 практически не использовалась (как и до, это специфический ящик на личном домене). Можно ли принять какие-то меры по этому поводу к спамеру?
Дополнительная проблема состоит в том, что на Яндексе невозможно отправить в Спам все письма с вашего сервиса. То: что я пометил как спам улетает в спам, новые же - опять во входящих. Кнопку "отписаться" использовать не буду принципиально, так как не подписывался.
Я не rust разработчик, но это тоже выглядит как плохой подход: он создаёт дополнительный edge case который требует отдельного кода для обработки
Ок, закручу персональные гайки. При чтении по диагонали не заметил неестественно большого количества знаков препинания.
Почему-то пропустил этот вопрос.
Проблема в том, что участие ИИ в создание текста результат удучшает редко. С чего вдруг автор решил, что не смотря на то, LLM не может написать текст на тему, о которой пишет автор, LLM вдруг сможет дать ему адекватные советы по стилю?
Более того, текст написанный с помочью LLM "тригеррит" те же признаки, что и текст, написанный LLM целиком. И я персонально я не хочу разбираться в разных сортах вот этого вот. Если я вижу стиль LLM - я просто больше никогда не буду читать этого автора.
Ну так он и не выглядит написанным LLM. В отличии от коммента автора в этом топике: https://habr.com/ru/articles/913002/#comment_28356480
Я просто с его тезисом не согласен.
Есть обычные предложения, есть длинные предложения, есть предложения написанные Гоголем, а есть текст от LLM.
Проблема не в длине предложений, а в их целесообразности. LLM имеет склонность стоить длинные предложения ради длинных предложений. Быть может вы видели мем - gif с грузовиком с разных ракурсов, который никак не врежется в столб. Тексты от LLM ощущаются именно как эта gif.
Это совершенно точно лучше, чем установка языка в аккаунте на сейте, но для этого вам нужно зарегистрироваться на сайте некорректно выбранным языком и найти этот пукнт в настройках (Гугл, ты совсем того? Блогспот таким же страдает)
Воздух в помещении всё таки должен вентилироваться. У меня прошлым летом кондишка в 35С потекла внутри помещения. Выключать при такой погоде не вариант, пришлось пластиковый ящик ставить чтоб в него текла. За сутки литров 50 набралось.
Так что в теории оно таки может "работать****"
Я поспорю с тезисом что LLM может повысить качество. LLM чаще всего просто наливает воды в текст, причём всегда используя одни и те же обороты. Если вы видите в фразу "delve into <topic>" вместо "dive into <topic>" - это 99% AI. (0.95% человек который читал слишком много AI текстов и 0.05% - выходец из ЮАР)
Вот это коммент - отличный пример почему люди не любят LLM-тексты. Букв много, а смысла почти нет.
Смотришь на это счастье, и хочется tl;dr у этой самой нейронки спросить.
По-моему только Meta* заморачивается тем, чтобы их сети отвечали кто они такие более или менее правильно
При всём уважении, статья на волне хайпа.
> Сейчас доступно 2 модели:
Все они доступны. То, что вы видите - это featured модели, а не доступные в принципе.
Просто наберите "R1 Distill" в поиск, или посмотрите модели вот этого пользователя:
https://huggingface.co/bartowski
Или, например, вот "abliterated" версия
https://huggingface.co/mradermacher/DeepSeek-R1-Distill-Llama-70B-abliterated-GGUF
Если вы хотите чтобы вам AI рассказывал матные частушки - вам нужна эта (модифицированная) версия.
И, главное, distill модели это не R1
Запускать любую сетку, а особенно большую на CPU обычного ПК - идея довольно плохая. Оно в доступ к памяти упирается.
Ещё, если у вас DDR5 и Intel 12 gen - отключите e-cores в UEFI. p-cores поддерживают частоту 4800GHz, e-cores - только 3300, в результате когда они активны (в на Windows они активны всегда) - частота внутренней шины снижается до 3300GHz.
LM Studio самое "User Friendly" приложение. Проприетарное.
На Windows вы просто качаете инсталятор, ставите приложение, качаете через него совместимые с вашим ПК кванты модели и запускаете LLM. Всё.
- Встроенный GUI поддерживает RAG (загрузить документы в чат), но не без багов.
- Поддерживает некоторое Vision модели (Поддерживает LLaVa, не поддерживает llama 3.2-vision).
- Может быть сервером, пытается симулировать OpenAI API но функционал явно work in progress. Невозможно управлять токенизацией.
Ollama - Open Source, MIT - ставится как сервис, нет интерфейса, работает только через сеть. Делает это намного лучше чем LM Studio, но вам придётся ставить один из веб-интерфейсов (и я не смог заставить работать нормально ни один их них)
- Управление через терминал
- Поддерживает llama 3.2 vision
Формат моделей LM Studio и Ollama не совместим, к сожалению. Так что если вы хотите использовать и то и то - этак 70Gb будут лежать на диске у вас дважды.
В итоге у меня Ollama стоит, но использую я LM Studio. Оба используют llama.cpp под капотом.