Статья ни о чём. Несколько раз одно и тоже описывается общими чертами без конкретики и примеров. В лучшем случае это тянет на новость, но размер надо уменьшить раз в 10 до:
Odysseus пытается объединить в одном продукте несколько слоёв сразу: чат, агента, память, документы, почту, ресёрч и планирование.
Поддерживаются как локальные, так и облачные бэкенды: vLLM, llama.cpp, Ollama, OpenRouter и OpenAI.
Практически все поисковые api платные (вроде можно создать гугловый поисковый движок на своём аккаунте и это бесплатно. Не пробовал, не знаю какие там лимиты). Некоторые дают при регистрации какое-то количество бесплатных запросов. Другие дают какое-то количество запросов в месяц. Brave каждый месяц даёт $5 каждый месяц на аккаунт - это 1000 запросов. Если надо больше - то платно.
"Самый распространенный способ запускать модели LLM локально, это либо через ollama, либо через LM Studio. Несмотря на то, что они сделаны на основе llama.cpp, они поддерживают не весь функционал, и там и там нет ncmoe, только в LM Studio есть галочка для cmoe. Поэтому запускать будем в llama.cpp. " - https://habr.com/ru/articles/961478/
Насколько я понимаю lm studio обновляют у себя llama cpp с задержкой. И там меньше параметров для запуска, чем в llama.cpp. Поэтому я выбрал llama.cpp.
Первый раз тоже долго возился с wsl. Теперь установка и удаление занимают пару минут. Хотя обычно это не требуется.
"Да и даже abliterated или heretic модель всё равно пользуется зацензурированным поиском. " - но думать могут без цензуры. Что тоже может кому-нибудь пригодится.
Тут пришлось перейти из браузера в агента, так как потребуется модульная структура проекта, много файлов, много мелких правок У модели есть Vision, можно сделать скриншот и показать то, как она изобразила снег
Каким образом вы “перешли в агента” и как показать модели скриншот? Я запускаю OpenCode в Docker Desktop на винде. Захожу в контейнер через терминал, запускаю opencode. Команды печатать можно, plan/build можно. А вот скриншот прикрепить к запросу никак.
У меня так было. При загрузку модели занималось место в VRAM И столько же в RAM, --no-mmap мне помог. Так и не понял почему это не включен по умолчанию.
У меня GIGABYTE B360HD3, Core i3-8350k, 32 GB RAM. Докупил RTX3090 24 GB и блок питания чтобы хватало. Всё что влезает в VRAM работает очень бодро. Сейчас использую Qwen3.5-27B-UD-Q4_K_XL.
У меня работает следующим образом: Если cudart-llama не класть в каталог к llama и CUDA toolkit не установлен, то модель грузится только в RAM. Если cudart-llama положить в каталог к llama и/или CUDA toolkit установить, то модель грузится в VRAM.
Да. Надо сначала пройти онлайн аутентификацию в приложении пин кодом или отпечатком пальца. И только после этого откроется экран для считывания кода. И прочие операции тоже требуют интернета.
Очень жаль. Статья какая-то совсем по верхам. После неё в голове совсем ничего не останется, кроме понимания что QR платежи есть. И в Азии как будто бы их больше.
Что-то в статье совсем нет деталей о том, как работают эти платежи внутри. Как банки связываются между собой? Как получают подтверждение, что платёж можно авторизовать? Как устроены куаринговые приложения?
Например, казахстанский Kaspi - это просто платежи внутри банка. Если продавец принимает Kaspi QR, то оплатить его можно только если у покупателя есть счёт в Kaspi банке. Есть деньги в другом банке? Тогда только картой. Так что это никакие ни QR платежи.
В других странах так же или как-то по-другому? Непонятно. Если по-другому, то какой формат этих платежей? Какая схема взаимодействия между банками. Без деталей, чисел и статистики - это пустая статья ни о чём. Какую долю qr платежи занимаюттв других странах? А в сравнении с картами и наличкой? А какая динамика роста или падения?
Убедитесь, что вы не находитесь под санкциями и у вас нет «знаменитых» полных тёзок
Не понял, как это поможет повысить вероятность перевода в моём случае. Если я не могу в этом убедиться потому, что являюсь полным тёзкой? Как в этом случае повысить шансы на перевод?
Этот пункт не помогает повысить вероятность. Он только помогает понять, что вероятность так себе, если я полный тёзка и лучше бы искать другие способы перевода.
В том то и дело, что теоритечески как работает - знаем, открыть и посмотреть все веса - можем. Как работает и откуда берутся новые свойства - понять не можем.
Если бы могли, то сначала бы обучали нейросетку, предсказывали бы что она умеет нового и в какой степени. Потом её запускали и предсказания сбывались.
А не так как сейчас: выпустили GPT-3 и 4, а они умеют делать то, что от них не ожидали, типа умеют считать (GPT-3) или рисовать картинки по описанию (GPT-4) (если я ничего не путаю).
Спасибо за наглядные примеры с тетрисом, вождением машины и лодочками. Не встречал их раньше. Теперь мне будет проще объяснять почему сложно ставить цели ИИ.
Не понял, что хотел сказать автор статьи. Что закон Мура конечен и все низковисящие плоды в плане познания физики уже собраны? Про закон Мура уже много раз писал, и, кажется, на хабе тоже. Про низковисящие плоды хотелось бы примеров.
Статья ни о чём. Несколько раз одно и тоже описывается общими чертами без конкретики и примеров. В лучшем случае это тянет на новость, но размер надо уменьшить раз в 10 до:
Практически все поисковые api платные (вроде можно создать гугловый поисковый движок на своём аккаунте и это бесплатно. Не пробовал, не знаю какие там лимиты). Некоторые дают при регистрации какое-то количество бесплатных запросов. Другие дают какое-то количество запросов в месяц. Brave каждый месяц даёт $5 каждый месяц на аккаунт - это 1000 запросов. Если надо больше - то платно.
"Самый распространенный способ запускать модели LLM локально, это либо через ollama, либо через LM Studio. Несмотря на то, что они сделаны на основе llama.cpp, они поддерживают не весь функционал, и там и там нет ncmoe, только в LM Studio есть галочка для cmoe. Поэтому запускать будем в llama.cpp. " - https://habr.com/ru/articles/961478/
Насколько я понимаю lm studio обновляют у себя llama cpp с задержкой. И там меньше параметров для запуска, чем в llama.cpp. Поэтому я выбрал llama.cpp.
Первый раз тоже долго возился с wsl. Теперь установка и удаление занимают пару минут. Хотя обычно это не требуется.
"Да и даже abliterated или heretic модель всё равно пользуется зацензурированным поиском. " - но думать могут без цензуры. Что тоже может кому-нибудь пригодится.
Где-то 30 t/s для ответа:
Думал 1,5 минуты и сказал, что картинки читать не умеет. Хотя обращение к этой же модели через Open WebUI скушало картинку и дало описание.
Из всех вариантов перечисленных в документации для винды мне был проще всего докер. npm и прочие менеджеры у меня не установлены.
Каким образом вы “перешли в агента” и как показать модели скриншот? Я запускаю OpenCode в Docker Desktop на винде. Захожу в контейнер через терминал, запускаю opencode. Команды печатать можно, plan/build можно. А вот скриншот прикрепить к запросу никак.
У меня так было. При загрузку модели занималось место в VRAM И столько же в RAM, --no-mmap мне помог. Так и не понял почему это не включен по умолчанию.
Можете скинуть инструкцию и картинку? Хочу у себя проверить.
У меня GIGABYTE B360HD3, Core i3-8350k, 32 GB RAM. Докупил RTX3090 24 GB и блок питания чтобы хватало.
Всё что влезает в VRAM работает очень бодро. Сейчас использую Qwen3.5-27B-UD-Q4_K_XL.
У меня работает следующим образом:
Если cudart-llama не класть в каталог к llama и CUDA toolkit не установлен, то модель грузится только в RAM.
Если cudart-llama положить в каталог к llama и/или CUDA toolkit установить, то модель грузится в VRAM.
Какой провайдер?
У меня на казахтелекоме вот так очень долго висит:
Несколько часов назад с release-assets.githubusercontent.com тоже долго висело и ничего не скачивало. Сейчас скачивает.
Да. Надо сначала пройти онлайн аутентификацию в приложении пин кодом или отпечатком пальца. И только после этого откроется экран для считывания кода. И прочие операции тоже требуют интернета.
Очень жаль. Статья какая-то совсем по верхам. После неё в голове совсем ничего не останется, кроме понимания что QR платежи есть. И в Азии как будто бы их больше.
Что-то в статье совсем нет деталей о том, как работают эти платежи внутри. Как банки связываются между собой? Как получают подтверждение, что платёж можно авторизовать? Как устроены куаринговые приложения?
Например, казахстанский Kaspi - это просто платежи внутри банка. Если продавец принимает Kaspi QR, то оплатить его можно только если у покупателя есть счёт в Kaspi банке. Есть деньги в другом банке? Тогда только картой. Так что это никакие ни QR платежи.
В других странах так же или как-то по-другому? Непонятно. Если по-другому, то какой формат этих платежей? Какая схема взаимодействия между банками. Без деталей, чисел и статистики - это пустая статья ни о чём. Какую долю qr платежи занимаюттв других странах? А в сравнении с картами и наличкой? А какая динамика роста или падения?
Не понял, как это поможет повысить вероятность перевода в моём случае. Если я не могу в этом убедиться потому, что являюсь полным тёзкой? Как в этом случае повысить шансы на перевод?
Этот пункт не помогает повысить вероятность. Он только помогает понять, что вероятность так себе, если я полный тёзка и лучше бы искать другие способы перевода.
Если был текст с мат. примерами значит из этих примеров ChatGPT-3 вывел какие-то закономерности и научился считать.
Каких примеров картинок было достаточно? Насколько я знаю, ChatGPT-4 тренировали на тексте. Значит картинок там не было.
В том то и дело, что теоритечески как работает - знаем, открыть и посмотреть все веса - можем. Как работает и откуда берутся новые свойства - понять не можем.
Если бы могли, то сначала бы обучали нейросетку, предсказывали бы что она умеет нового и в какой степени. Потом её запускали и предсказания сбывались.
А не так как сейчас: выпустили GPT-3 и 4, а они умеют делать то, что от них не ожидали, типа умеют считать (GPT-3) или рисовать картинки по описанию (GPT-4) (если я ничего не путаю).
Спасибо за наглядные примеры с тетрисом, вождением машины и лодочками. Не встречал их раньше. Теперь мне будет проще объяснять почему сложно ставить цели ИИ.
Может оказаться так, что до следующего плато мясные мешки не доживут. Что не отменяет верности графика.