Практически все поисковые api платные (вроде можно создать гугловый поисковый движок на своём аккаунте и это бесплатно. Не пробовал, не знаю какие там лимиты). Некоторые дают при регистрации какое-то количество бесплатных запросов. Другие дают какое-то количество запросов в месяц. Brave каждый месяц даёт $5 каждый месяц на аккаунт - это 1000 запросов. Если надо больше - то платно.
"Самый распространенный способ запускать модели LLM локально, это либо через ollama, либо через LM Studio. Несмотря на то, что они сделаны на основе llama.cpp, они поддерживают не весь функционал, и там и там нет ncmoe, только в LM Studio есть галочка для cmoe. Поэтому запускать будем в llama.cpp. " - https://habr.com/ru/articles/961478/
Насколько я понимаю lm studio обновляют у себя llama cpp с задержкой. И там меньше параметров для запуска, чем в llama.cpp. Поэтому я выбрал llama.cpp.
Первый раз тоже долго возился с wsl. Теперь установка и удаление занимают пару минут. Хотя обычно это не требуется.
"Да и даже abliterated или heretic модель всё равно пользуется зацензурированным поиском. " - но думать могут без цензуры. Что тоже может кому-нибудь пригодится.
Тут пришлось перейти из браузера в агента, так как потребуется модульная структура проекта, много файлов, много мелких правок У модели есть Vision, можно сделать скриншот и показать то, как она изобразила снег
Каким образом вы “перешли в агента” и как показать модели скриншот? Я запускаю OpenCode в Docker Desktop на винде. Захожу в контейнер через терминал, запускаю opencode. Команды печатать можно, plan/build можно. А вот скриншот прикрепить к запросу никак.
У меня так было. При загрузку модели занималось место в VRAM И столько же в RAM, --no-mmap мне помог. Так и не понял почему это не включен по умолчанию.
У меня GIGABYTE B360HD3, Core i3-8350k, 32 GB RAM. Докупил RTX3090 24 GB и блок питания чтобы хватало. Всё что влезает в VRAM работает очень бодро. Сейчас использую Qwen3.5-27B-UD-Q4_K_XL.
У меня работает следующим образом: Если cudart-llama не класть в каталог к llama и CUDA toolkit не установлен, то модель грузится только в RAM. Если cudart-llama положить в каталог к llama и/или CUDA toolkit установить, то модель грузится в VRAM.
Да. Надо сначала пройти онлайн аутентификацию в приложении пин кодом или отпечатком пальца. И только после этого откроется экран для считывания кода. И прочие операции тоже требуют интернета.
Очень жаль. Статья какая-то совсем по верхам. После неё в голове совсем ничего не останется, кроме понимания что QR платежи есть. И в Азии как будто бы их больше.
Что-то в статье совсем нет деталей о том, как работают эти платежи внутри. Как банки связываются между собой? Как получают подтверждение, что платёж можно авторизовать? Как устроены куаринговые приложения?
Например, казахстанский Kaspi - это просто платежи внутри банка. Если продавец принимает Kaspi QR, то оплатить его можно только если у покупателя есть счёт в Kaspi банке. Есть деньги в другом банке? Тогда только картой. Так что это никакие ни QR платежи.
В других странах так же или как-то по-другому? Непонятно. Если по-другому, то какой формат этих платежей? Какая схема взаимодействия между банками. Без деталей, чисел и статистики - это пустая статья ни о чём. Какую долю qr платежи занимаюттв других странах? А в сравнении с картами и наличкой? А какая динамика роста или падения?
Убедитесь, что вы не находитесь под санкциями и у вас нет «знаменитых» полных тёзок
Не понял, как это поможет повысить вероятность перевода в моём случае. Если я не могу в этом убедиться потому, что являюсь полным тёзкой? Как в этом случае повысить шансы на перевод?
Этот пункт не помогает повысить вероятность. Он только помогает понять, что вероятность так себе, если я полный тёзка и лучше бы искать другие способы перевода.
В том то и дело, что теоритечески как работает - знаем, открыть и посмотреть все веса - можем. Как работает и откуда берутся новые свойства - понять не можем.
Если бы могли, то сначала бы обучали нейросетку, предсказывали бы что она умеет нового и в какой степени. Потом её запускали и предсказания сбывались.
А не так как сейчас: выпустили GPT-3 и 4, а они умеют делать то, что от них не ожидали, типа умеют считать (GPT-3) или рисовать картинки по описанию (GPT-4) (если я ничего не путаю).
Спасибо за наглядные примеры с тетрисом, вождением машины и лодочками. Не встречал их раньше. Теперь мне будет проще объяснять почему сложно ставить цели ИИ.
Не понял, что хотел сказать автор статьи. Что закон Мура конечен и все низковисящие плоды в плане познания физики уже собраны? Про закон Мура уже много раз писал, и, кажется, на хабе тоже. Про низковисящие плоды хотелось бы примеров.
Практически все поисковые api платные (вроде можно создать гугловый поисковый движок на своём аккаунте и это бесплатно. Не пробовал, не знаю какие там лимиты). Некоторые дают при регистрации какое-то количество бесплатных запросов. Другие дают какое-то количество запросов в месяц. Brave каждый месяц даёт $5 каждый месяц на аккаунт - это 1000 запросов. Если надо больше - то платно.
"Самый распространенный способ запускать модели LLM локально, это либо через ollama, либо через LM Studio. Несмотря на то, что они сделаны на основе llama.cpp, они поддерживают не весь функционал, и там и там нет ncmoe, только в LM Studio есть галочка для cmoe. Поэтому запускать будем в llama.cpp. " - https://habr.com/ru/articles/961478/
Насколько я понимаю lm studio обновляют у себя llama cpp с задержкой. И там меньше параметров для запуска, чем в llama.cpp. Поэтому я выбрал llama.cpp.
Первый раз тоже долго возился с wsl. Теперь установка и удаление занимают пару минут. Хотя обычно это не требуется.
"Да и даже abliterated или heretic модель всё равно пользуется зацензурированным поиском. " - но думать могут без цензуры. Что тоже может кому-нибудь пригодится.
Где-то 30 t/s для ответа:
Думал 1,5 минуты и сказал, что картинки читать не умеет. Хотя обращение к этой же модели через Open WebUI скушало картинку и дало описание.
Из всех вариантов перечисленных в документации для винды мне был проще всего докер. npm и прочие менеджеры у меня не установлены.
Каким образом вы “перешли в агента” и как показать модели скриншот? Я запускаю OpenCode в Docker Desktop на винде. Захожу в контейнер через терминал, запускаю opencode. Команды печатать можно, plan/build можно. А вот скриншот прикрепить к запросу никак.
У меня так было. При загрузку модели занималось место в VRAM И столько же в RAM, --no-mmap мне помог. Так и не понял почему это не включен по умолчанию.
Можете скинуть инструкцию и картинку? Хочу у себя проверить.
У меня GIGABYTE B360HD3, Core i3-8350k, 32 GB RAM. Докупил RTX3090 24 GB и блок питания чтобы хватало.
Всё что влезает в VRAM работает очень бодро. Сейчас использую Qwen3.5-27B-UD-Q4_K_XL.
У меня работает следующим образом:
Если cudart-llama не класть в каталог к llama и CUDA toolkit не установлен, то модель грузится только в RAM.
Если cudart-llama положить в каталог к llama и/или CUDA toolkit установить, то модель грузится в VRAM.
Какой провайдер?
У меня на казахтелекоме вот так очень долго висит:
Несколько часов назад с release-assets.githubusercontent.com тоже долго висело и ничего не скачивало. Сейчас скачивает.
"В целях дальнейшего развития цифровизации и повсеместного внедрения искусственного интеллекта ПОСТАНОВЛЯЮ:
1. Объявить 2026 год Годом цифровизации и искусственного интеллекта.
...
Президент
Республики Казахстан К.Токаев"
---------------------------------------------------------------
Год ИИ - Huggingface не заблочен. А энтот допотный гитхаб зачем вообще нужен. ИИ всё сделает.
Да. Надо сначала пройти онлайн аутентификацию в приложении пин кодом или отпечатком пальца. И только после этого откроется экран для считывания кода. И прочие операции тоже требуют интернета.
Очень жаль. Статья какая-то совсем по верхам. После неё в голове совсем ничего не останется, кроме понимания что QR платежи есть. И в Азии как будто бы их больше.
Что-то в статье совсем нет деталей о том, как работают эти платежи внутри. Как банки связываются между собой? Как получают подтверждение, что платёж можно авторизовать? Как устроены куаринговые приложения?
Например, казахстанский Kaspi - это просто платежи внутри банка. Если продавец принимает Kaspi QR, то оплатить его можно только если у покупателя есть счёт в Kaspi банке. Есть деньги в другом банке? Тогда только картой. Так что это никакие ни QR платежи.
В других странах так же или как-то по-другому? Непонятно. Если по-другому, то какой формат этих платежей? Какая схема взаимодействия между банками. Без деталей, чисел и статистики - это пустая статья ни о чём. Какую долю qr платежи занимаюттв других странах? А в сравнении с картами и наличкой? А какая динамика роста или падения?
Не понял, как это поможет повысить вероятность перевода в моём случае. Если я не могу в этом убедиться потому, что являюсь полным тёзкой? Как в этом случае повысить шансы на перевод?
Этот пункт не помогает повысить вероятность. Он только помогает понять, что вероятность так себе, если я полный тёзка и лучше бы искать другие способы перевода.
Если был текст с мат. примерами значит из этих примеров ChatGPT-3 вывел какие-то закономерности и научился считать.
Каких примеров картинок было достаточно? Насколько я знаю, ChatGPT-4 тренировали на тексте. Значит картинок там не было.
В том то и дело, что теоритечески как работает - знаем, открыть и посмотреть все веса - можем. Как работает и откуда берутся новые свойства - понять не можем.
Если бы могли, то сначала бы обучали нейросетку, предсказывали бы что она умеет нового и в какой степени. Потом её запускали и предсказания сбывались.
А не так как сейчас: выпустили GPT-3 и 4, а они умеют делать то, что от них не ожидали, типа умеют считать (GPT-3) или рисовать картинки по описанию (GPT-4) (если я ничего не путаю).
Спасибо за наглядные примеры с тетрисом, вождением машины и лодочками. Не встречал их раньше. Теперь мне будет проще объяснять почему сложно ставить цели ИИ.
Может оказаться так, что до следующего плато мясные мешки не доживут. Что не отменяет верности графика.