В статье есть ссылочка про сравнение m3 ultra со сборками на видеокартах. К сожалению, оно не очень подробное. Но в сети наверняка что-то и поинтереснее есть, если покопаться.
Спасибо за оценку. Если есть несколько компов с небольшим объемом памяти, можно запустить несколько небольших моделей или несколько агентов на основе них. Если, конечно, есть соответствующая задача.
Ну если в общем, то да. Облачная LLM это не только собственно LLM, но и сопутствующие сервисы (поиск в интернет, преобразование документов и автомтическое помещение их в промт, оптимизация системного промта, как минимум). В награду за всё это удобство пользователь шлёт информацию, которую ранее не доверял даже поисковикам.
Довольно неплохие результаты были, кстати. Число подписчиков увеличилось за пару месяцев неспешного автолайкинга с 80 до 400 человек. Но потом Инстаграм стал банить. Они сейчас активно борются с роботами, похоже, а паттерн поведения робота был весьма прямолинейным (каждый час логинимся и ставим 20 лайков фото с собаками). Пока робот не подключен. Нужно добавить в его работу элемент случайности, но руки всё никак не доходят.
Тут сравнить не получится. Вы сначала поставили мощнейший фрейм, а после этого вставили опрос ) Так что пункты этого опроса можно делать любыми. Лично мне бы тоже было интересно, сколько людей считают, что появление вируса «в миру» произошло из-за случайной утечки.
И большое спасибо за статью, очень доходчиво и убедительно.
Любопытный подход ) И рабочий при этом.
На самом деле полную матрицу косинусных расстояний хранить не обязательно. В движках CMS на карточках товаров как правило есть поля для указания рекомендаций. На каждый товар имеет смысл делать не больше 10 рекомендаций (бОльшее количество, пользователь сайта вряд ли воспримет). Вот и получается, что достаточно будет для каждой SKU хранить с десяток наиболее близких «соседей». То есть для N SCU получится матрица 10*N.
Я вырос в абсолютно нерелигиозной семье. Среди моих знакомых и друзей тоже почти не было религиозных людей. Поэтому с самого детства меня мучал один вопрос: почему существуют религии?
Почитайте Харари. Он блестяще ответил на этот вопрос. Правда ответ рассредоточен по всем его трём книгам. Но основное — в первой, насколько помню.
Да, это Вы верно подметили. Но на caption полагаться я бы особо не стал по нескольким причинам.
1. Это поле не проставляется для видео. Мой скрипт анализирует заглавное фото видео-поста.
2. В этом поле не передаётся информация о размере объекта. SSD детектор отдаёт такую информацию. Можно лайкать, например, только собак крупным планом.
3. Непонятное число классов, непонятная архитектура. С проверенной нейросетью как-то более понятно чего ожидать.
Нашёл. Это довольно дорогое удовольствие: prntscr.com/x3ta2u. За 1000 обработанных фото придется отдать 2,25 доллара. Полагаю, что в день бот будет их обрабатывать ну например 500. В месяц получается 15000. Итого за месяц затраты составят более 30 долларов.
В статье есть ссылочка про сравнение m3 ultra со сборками на видеокартах. К сожалению, оно не очень подробное. Но в сети наверняка что-то и поинтереснее есть, если покопаться.
Поправил, спасибо.
Да, всё верно. В меньшую сторону тоже работает. 120 млрд параметров с квантизацией 4 бита это примерно 60 Гб весов модели.
Спасибо за оценку. Если есть несколько компов с небольшим объемом памяти, можно запустить несколько небольших моделей или несколько агентов на основе них. Если, конечно, есть соответствующая задача.
Ну если в общем, то да. Облачная LLM это не только собственно LLM, но и сопутствующие сервисы (поиск в интернет, преобразование документов и автомтическое помещение их в промт, оптимизация системного промта, как минимум). В награду за всё это удобство пользователь шлёт информацию, которую ранее не доверял даже поисковикам.
Так и есть. Теперь можно показать жене эту статью. Правда, тут не совсем про видеокарту, скорее про мини компы.
И те и другие могут добучаться только в том случае, если их кто-то дообучает )
Напишите в личку. В зависимости от того, на каком железе запускаете, ком порт нужно настраивать поразному.
И большое спасибо за статью, очень доходчиво и убедительно.
На самом деле полную матрицу косинусных расстояний хранить не обязательно. В движках CMS на карточках товаров как правило есть поля для указания рекомендаций. На каждый товар имеет смысл делать не больше 10 рекомендаций (бОльшее количество, пользователь сайта вряд ли воспримет). Вот и получается, что достаточно будет для каждой SKU хранить с десяток наиболее близких «соседей». То есть для N SCU получится матрица 10*N.
Почитайте Харари. Он блестяще ответил на этот вопрос. Правда ответ рассредоточен по всем его трём книгам. Но основное — в первой, насколько помню.
1. Это поле не проставляется для видео. Мой скрипт анализирует заглавное фото видео-поста.
2. В этом поле не передаётся информация о размере объекта. SSD детектор отдаёт такую информацию. Можно лайкать, например, только собак крупным планом.
3. Непонятное число классов, непонятная архитектура. С проверенной нейросетью как-то более понятно чего ожидать.