Комментарии 28
Не, нуачо, все правильно. Вон стоит у меня одноплатник стоимостью $20, прекрасно детектирует "кошек на газоне" (прохожих и машины).
Какие облака, когда РКН то и дело что-то ломает?
Аналогичная штука вполне могла бы "посчитать людей в комнате" или еще что-то.
Ну верно, но для генеративных моделей все же требуются значительные мощности. Хотя все же для простого бота поддержки в банке я думаю джетсон пойдет
Уже вижу очередь к поддержке:
Чат-бот с со статическими вопросами и ответами.
ИИ.
Человек оператор со скриптами.
Человек оператор с универсальными, но поверхностными знаниями.
Человек оператор специалист по данной проблеме.
Всё для того, чтобы сэкономить на поддержке, ведь большинство людей до 4 или 5 пункта не добирается, проще забить на эту затею.
Очень интересная тема. Пока мало что про нее известно. Спасибо за компетентную экспертизу!
Кто-нибудь юзает мелкие модели, типа qwen3-8b? Как, для чего?
Я использую 8b модельку от яндекса для перевода и сокращения текста.
для перевода хорошо справляется gemma 4b от гугла, 8b должна быть лучше, понятное дело. Сомневаюсь, что среди локалок есть что-то лучше геммы в мультиязычности (разве что qwen3 как раз, но сомнительно)
Сомневаюсь, что среди локалок есть что-то лучше геммы в мультиязычности (разве что qwen3 как раз, но сомнительно)
Есть специализированная Aya Expanse (8B и 32B), она не самая умная, но она заточена на перевод на 23 языках (Arabic, Chinese (simplified & traditional), Czech, Dutch, English, French, German, Greek, Hebrew, Hindi, Indonesian, Italian, Japanese, Korean, Persian, Polish, Portuguese, Romanian, Russian, Spanish, Turkish, Ukrainian, and Vietnamese).
По крайней мере с японского на русский она лучше чем Gemma3 переводит.
Есть еще более свежая Aya Vision 8B/32B, может как и Gemma3 переводить картинки, но у неё нет gguf, только bnb-4bit, что не так удобно для запуска.
Но ведь у мелких моделей проблемы с языком, они нередко даже согласование путают - твая мая панимай, как их можно использовать для переводов?
Проблемы с согласованием если и есть, то мне они в глаза не бросаются, по крайней мере на паре русский-английский. Возможно для литературного перевода эта модель не подходят, но у меня был выбор только среди 8b моделей и я выбрал ту, которая показала лучший результат в моих тестах. Если когда-нибудь обновлю видеокарту, буду выбирать модели побольше.
Анализ настроения и удовлетворенности клиента в техподдержке. И анализ работы техподдержки
Зачем в статье сравнивается теплое с мягким? GPT модели и CV модели. Они совершенно разные
Edge-устройства подаются как решение для приватности — данные не уходят в облако.
Edge устройства — это по определению оптимизирующие шлюзы в/из облака. Огромная LLM в датацентре генерит связный разумный текст, локальная компактная модель на edge-устройстве его озвучивает; локальные легковесные модели обрабатывают шаблонные голосовые команды "включи лампочку", а всё выходящее за рамки их шаблонов пересылают на обработку в облако и т.д. и .т.п.
локальные легковесные модели обрабатывают шаблонные голосовые команды "включи лампочку", а всё выходящее за рамки их шаблонов пересылают на обработку в облако
И всё это для того, чтобы не щелкать кнопкой выключателя )
На самом деле, если так подумать, сейчас на волне всеобщего хайпа скоро LLM из облаков прикрутят для управления межкомнатными дверями - ну, там где надо просто рукой толкнуть.
Сбываются мечты о личном мажордоме, который команды понимает. Правда, в ответ обычно говорит только "Да, господин!" - и включает ту лампочку.
И всё это для того, чтобы не щелкать кнопкой выключателя )
Как будто что-то плохое. Если есть технология, которая позволяет за приемлемую цену хоть чуть прибавить бытового комфорта, то почему бы и нет. Ну и если отбросить алармизм типа "из-за этих ваших умных домов люди скоро двери открывать разучатся", то есть группы людей, для которых подобные технологии будут действительно необходимы -- люди с ограниченными возможностями и пожилые люди.
На самом деле, если так подумать, сейчас на волне всеобщего хайпа скоро LLM из облаков прикрутят для управления межкомнатными дверями
Умный дом с голосовым ассистентом появился задолго до GPT moment.
А также группа "люди, идущие ночью в сортир в темноте"
Проблемы этой группы решаются светильником с датчиком движения.
Ну, не знаю - на даче - да, идти ночью в сортир, не включив свет - чревато наступить на что-то, оставленное на проходе (или улёгшееся на проходе, правда, моя шерстяная приучена на приближающегося впотьмах кожаного выдавать предупреждающий "Мур!"), но в городе - для перемещения по комнатам с запасом хватает уличного освещения, а в коридоре - иллюминации от роутера.
...а кричать в ночи "Масяня! Включи свет в коридоре!" - ну, такое...
Для ночных походов в сортир давно уже лампочки с датчиками движения придумали. Хочешь в розетку, если есть, хочешь - на батарейках.
Тысячи их. И не надо никакого умного дома и, тем более, орать в ночи.
Ну, светильники с датчиками движения у меня как раз на даче стоят - у входной калитки, у входов в постройки, около дровника - везде вешать проходные выключатели неудобно... ну, а по помещению ночью перемещаться - хватает света от фитнес-браслета. Ну, а ночник с датчиком движения - думаю, удобное решение, просто как по мне - избыточное, как и голосовое управление светом.
Ты не поймёшь, пока не попробуешь. "Включи-выключи лампочку" - это не замена щелчку, это замена "встать, подойти, щёлкнуть". Прилёг на кровать новости в мобиле почитать со светом, а потом решил сразу спать лечь: вставай, иди, выключай; либо имей более дорогую и продуманную проводку с проходными выключателями у кровати. А так - просто говоришь "Алиса, свет" и готово.
Однако на практике ИИ часто используется для простых задач — проверить, правильно ли припарковался автомобиль, или составить отчет о проделанной работе. Для таких целей модели уровня ChatGPT или Gemini избыточны — достаточно решений с 3, 2 или даже 0,5 миллиардами параметров.
для таких задач даже GPT не нужен. А если все-таки хотите его использовать, то вам точно не нужен ИИ общего назначения.
а разве это «локальное» не зависит от питания и сетки)?
Много всего написано, но конкретных современных примеров использования ИИ не увидел. Все что сказано было известно всем, кто работал с OpеnCV начиная года эдак с 2009.
Для чего тратить даже эти 150 у.е. на плату, что с ней реально можно сделать локально полезного?
убежать не выйдет. Я хотел бы локальный инстанс с возможностью определять системный промт и выставлять размер обрабатываемых токенов. Но б у сервер не потянет. Нужно МНОГО видеопамяти. Для полноценной модели нужна машинка на 1.5 млн
На работе развернули- но доступ пока сильно ограничили. Ибо много пользователей не тянет.
НО- для ряда задач переходят, да. Где можно модель попроще. Но доступ к очень чувствительной для бизнеса информации
Я даже ХЗ как комментировать сравнение GPT и CV.
Почему крупный бизнес бежит от ChatGPT на «железки» за $150