Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Информационная безопасность доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 115
Указанные флаги - имеются. А вот каталогов и файлов, указанных в посте, не обнаружено.
Проблема с ИИ Gemini в браузере относится только к чистым сборкам Chrome. Браузеры Firefox, Brave и Edge не используют Gemini Nano.
Firefox же использует свой движок.
@denis-19 у вас деменция https://habr.com/ru/posts/1002320/ ?
Не понятно только одно, как будучи параноиком, жить в ближайшие лет 10. Этот т9 используется повсеместно и внедряться будет в каждый утюг
Если это всего-лишь т9, то чего именно вы боитесь?
что он когда-то проапгрейдится до Т-800 и Т-1000
(ладно, шутка неудачная, но удалять не буду)
Разумеется, не самого T9, а того, что он отправляет данные на сервер и жрёт локальные ресурсы. Вообще-то, создавать без спросу файлик на 4Г это свинство.
А еще большее свинство — тянуть его через сеть, 4 гига по мобильным тарифам — это ой как больно...
Угу очень неприятно. Немного оффтоп: недавно обнаружил что Docker с дефолтными настройками выжирает 40Г диска, разозлился неимоверно
Лично я т9 не боюсь и активно применяю.
А что будет через 10 лет?
Не понятно только одно, как будучи параноиком, жить в ближайшие лет 10. Этот т9 используется повсеместно и внедряться будет в каждый утюг
«Почему ты до сих пор используешь Windows 7?» — говорили они. «Почему ты не поставишь стильную, модную, молодёжную ОС?» — говорили они...
Если нет софта который держит на винде, то других причин не переехать на кеды нет. Семёрка по сравнению с кедами достаточно уныла, говорю по личному опыту переезда. ну и обезгугленный хром там обычно бонусом из коробки.
Да я до сих пор пытаюсь понять, на что переезжать. Fedora пока оставляет странное впечатление.
Недавно открыл для себя Tuxedo OS. Kubuntu от немецкого производителя компов, без Canonical и Snap.
Ну смотря для чего.
Дебиан или Федора. Последняя мне показалась более навязчивой в некоторых местах. Ну и дебиан вроде более распространён (если всё семейство считать). Но именно дебиан, никакой убунты и т.п. И оболочка однозначно кеды. никаких гномов и т.п.
Дебиан большой, распространённый и в плане стабильности и совместимости пакетов вылизан как яйца у кота (по линуксовым меркам). Если его специально не ломать, то скорее всего будет даже немного скучно без секса.
Убунту же вроде всем раньше советовали? Мы не следим за этой темой, но что с убунтой-то случилось?
Как говорится, не зашла, во всяком случае UI-часть.
если это убунта, а не кубунта (кстати, зачем надо было корёжить дебиан где графическая оболочка выбирается при установке и можно несколько одновременно поставить?) то там гном и это нормально что он не зашел. кеды если вдруг не зайдут, то скорее всего их можно перенастроить так чтобы зашли. хотя я только двойной клик в проводнике включаю, тёмную тему и мультидесктоп (ну и там вские рюшечки в панели задач, но это опционально).
Выберете другую UI часть. Это ж линух. Не нравится гном из коробки или вообще гном -не особая проблема
На управляемых ПК это лучше проверять на пилотной группе перед автообновлением Chrome.
Фоновые компонентные загрузки обычно первыми бьют по диску и батарее.
А зачем вообще в браузере нужна локальная нейронка? Облачная нейронка, думаю, на порядки быстрее будет; пока локальная думает, облачная уже ответит.
Так представьте сколько пользователей... Это же сколько серверов под это надо. А так видеокарта пользователя сама все сделает, без напряга для Гугла)
А это не в браузере, это просто распреднленная нейронка. На скольки компьютерах стоит «Хром»? Какой объем вычислений на них можно перенести? И это все бесплатно для считающего, не надо электричество тратить, не надо новейшие GeForce 666 XYZ вагонами закупать...
Если это распределённая, то вы представляете какой объём придётся гонять между компьютерами, чтобы оно хоть как-то «думало»?
Я конечно в нейросетях не разбираюсь, но говорят что обученная сеть имеет требования гораздо ниже. А задачи могут быть разбиты на множество подзадач. У многих соединение в сотню мегабит и выше. Закинул минизадачу, видеокарта её обсчитала и браузер выгрузил данные. В пакетном режиме, чтобы и трафик сильно не кушало и заметной постоянной нагрузки не было.
Что-то есть ощущение, что задержки все убьют.
Кроме того, если компьютеры за NAT (а таких очень много), то трафик придется гнать через сервера Google.
А задачи могут быть разбиты на множество подзадач.
К сожалению не могут, хотя я и не настоящий сварщик. Для инференса(генерирования ответа) вам нужно быстро перемножать и транспонировать здоровенные матрицы на десятки-сотни гигабайт памяти, поэтому ключевые характеристики это объем(что бы матрица влезла целиком) и пропускная способность памяти. Даже там где не влазит все в память объединяют через nvlink/infiniband у которого латенси ~400ns.
Если вы сюда добавите типичную задержку интернета в 100 ms то вы порежете скорость инференса приблизительно в 100 000 - 1 000 000 раз. Если обычная коммерческая нейронка через апи генерирует ~100 t/s то тут будет один токен(примерно один слог слова) в 1000 секунд. Смысл такого результата?
И это еще мы не коснулись даже близко проблемы гонять туда сюда эти здоровенные веса через средний интернет канал от чего лягут все магистральные провайдеры. При этом даже самая плохая карта-заглушка посчитает математические операции в сотни или даже тысячи раз быстрее чем результаты уйдут через сеть. Можно с таким же успехом выдрать чипы из 8 битных приставок, соорудить из них кластер и считать матрицы на них.
Ну а ценность ответов сгенерированных нейронками которые влазят целиком в 4гб можно и сейчас оценить как нулевую.
Спасибо за развёрнутый ответ.
Embedding. Посчитать векторы для всего интернета, чтобы делать более умный поиск – вот задача, которую можно распределить на тысячи хилых компьютеров по сети.
Embedding. Посчитать векторы для всего интернета, чтобы делать более умный поиск – вот задача, которую можно распределить на тысячи хилых компьютеров по сети.
Но ведь это одноразовая задача которая выполняется очень быстро, фактически мгновенно относительно инференса. У всех провайдеров LLM уже есть embeddings всего до чего они смогли дотянуться, иначе как бы они работали?
Например, думать будет Гугл, а компьютеры пользователей индексировать сайты и делать какую-то первичную обработку полученных данных.
Какой объем вычислений на них можно перенести?
Какой? Нулевой?
4 гигабайта для полноценной локальной LLM - это слишком мало. Явно для чего-то другого эти файлы оказываются на компьютерах.
А зачем ей быть полноценной? Она может быть вполне себе домен-ориентированной.
На минуточку, у меня на старом макбуке работала нейронка на 3 млрд параметров с размером файла в 2 гигабайта, и ничего, вполне достойно.
Сейчас всем надо, чтобы LLM искала за тебя любую информацию и генерировала любой текст - от заявления до докторской диссертации. Все эти локальные обрезанные модельки на такое не способны.
Да, но будете ли вы спрашивать умную скрепку в интерфейсе Гугл-почты - эй, скрепка, сделай из трех входящих писем докторский диссер и отправь его черновик научруку?
Мне кажется, там задачи попроще будут:
- приоритизируй
- найди билеты и помести напоминалки (пора выезжать в аэропорт)
- ответь
- запланируй
в общем, ничего такого, что нельзя было бы сделать на прошлых поколениях "помощников". Просто вместо миллионов if elif будет нейросеть и MCP к ней.
Ну то есть для пользователя 4гб LLM недостаточно а для Google в самый раз. Логично.
У «Гугла» миллионы раз по 4 гигабайта. Или уже миллиарды?
У «Гугла» миллионы раз по 4 гигабайта. Или уже миллиарды?
От того что Гугл занял у пользователей 4 гигабайта каким то фуфлом не значит что у Гугла появилось 4 гигабайта * количество пользователей памяти которые можно использовать.
Именно что появилось. Вопрос в том, как это пространство использовать.
Вопрос в том, как это пространство использовать.
С этого вопроса вообще то следует и начать.
Один вариант я уже предложил.
Второй - нет там никаких моделей, нейросеток и прочего. Они могут банально биткойны майнить на пользовательских компьютерах, а потом на эти биткойны содержать свои сервера, на которых нейросети крутятся.
Второй - нет там никаких моделей, нейросеток и прочего. Они могут банально биткойны майнить на пользовательских компьютерах, а потом на эти биткойны содержать свои сервера, на которых нейросети крутятся.
Они могли это делать гораздо раньше, когда это было хотя бы актуально и выгодно, не прикрываясь никакими LLM. Видимо репутационные и юридические иски перевесили.
Один вариант я уже предложил.
Обучать нейронки или обсчитывать запросы к ним? Нерабочая схема к сожалению или к счастью. Вот ближайшая к этому схему на нейронках 2023 года https://github.com/bigscience-workshop/petals#connect-your-gpu-and-increase-petals-capacity
с выхлопом пара токенов в секунду. Качество этих токенов будет не сильно выше 4гб нейронки.
И оба предположения выглядят теориями заговора на фоне того что это будет просто куцая нейронка для автокомплитов, рекомендаций и конечно же вездесущей телеметрии.
Они могли это делать гораздо раньше, когда это было хотя бы актуально и выгодно, не прикрываясь никакими LLM. Видимо репутационные и юридические иски перевесили.
Да кто ж их знает, почему они не решили майнить раньше. Может, софт не могли написать. Может, какой-нибудь менеджер не разрешал - там же бюрократия. Может, действительно репутацию пытались сохранить... А теперь можно открыть свое истинное лицо - их Chrome почти монополист, можно делать что угодно...
В облаке память денег стоит, а у юзера бесплатная.
Для выполнимых локально операций. Например можно обезличивать данные перед тем как отдавать их в облако.
Эксперты советуют
Вот это самое показательное в таких ситуациях.
Софт/сервис рассматриваются как заведомо враждебные и требуется предпринимать целенаправленные усилия для минимизации наносимого ущерба.
И разработчики софта/сервиса тоже в курсе, что они заведомо враждебные для пользователя и предпринимают усилия для нейтрализации действий пользователя по минимизации ущерба, наносимого софтом/сервисами.
Разработчик не меценат. Он вкладывает оплату тысяч человекочасов и пользователи по его мнению обязаны эти вложения отбить!
При этом типичный пользователь, скачавший бесплатную программу — свято верит в то, что раз программа бесплатная, значит, он никому ничего не должен, так что любое непредвиденное поведение воспринимается как диверсия.
Моё мнение такое: с одной стороны у меня в браузере по клику делает пересказы, переводы и помогает с текстами и если она будет это делать локально, не пересылая владельцам всё, то это даже хорошо. НО! Никто и никогда не даст гарантии, что на самом деле оно не приставлено ко мне как надсмотрщик, для начала пополняющий для хозяина мой психопрофиль и сливающий всё, что я делаю, а впоследствии — он начнёт пытаться мной постоянно манипулировать. Гугел уже давно известен как лютый манипулятор, так что последнее — крайне вероятно.
так что любое непредвиденное поведение воспринимается как диверсия.
Если действие не оговорено заранее, выходит за рамки заранее оговорённого основного функционала и происходит в тайне от пользователя, то это диверсия, да.
Причём, даже не в переносном смысле.
Примерно 100% изменений функционала примерно в 100% программ делают что-то, что «выходит за рамки заранее оговорённого основного функционала», при чём именно «в тайне от пользователя», он же не следит за коммитами (в данном случае у него даже опции такой нет). Значит по этой логике — никаких коммитов без одобрения пользователя, верно?
Я удержусь от соблазна попросить у Вас примеры того о чём Вы говорите, и задам один простой вопрос
Значит по этой логике — никаких коммитов без одобрения пользователя, верно?
Это я такую логику озвучил или Вы её придумали и теперь от меня чего-то хотите?
Можно и с примерами. У меня по большому счёту на компе запускается только браузер (и иные веб-клиенты), да пара текстовых редакторов, вот на одного из них можно взглянуть, скажем, на Obsidian, в нём за последние версии помимо прочего появился отдельный формат файлов для баз, АПИ и прочее и до кучи — инструмент для работы с картами, в том числе интегрируемый с этими базами (благо хоть в коробку не засунули и по-умолчанию карты не появились). Это выходит ну очень далеко за понятие базового функционала.
И из таких изменений состоит большинство ченджлогов мажорных версий развитого ПО (то есть того, у которого базовый функционал уже полноценно работает), если их читать. Тот же VSC — сосредотачивается на LLM и агентах, тоже вопрос, относится ли это к базовому функционалу, про браузеры в посте и идёт речь. И так далее.
По вышеозвученной логике, цитирую: «Если действие не оговорено заранее, выходит за рамки заранее оговорённого основного функционала и происходит в тайне от пользователя, то это диверсия…», конец цитаты получается, что все авторы (считай поголовно) — враги пользователей уже потому, что имеют наглость развивать свои продукты так, как считают нужным.
99% функционала современных браузеров можно выкинуть, он нужен не пользователю а маркетологу.
оставшийся 1% я готов оплатить наличными.
Никто и никогда не даст гарантии, что на самом деле оно не приставлено ко мне как надсмотрщик
Почему же не даст — вполне себе даст. Что приставлено.
Проблема с ИИ Gemini в браузере относится только к чистым сборкам Chrome. Браузеры Firefox, Brave и Edge не используют Gemini Nano.
Можно про браузер Firefox подробнее? Как он в этот список попал и почему?
Проблема с ИИ Gemini в браузере относится только к чистым сборкам Chrome
В чистой сборке Chrome (ungoogled-software/ungoogled-chromium) такой проблемы как раз нет.
Проблема начинается, когда к нормальному в целом браузеру прикладывает свои ручки Google
Вот бы ещё обьяснили, что в этом плохого? 🤔
Или просто дело принципа?
Помнится, как во времена DOS бились в припадке "Ааа! Это приложение без моего разрешения создало файл объёмом 1 КБ! Надо срочно его удалить!"
Оно без спроса жрет мой трафик, моё место на диске и мой процессор. Что же в этом плохого?
Сильно жрёт?
Ну ладно 4 ГБ — при современных объёмах 1-4%. На 1-2 фильма среднего качества.
А вот на счёт процессорного времени и трафика уже посчитали? Я пока не уведел.
Вы ударились в количественные метрики, а я про качественные.
Мне не нужен этот функционал вообще, поэтому после нововведения я заменю обычный Chrome на что-то альтернативное на компьютерах локальной сети предприятия.
p.s. На каждого пользователя по 4гб - и терминальный сервер будет не рад. И бэкап утолщается заметно.
Вы забываете про такой параметр как батарея. Эта зараза будет её выжирать. Хром и так не сильно бережно относится к заряду аккумулятора, а теперь и подавно. Для очень многих людей это реальный и очень раздражающий недостаток такого повсеместного и бесцеремонного использования своих личных ресурсов в пользу крупных корпораций.
А ещё циклы чтения/записи на встроенный носитель.
Нет, можно оставить, а ещё фаер жрёт, но то же не много, а ещё ейдж...ну то же не много, тут ещё ворд, ексель, поинт, то же не много можно оставить, ещё блокнот и вандрайв, чучуть скайп и зум...и ещё чучуть...и уже нет, извините для вашей игры уже места нет..купите железо по мощнее.
Так смотря для чего оно жрёт. Если это чисто бот гугловский использующий ресурсы пользователя - это одно. Если с ним идёт какой-то функционал - это другое. В статье об этом ни слова.
Вы из общества защиты глистов?
ИИшница на каждый стол! Это к сожелению уже норма, пихают ИИшницу где надо и не надо.
ИИшница на каждый стол!
А потом глядишь — и она уже хочет перейти в другое измерение за пределами физического мира!
В кино строили Скайнет, а эти явно строят Ботнет
Я так и не понял а где минусы? У меня сейчас как раз минус в том что гугл этого не делает😁
Как удалить такое же, только в 
?
Оказывается, что Google Chrome без ведома пользователя по умолчанию ставит на ПК свои нейросети. Браузер скрытно загружает на систему локальную версию Gemini. Бонусом она также скрыто запускается, когда идёт взаимодействие с сервисами Google.
Ну как "скрытно"? Маркетинг Хрома прямо разрывается насчёт "встроенной gemini". Просто как говорится, "не стали вдаваться в технические подробности" как это реализовано...
Кстати вот интересная статься на реддит (месячной давности так-то, так что ваша "новость" слегка старовата) https://www.reddit.com/r/LocalLLaMA/comments/1qkph45/chromes_local_ai_model_in_production_gemini_nano/?tl=ru по поводу использования gemeni nano (она доступна через browser API)
Не знаю, связано с этим или нет, но с позавчерашнего дня поменялось поведение у помощника на Android Auto. По команде "Окей, гугл"
Раньше: открывался интерфейс на мониторе автомобиля. Команда "включи раммштайн" приводила к открытию Я.музыки и запуску песни.
Теперь: открывается gemini на телефоне, который не может сообразить "куда и что включить"
Не спорьте, это ИИ а-ля Скайнет раскидал себя по миру что бы его нельзя было прибить как таракана тапком, вот в нужное время он и соберется по частям, и с вашего компа в том числе :)
PS чето от такой шутки даже не по себе стало..
Подскажите дедушке - так какой же браузер установить? А то начнёшь читать - все плохие.
Раз все плохие, то и выбирать проще. Ставь тот, который нравится. У меня вот Firefox, благодаря плагину Sidebery и контейнерам. Вряд ли эту связку на что-то променяю в обозримом будущем.
Получается, Firefox или его форки.
Было трудно, но они нашли способ загрузить комп еще сильнее
Скайнет начало? Помните сюжет из Терминатора 3? где поселился вирус? 4GB файл нашелся- как в этой инструкции(( 15 февраля дата создания
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Google Chrome без ведома пользователя загружает на систему локальную версию Gemini Nano по умолчанию (default)