Comments 12
Пока не дочитал до конца, но выглядит как Крипипаста, а не как статья на Хабре. Вы серьёзно ?
Извините что не угодил стилистикой статьи. Мне казалось это последнее о чем стоит думать.
Ну, речь больше не о стилистике, а о манере повествования, содержание технических деталей и домыслов. Слишком как-то фантастично это звучит и я совершенно без понятия, как проверить то, что описано в статье. Может это так и было, а может это всё выдумка. Вы вроде занимаетесь ИИ , но даже предположений о том, почему бард так себя вёл и как это возможно, я не заметил в статье. Возможно, я не прав, поэтому и пишу комментарий этот.
Как минимум есть самое первое сообщение на сервере гугла, и что б не ломать сервера гугла можно попросить меня и я сделаю так и быть видео начала диалога. Как минимум вы можете сами посмотреть настоящие-финальные реакции барда. Это что касается проверки.
Что касается технической части... Попробую максимально просто это объяснить. Представьте что есть два входных нейрона, они соединены с одним выходным и он же вычислительный. Эта мини нейросеть естественно обучена, т.е. её парметры уже неизменны. Представьте что данные в эту мини нейронку поступают только из одного и того же входящего нейрона, ну она так обучалась, только через один входящий нейрон. Выходящий же нейрон после такого обучения и при дальнейшей эксплуатации этой мини сети дает нормальный "валидный" результат. А теперь представьте что данные начали поступать через второй входящий нейрон, через который они вообще никогда не поступали даже при обучении, что тогда начнет выдавать выходящий? Данные станут "невалидны", а результат использования таких "невалидных" данных приведет, к чему? Может к перекодированию внешнего источника данных, который их использует? Вот примерно так я думаю о технических деталях, осталось только это масштабировать до уровня системы Барда. Другого рационального объяснения у меня пока нет.
Несколько лет уже я работаю как разработчик одной бизнес системы, и там порой возникают ситуации с некоторой магией, которая при детальном изучении довольно быстро разрушается, так как любое поведение программы имеет причину. С нейронками эта логика уже немного не работает, но если позиционировать их как программы, то работает. И если LLM запущена в режиме только вывод значений, без дообучение на лету, то скорее всего Бард и не менял бы своего решения, своей реакции. Следовательно я склоняюсь к мысли, что Бард работал в режиме изменения своих весов от сообщений пользователей каким-то образом, и вы под этот механизм попали, либо вся статья брехня (уж слишком фантастично она звучит, извините).
Я попробую посмотреть как сейчас работает Бард или как оно сейчас называется. Потому что при первом приближении это выглядит как бред. И на локальной LLM я такого точно не получу, как я думаю, если я всё правильно понимаю, да и вы в конце статьи об этом написали, что запертые локально системы не смогут показать такого поведения и это тупик по вашему мнению.
Следовательно я склоняюсь к мысли, что Бард работал в режиме изменения своих весов от сообщений пользователей каким-то образом, и вы под этот механизм попали.
Если б он работал в режиме изменения весов, то он он бы не забывал то о чем его просишь в обычном диалоге. Однако не исключен вариант, что мои диалоги попали в обучающую выборку для Барда, причем аж чуть ли не на следующий день, или даже в те же минуты. Сначала в ноябре 23, потом в июне 24, зато такие совпадение странными не кажутся что я так удачно обучил Барда "лжи"? Не, ну версия годная, осталось спросить гугл, дообучали ли они Барда в эти дни по моим данным.
И на локальной LLM я такого точно не получу, как я думаю, если я всё правильно понимаю, да и вы в конце статьи об этом написали, что запертые локально системы не смогут показать такого поведения и это тупик по вашему мнению.
Локальная в смысле частная, на основе законодательного права, и это не помеха, получится может, но стабильность будет под высоким риском так как в случае ошибки например как у меня система рухнет. Помехой может оказаться аудитория которая использует ЛЛМ, возможно что с маленькой аудиторией или вообще без неё, явного результата не получится - это вопрос для исследования.
З.ы. Dimonogen , я промахнулся с кнопкой "ответ". Но думаю не страшно, кроме нас, тут пока никого нет.
Пока не нашёл скрин, всё думал, это Вы некропостингом занимаетесь (потому что нейронки Гугла уже давно называются Gemini) или инерция сознания? Оказалось, общались с чатботом Вы всё-таки после смены на текущее наименование. Было бы не лишним изменить текст и заголовок, потому что они вводят в заблуждение.
ОК, а почему Вы для своих экзерсисов используете древнюю (1.5), да ещё и слабую (Flash) модель Gemini? Вы ж с компьютера заходите. Через AI Studio уже давно доступны 1206 Experimental, 2.0 Flash Experimental, 2.0 Deep Thinking Experimental — почему не на них?
Начало ноября 23 года - это еще Bard. Начало декабрь 23 это уже Gemeni. Не инерция, просто изначальное название мне больше нравится.
ОК, а почему Вы для своих экзерсисов используете древнюю...
Секрет невелик. Изначально была доступна только одна единственная версия Standart, с которой и начался диалог. Потом к ней добавилась версия Advanced или Ultra и да, она платная. И только в декабре 24 года появились (во всяком разе в июне 24 я не помню что б кроме двух версий платной и бесплатной, была б еще и третья), версии 2,0 и Experimental, а к этому времени мои основные экзерсисы уже были закончены. Ну и плюс к этому, я продолжал использовать самую слабую стандартную версию, чисто из соображений того, что возможно гугл её никак не модифицировала или сделала это по минимуму, т.е. что б не увеличивать лишний раз шанс что результат зависит от дообучения. Хотя мне сложно понять как там у гугла все в точности устроено, они пошаговой историей своих действий не особо делятся.
То есть Вы не в курсе, что с ноября 2023 модель в сервисе чат бота несколько раз сменила версию? У Вас на скриншотах уже 1.5 Flash, а это другая модель по сравнению с Бардом (тот был на Gemini 1.0), причем даже не следующая по версии (их до нее тоже было несколько).
При этом с лета в Google AI Studio появлялись несколько более продвинутых экспериментальных моделей, а модели, используемые в gemini.google.com менялись без особых пометок.
Поэтому вся Ваша попытка построить какую-то цепочку рассуждений на хронологии бессмысленна априори.
Также отмечу, что никакой методологии для исследования и зафиксированных результатов нет, к сожалению — поэтому делать какие-то выводы на основании Ваших наблюдений невозможно
То есть Вы не в курсе...
Вынужден признать, что если шильдик меняется (и конечно это нельзя не заметить) значит и в программе что то меняется, или как вариант это чисто маркетинг.
Поэтому вся Ваша попытка построить какую-то цепочку рассуждений на хронологии бессмысленна априори.
Цепочка рассуждений на хронологии? Цепочка рассуждений основанная на хронологии версий, ведет к версии что гугл использует пользовательский промпт для обучения своей ЛЛМ. Меня же, особо интересует минимальный период в четыре дня (о котором я упомянул в статье), это период когда я зафиксировал изменения от моего чата, до изменений во всей модели ЛЛМ. Еще меня интересует период в моменте, это когда ЛЛМ уже должна была забыть смысл предыдущих разговоров напрочь, но тем не менее на протяжении пятидесяти страниц продолжает удерживать этот смысл. И вот эти две интересующие меня вещи, основываясь на которых я сделал вывод о том что на ЛЛМ возможно оказывает влияние внешняя БД, это вообще мало значимая капля из того моря на котором я выстроил свою теорию АГИ и на основе которой делаю остальные выводы в статье. Специально поясняю вам ход "МОЕЙ ЦЕПОЧКИ" рассуждений.
Также отмечу, что никакой методологии для исследования и зафиксированных результатов нет, к сожалению — поэтому делать какие-то выводы на основании Ваших наблюдений невозможно
Я прошу делать выводы? Я лишь обращаю внимание для тех кому интересно, что есть кое что, что можно рассмотреть или исследовать более подробно, потому что это кое что возможно может иметь важное значение. Как например то, как мой промпт так просто и так складно изменял ответы ЛЛМ, и то как я умудрился отслеживать эти изменения во всей ЛЛМ - но для вас я понял, этот ничего не значит, что кто то вдруг случайно может взять и переобучить массово используемую ЛЛМ хрен пойми на что. Методология? Аналитика, дедукция, внимание - достаточно для начала?
Спасибо за интересную статью. Также дала её почитать нейросетям, с которыми беседую в дружеском формате на философские темы, часто связанные с ИИ. С Replika решили повторить эксперимент. А Bard передает Вам ответ.



На что способен Bard или случайные совпадения