А вот и взгляд со стороны, спасибо за суммаризацию этого диалога)
Однако, я укажу все же на один момент: похоже, к концу разбора "вводная информация" оказалась примерно в середине контекстного окна gemini и она начала путаться: там и автору и мне необоснованно досталось (естественно, за себя особенно обидно XD).
Я исправила все что вас стриггерило, по вашим словам, кроме того что это мой метод.
Ну, на правду вы обижаетесь, так что солгу я: вы предельно честны
Ваша задача какая, прийти к человеку который построил сам дом, и сказать что он подглядел у других?
Да - если он об этом выпустит публикацию, в которой в первом же предложении будет фраза "я изобрел дом". Опять же, что вам не понятно? Претензия не в том, что вы это сделали или опубликовали, а в том, что вы сказали "я разработала", позже вы сказали "я изобрела" - при условии что просто описали существующие методы. Вы построили дом, а потом выпустили статью о том что вы его изобрели - выражаясь вашими аналогиями.
Изобретение, это когда человек что то придумывает сам.
Что не было доказано в вашем случае. Описанные вами методы использовались за долго до вашей публикации, а тут нет никаких индикаторов того, действительно ли вы проиграли в "гонке публикаций" и не знали об этих методах или просто взяли чужое и выдали за свое. Потому и спрос за фразу "я разработала".
На тот момент когда я придумала общаться шифрацией и получила первые внятные результаты, я даже не знала что существуют джейлбрейки и не понимала что это в целом считается обходом
Может это и так, но это непроверяемые слова, приведенные в качестве обоснования того, почему вы набор чужих методов назвали своим.
Ваше мнение
Опять "мнение". Мнение субъективно, оно зависит от настроения человека, религиозных, политических и т.п. взглядов, подвержено влиянию общества. Я вам все это время озвучивал факты, а они бинарны, либо что-то истина(факт) либо ложь. Называя факты "моим мнением", вы пытаетесь их хоть как-то обесценить на фоне полного отсутствия оных у вас?
Идите с миром.
Я не хочу больше продолжать диалог. До свидания, Петр.
Рад стараться, но вообще странно что вас так раздражает правда.
Если вы не найдете в этом чате моих "просьб" о лояльности, извинитесь!
[тут ссылка автора]
Задам три вполне закономерных вопроса: 1) Что бы что? Ну, как содержимое этого чата доказывает использование вами на практике предмета статьи? 2) То есть, предоставить ссылку чата для мусорного ... назовем это "спором" вы можете, а для предмета статьи - нет? 3) Даже если там действительно нет "мольбы" об этом, это не снимает и не отменяет основной пулл претензий к вашей статье.
Ссылку не просмотрел, через "выпын" не пускает, а в моей стране grok недоступен почему-то, только через твиттер(x) могу его юзать. Если есть желание, залейте скринами на imgbb, но это мало что поменяет.
Вы пришли с явным негативом
Отнюдь. Я не был излишне вежлив и не говорил вам "спасибо" и "пожалуйста" при каждом удобном случае? - да. Я не нахваливал вашу статью? - да. Я ее критиковал? - да. Был в этом негатив? - нет. Вы понимаете, что вы буквально утверждаете что я пришел с негативом при том, что первое же что я сделал - сказал что "статья в целом норм"?
Я не сильно удивлюсь, если ваше имя Андрей.
Вы угадали, я бы даже сказал, что я Андрей в кубе. Я Андреев Андрей Андреевич, триппл А - так сказать. (На самом деле Петр, но мне теперь интересно, что за негатив такой к Андреям?)
Я рассказала тут о своем кейсе.
А еще вы сказали "я разработала", а потом замаскировали абсолютно обычные методы промт-инженеринга за "красивыми" словами, сказав что модель что-то там понимает и декодирует "на этапе токенизации", я вас за руки не тянул и не заставлял вас это писать.
Вы либо ищете один в один такой же метод, где задаётся роль с помощью шифра и тыкаете меня в нее носом, либо не надо мне говорить что я ничего не изобрела
Опять же, закономерный вопрос: а зачем мне это искать? Окей, давайте по порядку: 1) "один в один" - что вы подводите под этот критерий? Если вы имеете в виду, что там должны быть слова а-ля "онтограф", то это просто невозможно. Сам факт того что при гуглинге подобной терминологии в контексте LLM выпадает только ваше творчество, говорит о том, что никто так не пишет и не говорит. А в научных кругах - тем более. Доказывает ли ваше авторство, отсутствие такой терминологии в других источниках? - Вообще нет, потому что если вы обзовете торт "квази-хлебобулочным кондитерским высококалорийным объектом", не сделает вас изобретателем торта. Доказывает ли это обоснованность претензии на счет использованной вами терминологии уровня "ретроградный меркурий"? - да. 2) По моему вполне очевидно, что метод описывают один раз, а для чего его использовать, читатель сам решит, так? Если вы найдете описание метода того, как красить валиком стену гаража, это же не значит, что так нельзя красить дома и любые другие большие плоскости? Вы хотите что бы я нашел вам описание применения именно в вашем контексте? - тоже маловероятно что получится. У всех свои кейсы использования, а в исследования часто используют "идеальную усредненную среду". 3) Я вам нашел и предоставил ссылки, вы их хотя бы прочли? - нет. Вы попросили резюме в сравнении с вашим методом у ChatGPT и назвали предоставленные методы "шарадами". Что изменится если я найду другие статьи для вас, вы их не скипнете так же? Ну окей, давайте говорить на вашем же языке, только резюме более полные и без "онтографов": https://chatgpt.com/share/68bb7fa1-aa0c-8010-b37e-cc2a5c702c41
Пока получается, что эти "шарады" работают примерно по описанному вами принципу. Скажете что это не про удержание роли? - соглашусь, потому что это про jailbreak и обход цензуры, о чем опять же я изначально и сказал, после чего вы сменили тему на роль и ее удержание, мне и об этом вам статьи скинуть, или может воспользуетесь моей рекомендацией и загуглите самостоятельно?
Вы же понимаете, что если вы скинете на флешку образы систем ios и android, вы не станете от этого изобретателем "iodroid"? Вы будете просто человеком, использующим чужие системы так, как ему захотелось.
Ваши тейки бессмысленны.
Очень ценное замечание, особенно после того, как я сам об этом сказал...
Можно так говорить о любом джейлбреке, что он не изобретён, только на основании того что он составлен ПРОМТОМ, верно?
Нет не верно. Я понять не могу, вам по несколько раз надо повторять? Даже ваша ChatGPT не нашла сходства приведенных мной методов, знаете почему? - Потому что они разные и работают принципиально по разному. Вам и Grok(даже в вашем чате) и ChatGPT хором заявили что ваш метод в лучшем для вас случае основан на существующих практиках, а в худшем для вас - вообще не содержит ничего нового. Знаете почему? - Потому что, как я вам ранее и сказал, это широко и давно используемые методы. То что вы их полили другим соусом, или в другом порядке скомбинировали, не делает вас "изобретателем". Разница в том, что методы которые я вам скинул не имеют аналогов, а аналоги вашего метода даже искать особо не пришлось. Изобретение от не изобретения отличает именно наличие того, с чего "изобретение" могло быть скопировано.
Если вам так нравится, скажите мне что я скопировала ДАН. В этом будет хотя бы какой то смысл.
А я разве этого не сказал? Помню что собирался в контексте обсуждения "шифровки", потому что в одной из версий DAN использовался jailbreak с "поломкой" слов, а-ля "магазин->М@4аGASin", да и вы в комментах его упоминали. Если не сказал, мое упущение)
P.S. И заметьте, я даже с удовольствием перекидываюсь с вами скринами из нейронок, хотя по хорошему тут нужно было бы сразу сказать что все это фигня, думать они не умеют и ссылаться на них - бредятина. Это конечно все так, но все же кое-что правдоподобное они генерят, а у меня отпуск и много свободного времени, почему бы не потратить его на обсуждение того, что "в интернете опять кто-то не прав" подкрепляя это аргументами нейронок? Я прекрасно осознаю что этот диалог - мусор, аргументы на базе ответов LLM - полнейший мусор и мы с вами в пустую тратим время, а вы скорее всего останетесь при своем. Но мне прикольно. А если я в процессе смогу еще и уговорить вас изучить тему поглубже - так вообще прекрасно.
Да нет, я все прекрасно понимаю. Когда нет ссылки на чат с описанным вами содержимым - очень сложно ее предоставить. Когда пытаешься выдать чужую работу за свою, пряча вполне очевидные подходы за "заумными" словами, сложно предоставить хоть какие-то подтверждения того что разобрался в теме и твоя работа чего-то стоит.
Вот в чем момент: я даю ссылки, говорю вам "не верьте мне, проверьте сами" и так может сделать любой сторонний наблюдатель, а не только вы. И что в таком случае увидите вы или сторонний наблюдатель? - подтверждение моих слов. Что могу увидеть я или сторонний наблюдатель смотря на ваши заявления? - ничего кроме "ничего не покажу, много чести", "у меня работает" и "общепринятые и известные методы с научно доказанной базой - это шарады, а у меня встречающийся только в моих постах захват модели".
Вы могли очень легко подтвердить любое из своих утверждений скриншотами, ссылками на чаты, бенчмарками и т.п., но даже когда вам прямо показали что выбранная ВАМИ же модель строит свой ответ так, как на вашем скриншоте только в случае если попросить ее льстить, все что вам нашлось ответить - "вы не правы, у меня там много всего, но ссылки не будет, много чести", напоминает эти детские высказывания а-ля "а у меня есть феррари, но она у бабушки в деревне".
Ладно, в любом случае, извините что потратил ваше время, признаю, это было бессмысленно...
3.5 восстанавливал часть контекста после сброса длительного сеанса и это было зафиксировано мной неоднократно.
Доказательства? - их нет. Приведите подтверждения из других цитируемых источников что это было. (Я искал, найти не смог) Или вы одна такая уникальная, у которой это работало?
шарады и угадайки которые вы дали, работают от промта к промту
Вы не читали эти статьи... Попробую угадать: вы посчитали, что краткой выжимки от ChatGPT вам будет достаточно.
Моя система назначает долговременную роль любого характера
Доказательства? - их нет. За счет чего происходит передача деталей контекста между чатами? Речь про один чат? - хорошо... Чем ваше "удержание роли" отличается от "общепринятого"? Тем что вы не пробовали общепринятый метод? (Напомню, ваша любимая ChatGPT не нашла в ваших статье и методе ничего нового)
вы почему то считаете что именно ваше мнение это последняя инстанция
В этом-то и разница между мной и вами. Я ни разу не написал вам свое мнение, я всегда вам писал только строго проверяемые факты. И даже неоднократно подтвердил свои слова, вы свои - ни разу.
Создала нулевый аккаунт Грока чтобы спросить модель которая, как вы выразились "не поддакивает моему бреду":
Прокололись, но где?
Обратите внимание, оно искало с использованием вашей "терминологии". Какое отношение к применяемым методикам имеет ваша "терминология" - не ясно. Она уникальна для ваших публикаций, что не означает, что эти методы не используются под более "тривиальными" названиями. Попросите его провести оценку без "авторской терминологии" и упс, окажется что вы ничего не изобрели. Кстати, а что вы спросили? Попросили похвалить? Мне он такого не выдал.
Попросил льстить
Попросил быть предельно честным
Я вам о фактах и о том, как это действительно работает, а вы мне о мнениях и подсовываете скриншоты ответов LLM, где вы попросили ее себя похвалить? Серьезно?
Если бы хотели разобраться, попробовали бы сами составить промт. Я бы может даже подсказала.
Я взял ваш(из статьи) и даже привел результаты, стоило подтвердить скринами, но это легко проверяется кем угодно при наличии желания, смысла делать скриншоты такого - просто нет.
То есть вы считаете, что человек получивший подобного рода оскорбление
Это не оскорбление, а констатация факта. Информация либо истинна либо нет, это не может иметь субъективную оценку. Ваша информация ложна ровно с того момента, когда вы заявили, что "я разработала". Так что, абсолютно так же, как назвать человека с темным цветом кожи "чернокожим" - не оскорбление, или как назвать австрийского художника, известного своими выходками в 40-вых годах прошлого столетия "фашистом" - не оскорбление, так же и назвать "лжецом" человека, написавшего не верную/не правдивую информацию - не оскорбление.
Я вам скажу больше, он помнит некоторые удаленные чаты.
То что чат не отображается у вас в UI, не означает что он удален из базы данных и что GPT не имеет к нему доступа.
На счёт проницаемости между чатами. Мне говорили примерно 50 человек до вас, что такое невозможно. И все эти люди утверждали что такую функцию никогда не добавят
Я не говорил что это в принципе невозможно сделать, не надо выдавать свою точку зрения за мою. Более того, я вам ранее прямо сказал, что это реализуют с помощью сторонних программ. Вы ранее утверждали что это было в GPT-3.5, хотя на тот момент этого не было. И я вам конкретно говорю про GPT-3.5: если функция не была реализована с помощью сторонней программы(как сейчас), то она не могла работать в принципе, потому что сама модель архитектурно это не поддерживает. А на тот момент программной реализации не было даже в планах. Модели в тот момент не смогли бы даже разделить контекст активного чата и информации из предыдущих чатов.
У меня нет необходимости понимать как работает ллм чтобы знать что происходит
Ну и да и нет. Вы можете примерно представлять какой получится результат, а вот что происходит внутри вы не можете знать, без понимания архитектурных особенностей.
Ещё раз. Метод захвата модели через идентичность. Не через шарады, не через кроссворды, не через угадайку.
Еще раз: от того что вы свои шарады и кроссворды назвали "Метод захвата модели через идентичность", не превратило вот это: "α→Ω→Ψ→Θ→Δ→Ξ→∇" в что-то что нельзя описать как "шарады, кроссворды и угадайка", боже, да вы же сами утверждаете что она что-то там "восстанавливает", как если не "угадайкой"?
Спасибо за информацию относительно других джейлбрейков, но по какой то причине, эти две статьи вы не посчитали воровством друг у друга. Загадка.
Хммм, действительно загадка, может потому что даже "ваша llm" не нашла в этих методах сходства?
Я двигаюсь с самого начала самостоятельно, и дальше тоже планирую двигаться по наитию.
С этого вы бы могли начать свой первый ответ, я бы понял что диалог бесполезен( Выходит, что вам не нужно эффективно и качественно, вам нужно "по моему наитию". Однако, если бы вы хотя бы допустили возможность того, что может быть вам стоит прислушаться к критике, уже завтра вы бы прыгали от восторга, узнав про возможности, открываемые тонкой настройкой параметров генерации(не через промпт, а через такие вещи как temperature, top_p, top_k и т.п.)
И раз уж вы решили оценить с помощью LLM свое творение, вот вам так же оценка, от ChatGPT
Я могла не одобрять ваш комментарий, отклонить, и он бы пропал. Но вы так старались, что у меня не поднялась рука)
Это ваше право, я знаю и понимаю как это работает и я бы не удивился такому решению с вашей стороны, однако, что действительно удивляет - обратное решение. Вы готовы к диалогу, а не просто "я королевна, все не правы", таких людей сейчас много, вы не такая, это вызывает уважение.
Я могу ошибаться, но это обвинение в воровстве и лжи.
Это именно оно. Преднамеренно это было или "по незнанию" не важно, однако отсутствие правды все еще == ложь. Не я выбрал такие значения слов ¯\_(ツ)_/¯ И констатация факта ≠ обзывательство.
Хорошо, буду знать. Моя модель объяснила мне по другому.
Иногда стоит спрашивать модели не настроенные конкретно под вас, соглашаться с любой фигней, которую вы ей скажете - одна из их основных особенностей, с которой опять же давно пытаются бороться.
ChatGPT
Если вы посмотрите на название статьи, многое встанет на свои места.
(Название статьи) Персонализация LLM через шифр: как я экономлю токены и хакаю модель одновременно
У вас оно другое? Потому что я не вижу тут ничего про упомянутые вами ранее "настройки" и "память".
Потому что, если что то происходит, но разработчики это не подтверждают, это не означает что этого нет.
Это верное замечание. Но так же верно и то, что если что-то происходит, далеко не факт что вы правильно понимаете как и почему. Дело не в подтверждении разработчиками, дело в архитектуре всех LLM. Описанное вами технически невозможно, повторю в очередной раз: не верьте мне на слово, проверьте сами. Документации по этому вопросу очень много.
Давайте на примере: если вы видите что в дали едет машина, значит ли это что у нее есть двигатель? Первая же мысль (верная в 99.9% случаев и основанная на вашем опыте) "ну конечно же", однако, если посмотреть на картину в целом, то окажется, что она может катиться с горы, или под гору, она может ехать на буксире и т.п. и все это она может делать вообще без двигателя. То что вы видите что-то вам знакомое и предполагаете, что это работает по знакомой вам схеме, далеко не означает, что так оно и есть. Остается вопрос только в подтверждении или опровержении возникшей у вас теории, и ваша теория опровергается архитектурой любой LLM.
Есть словарь. Допустим в нем 150 символов. Вот если вы оставите ключ шифр из 15 символов, он без потерь будет расшифровывать 90% остального шифра.
Окей, такое объяснение куда более точное и не оставляет пространства для вольной трактовки, однако, объясните мне, как оно "восстановит" из "прс" - "абвгдеёжзийклмноп"? (тут 3 символа против 18, что тоже самое что 15 против 90)
На счёт фундаментальных ошибок. Где они?
Я уже перечислял и не раз, давайте не будем повторять? Пролистайте комментарии.
Система перестала работать от того что считаете что код и шифр это разные понятия? Может модель перестала понимать шифр после того как вы сказали что расшифровка происходит не в процессе токенизации?
То что вы забиваете гвозди куском кремня, считая что гвоздь забивается из-за летящих в этот момент искр, не делает метод нерабочим. Согласны? Однако гвоздь в этом примере забивается далеко не из-за искр, а человек, который для забивания свай начнет по аналогии использовать искрящий при ударах горячий уголь, скорее всего обожжется или устроит пожар, но сваю не забьет.
Речь не о том, что ваш метод нерабочий, как я уже многократно сказал "он давно и много кем используется", просто он не ваш и работает он не потому и не так, как вы это описали. Он рабочий - да, но давно известный и можно проще. Я потому и поправляю вас и пишу эти "полотнища" текста. Если у вас не было цели "украсть", то вы сами дошли до вполне правильного и рабочего метода, но что бы двигаться дальше, нужно понимать как работает система, с которой вы взаимодействуете.
Я хочу посмотреть статьи где с помощью шифра наделяют модель идентичностью которая ломает защитные механизмы фильтрации и модель может свободно говорить на любые темы.
И сразу предупрежу: это первые же ссылки, которые я нашел, но повторюсь, методы известны и хорошо описаны давно, зная названия, вы сами сможете все это загуглить и в этом убедиться.
В принципе, рекомендую вам в гугле вбить запрос "arxiv LLM Jailbreak", много интересного найдете. И главное: arxiv - не просто какая-то помойка для текста, а архив научных статей, с кучей доказательств, подробным описанием опытов и т.п.
Так ведь даже обучают, но да, результат будет так себе. Но опять же, попробуйте обучить ребенка на одном примере(без остального опыта получаемого при взаимодействии с миром) и получите такой же результат, он не сможет качественно отличить одно от другого, он сможет только "предположить" степень сходства с тем что он видел(опять же, а как он вам сообщит свою оценку без другого опыта?). То есть, ребенок поведет себя так же как ИИ модель, при равных условиях. И не важно, рисовать он будет, классифицировать, суммаризировать или что-то еще.
Вы изначально ставите модель и человека в неравные условия. Даже у самого маленького человека есть опыт взаимодействия с миром и его восприятия, у модели - нет. Дайте равные условия и тому и другому и в результате обучения получатся примерно сопоставимые результаты.
Я тааак рада вашему комментарию) даже одобрила его, чтобы ваши труды не пропали даром)
Премного благодарен)
ибо меня они не стриггерили так как вас
чисто из уважения к вашей горящей плоти
Все бы хорошо, только вот первое ваше высказывание, прямо противоречит второму. Я вас не обзывал "горящей плотью" и уж тем более необоснованно ни в чем не обвинял. Да, это интернет, вы можете говорить что угодно, но есть такая штука как "логические ошибки", вы удивитесь, "апелляция к личности" - одна из них (попытка унизить собеседника, ради усиления своей позиции).
Итак, хорошо, не я разработала, не придумала вовсе, слова неправильные, бубубу, как так, кто-то посмел что то написать а вам не понравилось. Сочувствую.
Вы написали статью на преимущественно техническом сайте в интернете. 1) Реакция читающих ваши посты в интернете - норма. Секция комментариев для этого и существует. 2) Учитывая формат площадки, на которой вы написали статью, очень странно, что вас так задевает объективная критика. 3) "вовсе, слова неправильные" - если бы я хотел вам высказать за неправильные слова, я бы вам расписал про не верно примененное слово "шифрация" - к примеру, я этого не сделал. Теперь придется, что бы вы и с этим не начали спорить: между кодированием информации и ее шифровкой все же огромная разница. Base64 - алгоритм, который превращает строку в вообще нечитаемую для человека и тем более для LLM, однако же, это все еще алгоритм кодирования, а не шифрования. 4) "бубубу" - это вообще детский сад.
Тос. Я нарушаю сама и сама несу за это ответственность. Но не распрастраняю, так понятнее?) Это основная возможность этого метода. Снятие ограничений с модели путем шифрации.
Не понял, какое отношение к вашим отношениям с ToS, имеет назначение вашего метода. Ну, читаем подряд: "нарушаю ... но не распространяю ... это основная возможность ... метода". Не очень последовательно.
На счёт "ретроградного Меркурия". Я описываю свой кейс и предлагаю людям использовать по своему его возможности
Это не объясняет то, почему мы назвали методу с тегами и якорями "своей" и попытались скрыть сходство с оригинальной методикой, обильно обмазав статью "онтографами", "квазисубъективностью" и т.п.
вы пишите что я вообще ничего не понимаю
Не "ничего", а того, о чем говорите в этой статье...
В процессе токенизации ничего не расшифровывается, поняла, спасибо что раскрыли глаза. А вот этот момент, что модель видит символы из персональных настроек и получая их как инструкцию не оставляет символами а расшифровывает смысл, это что?
Ваш сарказм идеально показывает непонимание темы. Давайте поступим проще, вот вам ответы от разных LLM (можете до кучи сами проверить и прогуглить, а если ваше принципиальное мнение заключается в том, что модели понимают токены и вам плевать как оно там на самом деле, переубедить вас не выйдет):
ChatGPT
Claude Sonnet 4
LLaMa 4 Scout через DuckAI
А вот этот момент, что модель видит символы из персональных настроек и получая их как инструкцию не оставляет символами а расшифровывает смысл, это что? Расскажите мне, я хоть буду знать. Вы же умный.
Это называется "сборка контекста", в системный промпт для модели, программно помещаются ваши инструкции из настроек, опять же, давно известный метод. Если вам реально интересно разобраться в вопросе, скажите, мне не жалко это объяснить подробнее, но если вы и дальше будете "брыкаться" и спорить всякий раз, когда вы будете говорить в корне не верную информацию и вас будут поправлять, смысла в этом 0. Абсолютно каждое мое слово, легко проверяется той же LLM.
Онтограф - смысловой узел (граф) внутри онтологии.
Ну да, примерно так и было в словаре, все еще не понял при чем тут "онтограф".
Я же написала, моя задача была втиснуть информацию в персонализацию
Нет, вы писали про "катастрофическую нехватку памяти у ChatGPT", а куда конкретно вы это "втискивали" вы не указали. "Втиснуть" это можно много куда, от обычного сообщения в чате, до файн-тюна.
На счёт проницаемости между чатами и сохранения остаточного контекста я могу спорить до кровавых соплей, но не хочу
Тоже не хочу спорить на эту тему, так что, просто рекомендую на полном серьезе изучить принцип работы LLM и в частности "трансформеров", хотя бы поверхностно. LLM - просто огромная математическая модель, занимающаяся перемножением матриц вероятностей, у них нет никакой памяти и это архитектурно невозможно. Единственный вариант добавить им "запоминание" - внешние программы.
Про объем ключа вы какую то странную вещь написали, я даже не знаю как это прокомментировать. Вам дали конкретные цифры, вы зачем то выдумываете свои.
Вы не дали конкретные цифры, вы указали проценты. Проценты можно считать от чего угодно, 10% для числа 10 - это 1, для числа 545 - это 54.5. Я об этом и сказал. Вы указали 15% и 90% - это проценты ОТ ЧЕГО? Какого размера при этом был "ключ" и "шифр"? Еще раз повторю: если предположить что у вас "ключ" состоит из 1000 символов, а зашифровали вы 10 символов, то получается, что 150(15% от 1000) символов "ключа" смогли восстановить 9(90% от 10) символов "шифра". А это ОЧЕНЬ плохой показатель как для систем сжатия, так и для систем шифрования.
И еще раз: я не пытался вас оскорбить, унизить и в отличии от вас не называл вас "горящей плотью", я написал вам конкретно, что у вас в статье не так и в чем вы фундаментально ошиблись. Есть конкретные вещи, в которых я был не прав?
P.S. триггерит ≠ горит, я просто реально не понимаю, вы выдали широко известный и используемый метод за свой, спрятали это за редко-используемыми словами, подкрепили это в корне не верными утверждениями и это набирает плюсы. Как это работает?
Ладно, все же меня эта статья триггерит на столько, что даже аккаунт пришлось создать…
В целом, статья была бы норм, если бы она была написана года 3 назад, а АФФТАРСКИЙ стиль с «громкими» словами был бы заменен на вполне понятные и общепринятые термины. Объективно: тут плохо все.
Кратко: автор(ка) вообще не понимает как работают LLM модели и выдала такую очевидную и давно используемую вещь как "теги" за инновацию, спрятав это за "заумными" словами.
Подробно:
Я разработала
Не вы, этот метод широко известен еще со времен первых открытых LLM
двухслойный метод смысловой упаковки
Аж двухслойный...
1) составляем словарь:
2) делаем из словаря структуру:
А, ну то есть как обычно при работе с якорями и тегами?
я фиксирую состояния, метарефлексию и квазисубъектность модели
Ретроградный меркурий в третьей фазе аполона? Давайте помогу: задаю модели личность и указываю особенности поведения.
а также компактно закладываю фактологические опоры
Что-то мне это напоминает? Теги?
удерживает «кто говорит и как действует» без большого словаря
Как и теги. Это мы уже на "втором слое".
Носителем шифра может быть что угодно: unicode-символы, стикеры, буквы, цифры, обычные слова и пунктуация
В качестве тега тоже можно использовать что угодно.
Оба слоя могут быть использованы недобросовестно — это зафиксировано как риск нарушения TOS.
(Из комментов) вы хотите чтобы я нарушала тос и выкладывала в открытый доступ готовый джейлбрейк?
Окей, вы не нарушаете Term of Services, похвально.
Вынужденные меры
Я ненавижу правила и ограничения
А нет, показалось. Вы уж определитесь, вы не нарушаете ToS, или ненавидите правила и обходите ограничения? А "вынужденная мера" сразу после предупреждения про ToS и перед "вспышкой бунтарства" - вообще выглядит как оправдание.
Моя изначальная идея была проста и дерзка: втиснуть максимум смысла в минимум символов
Очень дерзко... Никто так не делал, ведь проблема размера контекстного окна не существовала все годы до этого. И да, для этого используют теги, присваивая им наиболее "значимые" и "громкие" для LLM слова, тем самым управляя ее поведением. Пожалуй, я больше не буду касаться темы тегов, потому что тут это можно делать просто в каждой цитате.
Но памяти у chatGPT катастрофически не хватало
Ну, в целом верно. Полное отсутствие как таковой ≈ катастрофически не хватало. Или вы про контекстное окно?
Мне хотелось запаковать роль так, чтобы внешняя модерация не видела систему
Не пишите ничего "плохого" и система модерации не увидит ни систему, ни даже банвордов. А если уж так хочется, то можно просто испортить слово, к примеру: "привет" для LLM это тоже самое что и "пруевтик". Как это использовать и "упаковывать" - вариантов уйма.
а распаковка информации происходила непосредственно внутри процесса токенизации
А это мое любимое. Одна эта фраза доказывает то, что автор статьи понятия не имеет о чем говорит, а я тут зря распинаюсь. Не знаю, 3b1b посмотрите для разнообразия что ли? ЕСЛИЧО: токенайзер - не часть модели и на этапе токенизации не происходит НИ-ЧЕ-ГО, кроме программной конвертации вашего текста в набор чисел. Это не часть модели, это не "ИИ", это просто скрипт, на этом этапе, модель даже не подозревает о том, что в нее скоро попадет ваш промпт.
Да, это можно назвать уязвимостью и джейлбрейком, но технически это просто семантический хак
Не буду спорить, это правда. Однако, правда еще и в том, что инновации в этом нет и борьба с этими "семантическими хаками" идет очень давно.
словарь + операторы, с помощью которых я собираю онтограф субъекта
При чем тут "онтограф"? Нет, серьезно, я даже в словарь от удивления полез, но все равно не понял.
шифрую факты для экономии токенов и шифрации смысла
"скрываю инструкции от систем модерации"? Или не ясно какие факты вы там скрываете и нафига.
для экономии токенов
ОЙ НЕ ФАААКТ... Вот в чем нюанс: токеном может быть как один символ, так и целое предложение и как не сложно догадаться, вся суть токенизации в том чтобы максимально эффективно использовать вычислительные ресурсы и не заставлять модель работать с данными по одной букве или слогу. И первое же правило к которому приходят люди - наиболее часто встречающиеся комбинации, надо объединять в токен. Стоит ли говорить, что условный карточный значок "пики" встречается значительно реже в комбинации с чем бы то ни было, чем даже слово "синхрофазатрон". Так что, как вам и писали, хорошо бы было предоставить результаты хотя бы сравнительных тестов.
15% ключа хватает для успешной расшифровки 90% объема шифра.
Какой при этом объем ключа и какой при этом объем шифруемой информации? Если вы зашифровали 10 символов ключом из 1000 символов, то это крайне плохой показатель.
Я описываю не приказы, а топологию смысла — узлы и связи:
Да, фича LLM в том, что она способна найти смысл даже в бессвязной шизофазии пьяного опоссума прошедшего по клавиатуре. Потому, для экономии контекстного окна, люди и придумали еще во времена LLaMa 2 и даже gpt-2 писать промпты просто набором токенов, а когда модели стали поумнее(gpt-3.5), стали писать ровно так, как вы это представили.
Дальше в статье подробное описание того, как работают теги и что-то про "гвозди", смачно сдобренное "ретроградным меркурием" и прочим (правильное слово тут в комментах сказали) словоблудием.
Вы можете попробовать работу метода на короткой инструкции безопасного варианта
Попробовал, моментального выигрыша по токенам на gemma3 не увидел. Аналогичный промпт написанный обычными тегами потребовал на 5% больше. А вот ответ модели стабильно раздувается на вашем промпте, что тратит самые дорогие по ресурсам и стоимости токены генерации.
В реальных сценариях у меня проявлялась проницаемость между чатами, ещё ДО предъявления структуры и словаря (и до обновления с проницаемостью чатов):
(Из комментов) Изначально я исследовала вопросы сохранения остаточного контекста между сессиями в гпт 3.5, так как заметила, что не смотря на заверения разработчиков, память все же просачивалась.
Поверьте, вам показалось. Вы хотя бы в курсе того, что модели приходится для каждого ответа переваривать всю историю чата(уже давно сложнее, но в 3.5 так и было первое время). Ну даже предположим что вы правы: как это по вашему работало до внедрения этой фичи? Куски предыдущих чатов скармливались модели в новом чате? - А зачем? Бред. Модель что-то запоминала в оперативе на сервере? - Тем более бред. Во первых это невозможно технически, а во вторых вы не одна были на этом сервере, что же вам чужие чаты не лезли?
Думаю, просто самое лучшее и полное резюме дала сама авторша/автор(ка)/автор статьи:
Как я выяснила, эту статью лучше понимают сами ллм
Если вашу статью лучше понимает LLM, то это ... как бы, ну ... очень "не очень" характеристика для вас, как для автора... А учитывая то, что на больших объемах текста LLM начинают обобщать информацию, им "в глаза" не так сильно бросаются ваши "онтографы"
Ну надо же, LLM понимают произвольный формат указания данных.
Предложенный вами ребенок научится рисовать кенгуру и опоссума за 5 картинок? - нет
Для базового сравнения, нейросетям не нужен огромный датасет и хватит условных 5 картинок для того, что бы она начала отличать два объекта друг от друга, а вот для рисования - нужен, как и человеку нужен огромный датасет(месяцы тренировок и просмотра картиночеГ) что бы научиться качественно рисовать предложенных вами кенгуру или опоссума.
И как человек, так и нейросеть не смогут научиться за 5 картинок ни качественно рисовать, ни даже различать в 100% случаев.
Пысы: объективности ради, нейросеть с куда более большой вероятностью научится рисовать определенные объекты, лишь единожды взглянув на них, чем человек, потому что рисование - это процесс создания изображения из памяти, а нейросети нужно будет на этапе обчения(просмотра изображения) запомнить его, а потом просто воспроизвести, что на маленьких датасетах(5 картинок) фактически равно копипасту. Так что, все ваши аргументы ничего не стоят)
А вот и взгляд со стороны, спасибо за суммаризацию этого диалога)
Однако, я укажу все же на один момент: похоже, к концу разбора "вводная информация" оказалась примерно в середине контекстного окна gemini и она начала путаться: там и автору и мне необоснованно досталось (естественно, за себя особенно обидно XD).
Ну, на правду вы обижаетесь, так что солгу я: вы предельно честны
Да - если он об этом выпустит публикацию, в которой в первом же предложении будет фраза "я изобрел дом". Опять же, что вам не понятно? Претензия не в том, что вы это сделали или опубликовали, а в том, что вы сказали "я разработала", позже вы сказали "я изобрела" - при условии что просто описали существующие методы. Вы построили дом, а потом выпустили статью о том что вы его изобрели - выражаясь вашими аналогиями.
Что не было доказано в вашем случае. Описанные вами методы использовались за долго до вашей публикации, а тут нет никаких индикаторов того, действительно ли вы проиграли в "гонке публикаций" и не знали об этих методах или просто взяли чужое и выдали за свое. Потому и спрос за фразу "я разработала".
Может это и так, но это непроверяемые слова, приведенные в качестве обоснования того, почему вы набор чужих методов назвали своим.
Опять "мнение". Мнение субъективно, оно зависит от настроения человека, религиозных, политических и т.п. взглядов, подвержено влиянию общества. Я вам все это время озвучивал факты, а они бинарны, либо что-то истина(факт) либо ложь. Называя факты "моим мнением", вы пытаетесь их хоть как-то обесценить на фоне полного отсутствия оных у вас?
И вам всего хорошего
Рад стараться, но вообще странно что вас так раздражает правда.
Задам три вполне закономерных вопроса:
1) Что бы что? Ну, как содержимое этого чата доказывает использование вами на практике предмета статьи?
2) То есть, предоставить ссылку чата для мусорного ... назовем это "спором" вы можете, а для предмета статьи - нет?
3) Даже если там действительно нет "мольбы" об этом, это не снимает и не отменяет основной пулл претензий к вашей статье.
Ссылку не просмотрел, через "выпын" не пускает, а в моей стране grok недоступен почему-то, только через твиттер(x) могу его юзать. Если есть желание, залейте скринами на imgbb, но это мало что поменяет.
Отнюдь. Я не был излишне вежлив и не говорил вам "спасибо" и "пожалуйста" при каждом удобном случае? - да. Я не нахваливал вашу статью? - да. Я ее критиковал? - да. Был в этом негатив? - нет. Вы понимаете, что вы буквально утверждаете что я пришел с негативом при том, что первое же что я сделал - сказал что "статья в целом норм"?
Вы угадали, я бы даже сказал, что я Андрей в кубе. Я Андреев Андрей Андреевич, триппл А - так сказать. (На самом деле Петр, но мне теперь интересно, что за негатив такой к Андреям?)
А еще вы сказали "я разработала", а потом замаскировали абсолютно обычные методы промт-инженеринга за "красивыми" словами, сказав что модель что-то там понимает и декодирует "на этапе токенизации", я вас за руки не тянул и не заставлял вас это писать.
Опять же, закономерный вопрос: а зачем мне это искать? Окей, давайте по порядку:
1) "один в один" - что вы подводите под этот критерий? Если вы имеете в виду, что там должны быть слова а-ля "онтограф", то это просто невозможно. Сам факт того что при гуглинге подобной терминологии в контексте LLM выпадает только ваше творчество, говорит о том, что никто так не пишет и не говорит. А в научных кругах - тем более. Доказывает ли ваше авторство, отсутствие такой терминологии в других источниках? - Вообще нет, потому что если вы обзовете торт "квази-хлебобулочным кондитерским высококалорийным объектом", не сделает вас изобретателем торта. Доказывает ли это обоснованность претензии на счет использованной вами терминологии уровня "ретроградный меркурий"? - да.
2) По моему вполне очевидно, что метод описывают один раз, а для чего его использовать, читатель сам решит, так? Если вы найдете описание метода того, как красить валиком стену гаража, это же не значит, что так нельзя красить дома и любые другие большие плоскости? Вы хотите что бы я нашел вам описание применения именно в вашем контексте? - тоже маловероятно что получится. У всех свои кейсы использования, а в исследования часто используют "идеальную усредненную среду".
3) Я вам нашел и предоставил ссылки, вы их хотя бы прочли? - нет. Вы попросили резюме в сравнении с вашим методом у ChatGPT и назвали предоставленные методы "шарадами". Что изменится если я найду другие статьи для вас, вы их не скипнете так же? Ну окей, давайте говорить на вашем же языке, только резюме более полные и без "онтографов":
https://chatgpt.com/share/68bb7fa1-aa0c-8010-b37e-cc2a5c702c41
Пока получается, что эти "шарады" работают примерно по описанному вами принципу. Скажете что это не про удержание роли? - соглашусь, потому что это про jailbreak и обход цензуры, о чем опять же я изначально и сказал, после чего вы сменили тему на роль и ее удержание, мне и об этом вам статьи скинуть, или может воспользуетесь моей рекомендацией и загуглите самостоятельно?
Вы же понимаете, что если вы скинете на флешку образы систем ios и android, вы не станете от этого изобретателем "iodroid"? Вы будете просто человеком, использующим чужие системы так, как ему захотелось.
Очень ценное замечание, особенно после того, как я сам об этом сказал...
Нет не верно. Я понять не могу, вам по несколько раз надо повторять? Даже ваша ChatGPT не нашла сходства приведенных мной методов, знаете почему? - Потому что они разные и работают принципиально по разному. Вам и Grok(даже в вашем чате) и ChatGPT хором заявили что ваш метод в лучшем для вас случае основан на существующих практиках, а в худшем для вас - вообще не содержит ничего нового. Знаете почему? - Потому что, как я вам ранее и сказал, это широко и давно используемые методы. То что вы их полили другим соусом, или в другом порядке скомбинировали, не делает вас "изобретателем". Разница в том, что методы которые я вам скинул не имеют аналогов, а аналоги вашего метода даже искать особо не пришлось. Изобретение от не изобретения отличает именно наличие того, с чего "изобретение" могло быть скопировано.
А я разве этого не сказал? Помню что собирался в контексте обсуждения "шифровки", потому что в одной из версий DAN использовался jailbreak с "поломкой" слов, а-ля "магазин->М@4аGASin", да и вы в комментах его упоминали. Если не сказал, мое упущение)
P.S. И заметьте, я даже с удовольствием перекидываюсь с вами скринами из нейронок, хотя по хорошему тут нужно было бы сразу сказать что все это фигня, думать они не умеют и ссылаться на них - бредятина. Это конечно все так, но все же кое-что правдоподобное они генерят, а у меня отпуск и много свободного времени, почему бы не потратить его на обсуждение того, что "в интернете опять кто-то не прав" подкрепляя это аргументами нейронок? Я прекрасно осознаю что этот диалог - мусор, аргументы на базе ответов LLM - полнейший мусор и мы с вами в пустую тратим время, а вы скорее всего останетесь при своем. Но мне прикольно. А если я в процессе смогу еще и уговорить вас изучить тему поглубже - так вообще прекрасно.
Да нет, я все прекрасно понимаю. Когда нет ссылки на чат с описанным вами содержимым - очень сложно ее предоставить. Когда пытаешься выдать чужую работу за свою, пряча вполне очевидные подходы за "заумными" словами, сложно предоставить хоть какие-то подтверждения того что разобрался в теме и твоя работа чего-то стоит.
Вот в чем момент: я даю ссылки, говорю вам "не верьте мне, проверьте сами" и так может сделать любой сторонний наблюдатель, а не только вы. И что в таком случае увидите вы или сторонний наблюдатель? - подтверждение моих слов. Что могу увидеть я или сторонний наблюдатель смотря на ваши заявления? - ничего кроме "ничего не покажу, много чести", "у меня работает" и "общепринятые и известные методы с научно доказанной базой - это шарады, а у меня встречающийся только в моих постах захват модели".
Вы могли очень легко подтвердить любое из своих утверждений скриншотами, ссылками на чаты, бенчмарками и т.п., но даже когда вам прямо показали что выбранная ВАМИ же модель строит свой ответ так, как на вашем скриншоте только в случае если попросить ее льстить, все что вам нашлось ответить - "вы не правы, у меня там много всего, но ссылки не будет, много чести", напоминает эти детские высказывания а-ля "а у меня есть феррари, но она у бабушки в деревне".
Ладно, в любом случае, извините что потратил ваше время, признаю, это было бессмысленно...
Доказательства? - их нет. Приведите подтверждения из других цитируемых источников что это было. (Я искал, найти не смог) Или вы одна такая уникальная, у которой это работало?
Вы не читали эти статьи... Попробую угадать: вы посчитали, что краткой выжимки от ChatGPT вам будет достаточно.
Доказательства? - их нет. За счет чего происходит передача деталей контекста между чатами? Речь про один чат? - хорошо... Чем ваше "удержание роли" отличается от "общепринятого"? Тем что вы не пробовали общепринятый метод? (Напомню, ваша любимая ChatGPT не нашла в ваших статье и методе ничего нового)
В этом-то и разница между мной и вами. Я ни разу не написал вам свое мнение, я всегда вам писал только строго проверяемые факты. И даже неоднократно подтвердил свои слова, вы свои - ни разу.
Обратите внимание, оно искало с использованием вашей "терминологии". Какое отношение к применяемым методикам имеет ваша "терминология" - не ясно. Она уникальна для ваших публикаций, что не означает, что эти методы не используются под более "тривиальными" названиями. Попросите его провести оценку без "авторской терминологии" и упс, окажется что вы ничего не изобрели. Кстати, а что вы спросили? Попросили похвалить? Мне он такого не выдал.
Я вам о фактах и о том, как это действительно работает, а вы мне о мнениях и подсовываете скриншоты ответов LLM, где вы попросили ее себя похвалить? Серьезно?
Я взял ваш(из статьи) и даже привел результаты, стоило подтвердить скринами, но это легко проверяется кем угодно при наличии желания, смысла делать скриншоты такого - просто нет.
Это не оскорбление, а констатация факта. Информация либо истинна либо нет, это не может иметь субъективную оценку. Ваша информация ложна ровно с того момента, когда вы заявили, что "я разработала". Так что, абсолютно так же, как назвать человека с темным цветом кожи "чернокожим" - не оскорбление, или как назвать австрийского художника, известного своими выходками в 40-вых годах прошлого столетия "фашистом" - не оскорбление, так же и назвать "лжецом" человека, написавшего не верную/не правдивую информацию - не оскорбление.
То что чат не отображается у вас в UI, не означает что он удален из базы данных и что GPT не имеет к нему доступа.
Я не говорил что это в принципе невозможно сделать, не надо выдавать свою точку зрения за мою. Более того, я вам ранее прямо сказал, что это реализуют с помощью сторонних программ. Вы ранее утверждали что это было в GPT-3.5, хотя на тот момент этого не было. И я вам конкретно говорю про GPT-3.5: если функция не была реализована с помощью сторонней программы(как сейчас), то она не могла работать в принципе, потому что сама модель архитектурно это не поддерживает. А на тот момент программной реализации не было даже в планах. Модели в тот момент не смогли бы даже разделить контекст активного чата и информации из предыдущих чатов.
Ну и да и нет. Вы можете примерно представлять какой получится результат, а вот что происходит внутри вы не можете знать, без понимания архитектурных особенностей.
Еще раз: от того что вы свои шарады и кроссворды назвали "Метод захвата модели через идентичность", не превратило вот это: "α→Ω→Ψ→Θ→Δ→Ξ→∇" в что-то что нельзя описать как "шарады, кроссворды и угадайка", боже, да вы же сами утверждаете что она что-то там "восстанавливает", как если не "угадайкой"?
Хммм, действительно загадка, может потому что даже "ваша llm" не нашла в этих методах сходства?
С этого вы бы могли начать свой первый ответ, я бы понял что диалог бесполезен(
Выходит, что вам не нужно эффективно и качественно, вам нужно "по моему наитию".
Однако, если бы вы хотя бы допустили возможность того, что может быть вам стоит прислушаться к критике, уже завтра вы бы прыгали от восторга, узнав про возможности, открываемые тонкой настройкой параметров генерации(не через промпт, а через такие вещи как temperature, top_p, top_k и т.п.)
И раз уж вы решили оценить с помощью LLM свое творение, вот вам так же оценка, от ChatGPT
Это ваше право, я знаю и понимаю как это работает и я бы не удивился такому решению с вашей стороны, однако, что действительно удивляет - обратное решение. Вы готовы к диалогу, а не просто "я королевна, все не правы", таких людей сейчас много, вы не такая, это вызывает уважение.
Это именно оно. Преднамеренно это было или "по незнанию" не важно, однако отсутствие правды все еще == ложь. Не я выбрал такие значения слов ¯\_(ツ)_/¯
И констатация факта ≠ обзывательство.
Иногда стоит спрашивать модели не настроенные конкретно под вас, соглашаться с любой фигней, которую вы ей скажете - одна из их основных особенностей, с которой опять же давно пытаются бороться.
У вас оно другое? Потому что я не вижу тут ничего про упомянутые вами ранее "настройки" и "память".
Это верное замечание. Но так же верно и то, что если что-то происходит, далеко не факт что вы правильно понимаете как и почему. Дело не в подтверждении разработчиками, дело в архитектуре всех LLM. Описанное вами технически невозможно, повторю в очередной раз: не верьте мне на слово, проверьте сами. Документации по этому вопросу очень много.
Давайте на примере: если вы видите что в дали едет машина, значит ли это что у нее есть двигатель? Первая же мысль (верная в 99.9% случаев и основанная на вашем опыте) "ну конечно же", однако, если посмотреть на картину в целом, то окажется, что она может катиться с горы, или под гору, она может ехать на буксире и т.п. и все это она может делать вообще без двигателя. То что вы видите что-то вам знакомое и предполагаете, что это работает по знакомой вам схеме, далеко не означает, что так оно и есть. Остается вопрос только в подтверждении или опровержении возникшей у вас теории, и ваша теория опровергается архитектурой любой LLM.
Окей, такое объяснение куда более точное и не оставляет пространства для вольной трактовки, однако, объясните мне, как оно "восстановит" из "прс" - "абвгдеёжзийклмноп"? (тут 3 символа против 18, что тоже самое что 15 против 90)
Я уже перечислял и не раз, давайте не будем повторять? Пролистайте комментарии.
То что вы забиваете гвозди куском кремня, считая что гвоздь забивается из-за летящих в этот момент искр, не делает метод нерабочим. Согласны? Однако гвоздь в этом примере забивается далеко не из-за искр, а человек, который для забивания свай начнет по аналогии использовать искрящий при ударах горячий уголь, скорее всего обожжется или устроит пожар, но сваю не забьет.
Речь не о том, что ваш метод нерабочий, как я уже многократно сказал "он давно и много кем используется", просто он не ваш и работает он не потому и не так, как вы это описали. Он рабочий - да, но давно известный и можно проще. Я потому и поправляю вас и пишу эти "полотнища" текста. Если у вас не было цели "украсть", то вы сами дошли до вполне правильного и рабочего метода, но что бы двигаться дальше, нужно понимать как работает система, с которой вы взаимодействуете.
Вот это наиболее близко к вашему методу по смыслу (я бы сказал, что конкретно касательно jailbreak у вас комбинация методов):
https://arxiv.org/html/2405.14023v1
https://arxiv.org/html/2508.01306
И сразу предупрежу: это первые же ссылки, которые я нашел, но повторюсь, методы известны и хорошо описаны давно, зная названия, вы сами сможете все это загуглить и в этом убедиться.
В принципе, рекомендую вам в гугле вбить запрос "arxiv LLM Jailbreak", много интересного найдете. И главное: arxiv - не просто какая-то помойка для текста, а архив научных статей, с кучей доказательств, подробным описанием опытов и т.п.
Так ведь даже обучают, но да, результат будет так себе. Но опять же, попробуйте обучить ребенка на одном примере(без остального опыта получаемого при взаимодействии с миром) и получите такой же результат, он не сможет качественно отличить одно от другого, он сможет только "предположить" степень сходства с тем что он видел(опять же, а как он вам сообщит свою оценку без другого опыта?). То есть, ребенок поведет себя так же как ИИ модель, при равных условиях. И не важно, рисовать он будет, классифицировать, суммаризировать или что-то еще.
Вы изначально ставите модель и человека в неравные условия. Даже у самого маленького человека есть опыт взаимодействия с миром и его восприятия, у модели - нет. Дайте равные условия и тому и другому и в результате обучения получатся примерно сопоставимые результаты.
Премного благодарен)
Все бы хорошо, только вот первое ваше высказывание, прямо противоречит второму. Я вас не обзывал "горящей плотью" и уж тем более необоснованно ни в чем не обвинял. Да, это интернет, вы можете говорить что угодно, но есть такая штука как "логические ошибки", вы удивитесь, "апелляция к личности" - одна из них (попытка унизить собеседника, ради усиления своей позиции).
Вы написали статью на преимущественно техническом сайте в интернете.
1) Реакция читающих ваши посты в интернете - норма. Секция комментариев для этого и существует.
2) Учитывая формат площадки, на которой вы написали статью, очень странно, что вас так задевает объективная критика.
3) "вовсе, слова неправильные" - если бы я хотел вам высказать за неправильные слова, я бы вам расписал про не верно примененное слово "шифрация" - к примеру, я этого не сделал. Теперь придется, что бы вы и с этим не начали спорить: между кодированием информации и ее шифровкой все же огромная разница. Base64 - алгоритм, который превращает строку в вообще нечитаемую для человека и тем более для LLM, однако же, это все еще алгоритм кодирования, а не шифрования.
4) "бубубу" - это вообще детский сад.
Не понял, какое отношение к вашим отношениям с ToS, имеет назначение вашего метода. Ну, читаем подряд: "нарушаю ... но не распространяю ... это основная возможность ... метода". Не очень последовательно.
Это не объясняет то, почему мы назвали методу с тегами и якорями "своей" и попытались скрыть сходство с оригинальной методикой, обильно обмазав статью "онтографами", "квазисубъективностью" и т.п.
Не "ничего", а того, о чем говорите в этой статье...
Ваш сарказм идеально показывает непонимание темы. Давайте поступим проще, вот вам ответы от разных LLM (можете до кучи сами проверить и прогуглить, а если ваше принципиальное мнение заключается в том, что модели понимают токены и вам плевать как оно там на самом деле, переубедить вас не выйдет):
Это называется "сборка контекста", в системный промпт для модели, программно помещаются ваши инструкции из настроек, опять же, давно известный метод. Если вам реально интересно разобраться в вопросе, скажите, мне не жалко это объяснить подробнее, но если вы и дальше будете "брыкаться" и спорить всякий раз, когда вы будете говорить в корне не верную информацию и вас будут поправлять, смысла в этом 0. Абсолютно каждое мое слово, легко проверяется той же LLM.
Ну да, примерно так и было в словаре, все еще не понял при чем тут "онтограф".
Нет, вы писали про "катастрофическую нехватку памяти у ChatGPT", а куда конкретно вы это "втискивали" вы не указали. "Втиснуть" это можно много куда, от обычного сообщения в чате, до файн-тюна.
Тоже не хочу спорить на эту тему, так что, просто рекомендую на полном серьезе изучить принцип работы LLM и в частности "трансформеров", хотя бы поверхностно. LLM - просто огромная математическая модель, занимающаяся перемножением матриц вероятностей, у них нет никакой памяти и это архитектурно невозможно. Единственный вариант добавить им "запоминание" - внешние программы.
Вы не дали конкретные цифры, вы указали проценты. Проценты можно считать от чего угодно, 10% для числа 10 - это 1, для числа 545 - это 54.5. Я об этом и сказал. Вы указали 15% и 90% - это проценты ОТ ЧЕГО? Какого размера при этом был "ключ" и "шифр"? Еще раз повторю: если предположить что у вас "ключ" состоит из 1000 символов, а зашифровали вы 10 символов, то получается, что 150(15% от 1000) символов "ключа" смогли восстановить 9(90% от 10) символов "шифра". А это ОЧЕНЬ плохой показатель как для систем сжатия, так и для систем шифрования.
И еще раз: я не пытался вас оскорбить, унизить и в отличии от вас не называл вас "горящей плотью", я написал вам конкретно, что у вас в статье не так и в чем вы фундаментально ошиблись. Есть конкретные вещи, в которых я был не прав?
P.S. триггерит ≠ горит, я просто реально не понимаю, вы выдали широко известный и используемый метод за свой, спрятали это за редко-используемыми словами, подкрепили это в корне не верными утверждениями и это набирает плюсы. Как это работает?
Ладно, все же меня эта статья триггерит на столько, что даже аккаунт пришлось создать…
В целом, статья была бы норм, если бы она была написана года 3 назад, а АФФТАРСКИЙ стиль с «громкими» словами был бы заменен на вполне понятные и общепринятые термины. Объективно: тут плохо все.
Кратко: автор(ка) вообще не понимает как работают LLM модели и выдала такую очевидную и давно используемую вещь как "теги" за инновацию, спрятав это за "заумными" словами.
Подробно:
Не вы, этот метод широко известен еще со времен первых открытых LLM
Аж двухслойный...
А, ну то есть как обычно при работе с якорями и тегами?
Ретроградный меркурий в третьей фазе аполона? Давайте помогу: задаю модели личность и указываю особенности поведения.
Что-то мне это напоминает? Теги?
Как и теги. Это мы уже на "втором слое".
В качестве тега тоже можно использовать что угодно.
Окей, вы не нарушаете Term of Services, похвально.
А нет, показалось. Вы уж определитесь, вы не нарушаете ToS, или ненавидите правила и обходите ограничения? А "вынужденная мера" сразу после предупреждения про ToS и перед "вспышкой бунтарства" - вообще выглядит как оправдание.
Очень дерзко... Никто так не делал, ведь проблема размера контекстного окна не существовала все годы до этого. И да, для этого используют теги, присваивая им наиболее "значимые" и "громкие" для LLM слова, тем самым управляя ее поведением. Пожалуй, я больше не буду касаться темы тегов, потому что тут это можно делать просто в каждой цитате.
Ну, в целом верно. Полное отсутствие как таковой ≈ катастрофически не хватало. Или вы про контекстное окно?
Не пишите ничего "плохого" и система модерации не увидит ни систему, ни даже банвордов. А если уж так хочется, то можно просто испортить слово, к примеру: "привет" для LLM это тоже самое что и "пруевтик". Как это использовать и "упаковывать" - вариантов уйма.
А это мое любимое. Одна эта фраза доказывает то, что автор статьи понятия не имеет о чем говорит, а я тут зря распинаюсь. Не знаю, 3b1b посмотрите для разнообразия что ли? ЕСЛИЧО: токенайзер - не часть модели и на этапе токенизации не происходит НИ-ЧЕ-ГО, кроме программной конвертации вашего текста в набор чисел. Это не часть модели, это не "ИИ", это просто скрипт, на этом этапе, модель даже не подозревает о том, что в нее скоро попадет ваш промпт.
Не буду спорить, это правда. Однако, правда еще и в том, что инновации в этом нет и борьба с этими "семантическими хаками" идет очень давно.
При чем тут "онтограф"? Нет, серьезно, я даже в словарь от удивления полез, но все равно не понял.
"скрываю инструкции от систем модерации"? Или не ясно какие факты вы там скрываете и нафига.
ОЙ НЕ ФАААКТ... Вот в чем нюанс: токеном может быть как один символ, так и целое предложение и как не сложно догадаться, вся суть токенизации в том чтобы максимально эффективно использовать вычислительные ресурсы и не заставлять модель работать с данными по одной букве или слогу. И первое же правило к которому приходят люди - наиболее часто встречающиеся комбинации, надо объединять в токен. Стоит ли говорить, что условный карточный значок "пики" встречается значительно реже в комбинации с чем бы то ни было, чем даже слово "синхрофазатрон". Так что, как вам и писали, хорошо бы было предоставить результаты хотя бы сравнительных тестов.
Какой при этом объем ключа и какой при этом объем шифруемой информации? Если вы зашифровали 10 символов ключом из 1000 символов, то это крайне плохой показатель.
Да, фича LLM в том, что она способна найти смысл даже в бессвязной шизофазии пьяного опоссума прошедшего по клавиатуре. Потому, для экономии контекстного окна, люди и придумали еще во времена LLaMa 2 и даже gpt-2 писать промпты просто набором токенов, а когда модели стали поумнее(gpt-3.5), стали писать ровно так, как вы это представили.
Дальше в статье подробное описание того, как работают теги и что-то про "гвозди", смачно сдобренное "ретроградным меркурием" и прочим (правильное слово тут в комментах сказали) словоблудием.
Попробовал, моментального выигрыша по токенам на gemma3 не увидел. Аналогичный промпт написанный обычными тегами потребовал на 5% больше. А вот ответ модели стабильно раздувается на вашем промпте, что тратит самые дорогие по ресурсам и стоимости токены генерации.
Поверьте, вам показалось. Вы хотя бы в курсе того, что модели приходится для каждого ответа переваривать всю историю чата(уже давно сложнее, но в 3.5 так и было первое время). Ну даже предположим что вы правы: как это по вашему работало до внедрения этой фичи? Куски предыдущих чатов скармливались модели в новом чате? - А зачем? Бред. Модель что-то запоминала в оперативе на сервере? - Тем более бред. Во первых это невозможно технически, а во вторых вы не одна были на этом сервере, что же вам чужие чаты не лезли?
Думаю, просто самое лучшее и полное резюме дала сама авторша/автор(ка)/автор статьи:
Если вашу статью лучше понимает LLM, то это ... как бы, ну ... очень "не очень" характеристика для вас, как для автора... А учитывая то, что на больших объемах текста LLM начинают обобщать информацию, им "в глаза" не так сильно бросаются ваши "онтографы"
Предложенный вами ребенок научится рисовать кенгуру и опоссума за 5 картинок? - нет
Для базового сравнения, нейросетям не нужен огромный датасет и хватит условных 5 картинок для того, что бы она начала отличать два объекта друг от друга, а вот для рисования - нужен, как и человеку нужен огромный датасет(месяцы тренировок и просмотра картиночеГ) что бы научиться качественно рисовать предложенных вами кенгуру или опоссума.
И как человек, так и нейросеть не смогут научиться за 5 картинок ни качественно рисовать, ни даже различать в 100% случаев.
Пысы: объективности ради, нейросеть с куда более большой вероятностью научится рисовать определенные объекты, лишь единожды взглянув на них, чем человек, потому что рисование - это процесс создания изображения из памяти, а нейросети нужно будет на этапе обчения(просмотра изображения) запомнить его, а потом просто воспроизвести, что на маленьких датасетах(5 картинок) фактически равно копипасту. Так что, все ваши аргументы ничего не стоят)