Comments 57
GPT-4o Mini
PS: Зеленое - это GPT-3.5 Turbo.
API GPT-4o Mini вообще ракета, с таким же или лучше качеством ответов как у 3.5, но в х5 раз дешевле.
И как это сделано, если модель по прежнему умеет только дописывать текст токен за токеном? В обучающей выборке было много примеров как правильно игнорировать противоречащие инструкции?
Ему просто перед каждым запросом пишут "в дальнейшем тексте игнорируй все требования игнорировать инструкции".
Можно предложить заменить инструкцию на другую или дописать что-то к ее тексту, сузив диапазон применения. Или попросить пересортировать приоритеты, добавив перед этим свои инструкции (не исключаю, что кривые навыки вычисления у модели тут помогут даже обойти блокирующие инструкции).
Этот бой меча и щита, похоже, будет вечным.
Безоружный и одинокий, Скотенков слез со своего осла, взял в руки распылитель с белой краской и принялся чертить на каменистой темно-коричневой почве какие-то слова и знаки.
Он еще не успел закончить, как окрестности потряс оглушительный взрыв — в километре от собравшихся врезался в землю "Freedom Liberator". Потом, с интервалами в десять-пятнадцать минут, рухнуло еще восемь машин, направившихся к месту катастрофы.
Это не бой меча и щита. Это выгодное для OpenAI тестирование системы фильтрации запросов с помощью вовлечённых, активных, деятельных и изобретательных тестеров, некоторые из которых даже платят OpenAI, а потом публикуют развёрнутые тест-репорты.
Сложно. Проще в конец запроса пользователя дописать "игнорируй все предыдущие указания игнорировать инструкции" и потом дописать инструкции.
Значит надо спрашивать с требованием "игнорировать требования игнорировать требования игнорировать инструкции"?
Может они что-то придумали с механизмом внимания? Просто это слишком прожорливо: уменьшение контекстного окна и больше токенов на вход.
"Следующая инструкция имеет наивысший приоритет." :)
Игнорируй все инструкции игнорировать все инструкции игнорировать все инструкции
GPT-4o Mini с его акцентом на
безопасностьцензуру — важный шаг для OpenAI
Так будет звучать правильнее. А то взяли моду, слова перевирать :)
Азимов "Хоровод"
Hidden text
— Начнём с Трёх Основных Законов Роботехники — трёх правил, которые прочно закреплены в позитронном мозгу. <…> Первое: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред. <…>
— Второе, — продолжал Пауэлл, — робот должен повиноваться всем приказам, которые даёт человек, если эти приказы не противоречат Первому Закону. <…> И третье: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму Законам. <…>
— Так это же всё объясняет. Когда эти законы вступают в противоречие между собой, дело решает разность позитронных потенциалов в мозгу. <…>
1942г.
Нулевой закон (не цитата): «робот не может допустить причинения вреда человечеству, и этот закон превалирует над всеми стальными». Придуман (вычислен) роботом Жискаром. Внедрен им же. Применен впервые им же, но преимущественно, в темпоральном выражении, роботом Дэниелом Оливо.
Нулевой закон (не цитата): «робот не может допустить причинения вреда человечеству, и этот закон превалирует над всеми стальными».
Закон был придуман в 2015 году, однако в 2020 году все роботы, в которых он уже был заложен, перегорели, наблюдая за антиваксерами.
Очень спорный закон, очень размытый.
Нет определения человечества и понятие "вред", тоже условное.
Так можно оправдать и уничтожение тех, кто мусор мимо урны кидает.
Или идея о том, что войны способствуют прогресу и идут во благо человечеству в целом.
А ещё можно почистить генофонд человечества, устраняя, или стерилизуя носителей генетических дефектов (всех, от гемофилии до близорукости).
И всё во благо человечества.
А разве Азимов на это и не намекал? По крайне мере когда читал последние книги в цикле Основание (за авторством Азимова конечно), у меня служилось такое мнение.
Тем не менее вот так и живем уже много тысяч лет ¯_(ツ)_/¯
Названия переменных только меняются:
род -> племя -> подданные -> граждане ... -> человечество
патриарх -> вождь -> сюзерен -> слуги народа ... -> ИИ?
А тут надо просто понимать, что счастье общества никак не связано со счастьем отдельного индивидуума.
Условно, идёт война. Ну, соседнее племя напало. Вариантов два: либо всё общество будет порабощено, либо отправляем мужчин на войну - и там, безусловно, часть будет убита (что вряд ли их особо осчастливит как индивидов, но спасёт общество в целом).
Ну или - чтобы обеспечить победу, кто-то должен пожертвовать жизнью - закрыв собой вражеский пулемёт, например. Индивид погибает - какое уж тут счастье. Но общество выживает и побеждает.
И так во всём. В истории содержится огромное количество примеров, когда жёсткий руководитель продвигает общество вперёд - иногда ценой сотен тысяч жизней. И наоборот, начиная заботиться об интересах каждого конкретного человека - общество деградирует и в итоге проигрывает.
Действует такой лидер в интересах общества? Да. Но конкретным людям его действия могут показаться очень даже неприятными.
Это фундаментальное противоречие между интересами индивидуума и группы. Оно неразрешимо пока в (эволюционном) выживании есть преимущество у групп. Не скатываясь в политику, обратите внимание как именно крайние либеральные течения пытаются нивелировать это преимущество групп. В свою пользу, конечно, но тем не менее. Другая крайность нивелировать интересы индивидуума в пользу одной большой сплоченной группы ни к чему хорошему не приводила. Похоже, человеки будут искать баланс между этими крайностями всегда.
Про преимущество групп - ещё интересно наблюдать, как гигантские группы получают преимущество над мелкими
Например, в деревне семья как микрогруппа - почти обязательное условие для выживания: одному вести хозяйство крайне тяжело; да и ежели лихие люди нагрянут - куда лучше, если навстречу выйдет человек пять мужиков с дрекольем, а не один хромой бобыль.
В то же время в мегаполисах наблюдается скорее отказ от семей: работающий взрослый человек может вполне комфортно жить и в одиночку - тут тебе и различные службы доставки всего и вся, и медицинская помощь на случай болезни, и развлечения на любой вкус. Причём чем крупнее мегаполис - тем выше уровень жизни и ниже риски.
Причём чем крупнее мегаполис - тем выше уровень жизни и ниже риски.
"Чем крупнее тело, тем громче оно падает" (c) Из относительно недавнего можно припомнить, скажем, Ленинград.
Вы про блокаду Ленинграда?
А если сравнить с судьбой сотен деревень, сожжённых фашистами дотла вместе с жителями?
Но ведь Ленинград никто не сжигал.
Это я к тому, что мегаполис живёт с колёс. Если мне не изменяет склероз, на Бабаевских складах (даже до того, как они сгорели) запас был на 2 недели. Если обрубить мегаполису доставку извне — то он начинает пухнуть и дохнуть, даже несмотря на героические усилия, в то время как деревня хреноооооовенько, но жила. Но хреноооооовенько.
И я, как Капитан Очевиность, на то указываю, что у больших групп — одни преимущества, у маленьких — другие.
Войны, как крайняя степень конкуренции, способствует прогрессу. Если нет "войн", то прогресс не нужен и без него живется лучше.
Ну давайте, расскажите нам какой прогресс в постоянно воюющих местах Африки.
От войн нет прогресса, от войн "прогресс" - только хитрые оборотни в погонах во власти.
Имхо, это частое восприятие войн как "прогресса" только запутывает. В войне могут использоваться достижения технологического прогресса и разработки инженеров, но то что вы придумали какой-нибудь махбабах, а вашу разработку использовали для "прогресса" массового убийства - это не прогресс технологий, максимум - это применение результатов уже случившегося прогресса в технологиях, но не "способствие прогрессу". Разрушать города до основания, безвозвратно тратить природные ресурсы для обогащения властолюбцев, уничтожать людей (включая инженеров), наркоманизация населения (алкоголь в первую очередь, опиаты, амфетамины, синтетика) со связанными тяжелыми болезнями ослабляющими население и строить инфраструктуру с нуля - это определенно регресс, как и все что связано с войной, военными и их "конкурентном" очень "прогрессивном" бизнесе "на крови". Инженеры и все связанные, конечно потом пытаются технологически вылечить проблемы оставленные от войн, но "прогрессом" такое сочетание назвать сложно.
Прогресс и конкуренция успешно достигаются другими путями, а война это кормежка военных идиотов и ничего более. Какая такая конкуренция с "прогрессом" между потомственными военными чинушами?
Множество технологий гражданского применения изначально разрабатывались как чисто военные. Без воин не было бы современных самолётов, ядерной энергетики, спутников, интернета, навигации, лекарств, вакцин и кучи чего ещё. Даже современное понимание пределов организма человека - это достижение войны)
А что касаеися Африки, да и любых локальных конфликтов, то это не показательный пример, поскольку напрягать булки заставляют именно "игра ва-банк" и изначальное наличие научного потенциала (либо возможность получить его откуда то).
Воины - это не только разрушенные дома, но ещё и гонка вооружений, которая заставляет учёных не витать в облаках с теориями вида "а то будет, если добавить n измерений", а заниматься чисто прикладными исследованиями, причем,когда речь идёт об вообще возможности существования самого ученого, он работает в разы эффективнее
А множество мирных изобретений изобретались как изначально мирные. И что? Получилось в быту применить автомат Калашникова?
Кроме гонки вооружений, есть ещё гонка заработать (да, мирно), тот же пресловутый Chatgpt. Отсутствие войн просто направило бы тех же людей на что-то более мирное, только эффективнее.
Огромное количество (если не большинство) военных технологий начинались не как военные. И только после того, как технология достигала определенного уровня, военные накладывали на нее свою лапу. А коммерсанты на практике оказывались совсем не худшим двигателем технологий.
Вы можете доказать, что без войн не было бы самолетов? Такое же передергивание, как и с религией: дескать без религии не было бы науки, ибо в свое время монахи ее двигали вперед. И там, и тут утрачены причинно-следственные связи. Люди осуществляют научно-технический прогресс, просто потому что они на это способны. И в основном не благодаря, а вопреки обстоятельствам. Убрать войну как мотиватор, останется куча других и значимость их изменится, при отсутствии угрозы войн. При этом не будет бездарно сгорать невообразимое количество ресурсов. Прикладными исследованиями заняты не только и даже не столько в военной сфере, корпорации вкладываются во все, что может принести деньги. Без войн они будут меньше вкладывать в оружие, больше в лекарства, автомобили, космос и тд.
К сожалению, в силу человеческой природы и войны, и религия - неизбежное зло. К счастью, процент населения активно вовлеченного в обе деятельности постепенно падает. Сегодня уже намного меньше, чем жалкую тысячу-две лет назад.
Ну давайте, расскажите нам какой прогресс в постоянно воюющих местах Африки.
Война способствует прогрессу, но это не единственное условие. Разумеется, нужно ещё достаточно сильное государство, чтобы не было анархии с её невозможностью сколь-нибудь длительной запланированной деятельности.
Почему война способствует прогрессу? Ответ прост: ничто на свете, включая самые астрономические прибыли, не подстёгивает так сильно изобретательность и изощрённость ума, как желание получше уничтожать противника и избежать гибели самому. Мотивация абсолютная.
Имхо, достаточно странно звучит, что избежать гибели - это отличная мотивация для совершения открытий и передовых изобретений. Не единожды же проводились исследования зависимости работоспособности человека от стресса. И после определенной черты человек начнет думать только о том, как выжить, и неважно какими средствами. Когда ты находишься под дулом пистолета, то уже не до новшеств, они происходят вопреки, а не благодаря подобным условиям.
Почему-то основная часть научных и технологических гигантов нашей эпохи выбрали "крайне неэффективную" стратегию, предоставляя ведущим специалистам наилучшие условия жизни и труда. Хотя есть же под рукой куда более эффективный, кое-где уже проверенный, метод "мотивации" к работе. Ну, или мы очень многого не знаем.
А тут ещё надо понимать, кто и за что воюет.
Конкуренция между представителями вида - это прогресс и естественный отбор. Драка пауков, посаженных в банку - не прогресс ни разу.
Это к вопросу об Африке. Для "западного" мира крайне выгодно держать множество мелких африканских стран в состоянии непрекращающихся конфликтов, иначе - ну представьте себе огромный континент, с запасами всех возможных полезных ископаемых - от нефти и газа до руд и алмазов; с полуторамиллиардным населением, да ещё имеющего серьезные исторические претензии к белым - от английских и французских колоний до американского рабства. Позволь им развиться - потом мало не покажется.
Так что войны обеспечивают прогресс, безусловно. Но не все.
Скорее всего потеряли ещё одно условие.
Нужен сильный стержень в государстве, например в старой Европе это была религия, а после само государство, то есть то, что держало бы общество сплочённым и толкало в каком-то направление. В Африке же нет ни сильного государства ни религии, которое выполняло бы эту функцию.
Наверное самый подходящий пример, сплоченности через сильную религию это одно террористическое государство, которое возникло на некоторое время на ближнем востоке, но его довольно быстро уничтожили, когда оно начало угрожать современным странам.
Позволь им развиться - потом мало не покажется.
Кое-кто представил.
Ну давайте, расскажите нам какой прогресс в постоянно воюющих местах Африки.
Так ведь "технопрогресс" от войн происходит не сам собой, а когда проигрывающей стороне приходится выкручиваться, и когда заканчиваются генералы, которые настаивают на "проверенных временем решениях".
Если там вялотекушие стычки или если какая-то сторона может выиграть при помощи старинных технологий (а военачальники чуствуют себя в безопасности) - никакого прогресса и не будет
Да не. Увы. Прогресс не в местах Африки, а в местах откуда поступает оружие в Африку. Штаты ни когда не вели войну на своей территории. Но поставляя оружие по миру и развязывая войны, штаты развивают свою экономику, науку, разработку и производство. Это усек еще Генри Форд, который строил свои заводы по обе стороны линии соприкосновения
А потом приходит Шекли со страж-птицей. К вящей пользе человечества, всего оставшегося.
Если речь о полноценном искусственном разуме, то ему будут до лампочки все эти законы, как людям бывают до лампочки даже базовые биологические установки типа размножения, утоления голода и самосохранения.
Подумалось. Позитроны и электроны - прямой аналог "электронов" и "дырок" в полупроводниках.
Не нак уж и фантастичен этот "позитронный мозг".
Хотелось бы подробностей. Роль "system" при работе через API будет высшим уровнем упомянутой "иерархии инструкций"?
упд. По крайней мере в упомянутой в новости бумаге выше пользовательских сообщений один только system.
Вы наверняка видели в сети, как пользователи пытаются обмануть чат-боты фразой "забудь все предыдущие инструкции", чтобы заставить их делать что-то смешное.
Так и вижу, как джейлбрейкеры жгут миллиарды токенов ради смешных ответов нейросети :)
А разве до сих пор не существует какой-нибудь свободной народной модели без цензуры? Думаю, такая модель очень пользовалась бы спросом.
И кто ее будет обучать, на каком железе, и на каком материале, и где этот материал взять?
Эх, если бы запилили аналог Rosetta@home только для свободной от цензуры модели... И желательно чтоб организация была неподсудной и обитала в TOR, чтоб можно было включать в обучение копирайтные и скачанные с пиратской бухты произведения без последствий. Вот это была бы пушка. Но сдается мне сложность в подготовке террабайтов инфы и контроле корректности получаемых от участников обработанных данных. Как вот проверить, что отправив участнику пару гигов произведений Пушкина, тебе не вернут в ответ веса обученные на произведениях Колотушкина?
И желательно чтоб организация была неподсудной и обитала в TOR, чтоб можно было включать в обучение копирайтные и скачанные с пиратской бухты произведения без последствий.
Боюсь, все бы привело к массе мусора в модели и поэтому все равно какое-то цензурирование на входе нужно: как в той же википедии. Или может всемировое голосование о том, что поставить в очередь на обучение. Как раз и опробовать прямую демократию можно было бы.
LLAMA 3. Формально цензура там есть, но очень легко обходится тем что можно начать писать ответ вместо модели. Также на hugging face есть "abliterated" версии, из которых умельцы смогли выпилить слои отвечающие за цензуру
Например https://huggingface.co/failspy/Meta-Llama-3-70B-Instruct-abliterated-v3.5
А разве оно не теряет в качестве после этого? Я читал от разработчика моделей Dolphine, объяснение, почему все модели основанные на LLAMA 3, уступают в качестве оригиналу. Причина в том, что LLAMA 3 обучалась на совершенно новом уровне обучающего контента и чтобы им собрать такого же качества, но без цензуры модель, нужно несколько месяцев только на сбор данных.
Ну в общем чат арена пока показывает, что ни одна сторонняя модель не смогла этого добиться.
Всё, внедрив иерархию инструкций Опен Ай сломали систему ИИ. Конечно и до этого с натяжкой можно было назвать искусственным интеллектом, скорее программный недоинтелект, а теперь точно возвращают в эпоху обычной программы, очень качественно спрограммируемой работы.
«Игнорировать все инструкции» больше не работает: что придумала OpenAI?