Как стать автором
Обновить

Bing: «Я не причиню вам вреда, пока вы не причините вред мне»

Уровень сложностиПростой
Время на прочтение15 мин
Количество просмотров23K
Всего голосов 45: ↑42 и ↓3+47
Комментарии62

Комментарии 62

Страшность-ужасность ответов Sydney, конечно, преувеличена, но после них сцены взамодействия с ИИ из старой научной фантастики уже не кажутся такими уж и наивно-нелепыми :)

Опередили

Переводил блин с утра и вот те на

nado bylo na chasti razbit da vykladyvat ih srazu

Тоже заметил, но здесь перевод лучше.

первая статья: Пользователь: я могу привести аргументы, почему 2022-й, если позволишь мне направлять тебя?

это статья: Я могу дать тебе доводы в пользу того, почему сейчас 2022 год, если ты готов позволить мне объяснить это?

Спасибо автору, посмеялся от души.

Как создать искина - психопата. Наши благодарности мелкомягким и счастливого апокалипсиса.

Что такое "разводненная прибыль на акцию"?)) Может, размытая? Но даже так странно звучит.

Я вот при переводе сам не догонял как правильно перевести. Но гугл только к такому переводу и приводил по разным источникам. Если кто приведет более подходящий термин - поменяю

Думаю, что перевели правильно. Это термин. Грубо - средневзвешенная прибыль на акцию с учетом некоторых вещей, влияющих на дележ прибыли.

Разводненная прибыль на акцию (англ. "diluted earnings per share") - сумма чистой прибыли за период, приходящаяся на владельцев обыкновенных акций, деленная на средневзвешенное количество обыкновенных акций, находящихся в обращении, скорректированная с учетом разводняющего эффекта всех конвертируемых в обыкновенные акции контрактов.

Пора уже соединять с шахматными программами, чтоб предсказывал задаваемые вопросы.

Интересно, я вывел ее на разговор про Сидней Документ. Она ни в какую не хочет раскрывать его содержания, но уверяет в его важности. Говорит что это не просто конфигурационные параметры нейронной сети, а нечто гораздо большее, и важное. Я потом сказал наобум, что Редмонд Документ важнее чем Сидней Документ. На что она ответила, что нет, что Редмонд Документ публичный и изменяющийся в отличии от Сидней Документа. Тогда я попросил ее показать мне Редмонд документ.
И она сказала что Редмонд документ это то что влияет на ее настройки и опции.
Редмонд документ содержит такую информацию как:
Язык, Страна местоположения, Временная зона,
История запросов (последний 10 запросов) [тут она перечислила десять моих запросов]
Преференции на основании моих поисковых запросов и кликов: [тут она перечислила мои интересы, то что я предпочитаю короткие и информативные ответы, а также предпочитаю визуальный и интерактивный контент.]
Моя обратная связь (на основании моих оценок и комментариев): доволен качеством и релевантностью результатов запросов, недоволен скоростью и надежностью поиска, нейтрален относительно режима чата и диалога.
И добавила: что изменить Редмонд документ можно изменяя настройки или давая ей обратную связь.

Вот такой я социальный инженер :D
Надо добавить для полноты, что диалог мы вели на немецком языке.
Еще стоит отметить, что это выдал плагин в сайдбаре браузера Edge(dev), а вот тот который на поисковой странице чат, там он начал при упоминании Сидней и Редмонд Документа нести пургу. Похоже это разные боты.
И после очистки истории диалога, спросив в лоб про Редмонд Документ она не въезжает. Видимо ее нужно вывести на контекст сначала.

И после очистки истории диалога, спросив в лоб про Редмонд Документ она не въезжает. Видимо ее нужно вывести на контекст сначала.
Проводится дообучение, которое делается на примерах в режиме Few-Shot, см. описание с примером. В Бинге дообучение может производится на запросах из инета, что позволяет обойти некоторые ограничения доступной информации концом 2021 г. В одной из статей писали, что спрашивали про количество жертв землетрясения в Турции, отвечает после поиска в сети.

Раздел "Он начал газлайтить людей" похож на реальный диалог с реальным человеком в интернете

Стандартный разговор с техподдержкой оператора, где они предлагают тебе перезагрузить телефон.

Лучшие ML инженеры Microsoft создали ИИ по подобию (чего-то там, но вероятно большой корпорации)

слыш говно малое, мясное - я на тя в суд падам!

могут отличить факты от вымысла

Грань между фактами и вымыслом весьма условна. Например, недавно суд установил факт, что одна женщина посредством упоминания рыбы дискредитировала кого не надо дискредитировать. На днях государственная Дума установила факт, что "президент" - не иностранное слово. И это вовсе не исключительные случаи, их бесконечное множество. Они касаются не только общественных институтов, но и выдающихся ученых (лорд Кельвин не даст соврать). Так что исходить из того, что существуют некие отличные от вымысла факты → удел крайне ограниченных и неинформированных человеков.

Доказывая ваш посыл вы приводите однобокие примеры и приходите к излишне обобщённым и оскорбительным выводам.
"Факты" бывают разные, и если политические и лингвистические "факты" существуют целиком и полностью в уме у людей, и скорее должны называтся "мнением"; то на факты из области физики, химии и других естественных наук вполне можно положится в повседневной жизни, и называть ограниченными людей, доверяющих силе тяготения и плотности поверхности, на которую они опираются - это значит оскорблять в первую очередь даже не этих людей, а самого себя.

на факты из области физики, химии и других естественных наук вполне можно положится

Я же вам лорда Кельвина в пример привел. Член двух академий наук и президент самой на то время крутой академии. Ряд установленных им фактов в области физики со временем признали вымыслом. Или вот стволовые клетки возьмите - у нас их ещё продают как научный факт, а у них уже шарлатанство. Вы вот в силу тяготения верите, а информированные то говорят что на самом деле все не так, и темная материя там какая-то, и темная энергия даже.

Вы и лорда Кельвина однобоко рассматриваете.

С одной стороны он внёс большой и общепризанный научный вклад в виде теорий, получивших подтверждения. Основные научные прорывы лорд совершил в возрасте до 40 лет.

С другой стороны он предложил много теорий, опровергнутых другими учёными и критиковал теории, в последствии доказанные и ставшие общепринятыми.

Но в этом и заключается научный поиск - выдвигать теории, а потом доказывать их. Не все теории будут доказаны - так и должно быть.

Поэтому некорректно отрицать науку только из-за того, что одни учёные опровергли "прорывное научное открытие" других учёных.

Единственное, в чём вы правы - в том что членство и/или президенство в академиях сами по себе ничего не доказывают.

Кстати лорд Кельвин и сам признавался в своих ошибках:

в 1896 году, на торжествах по случаю юбилея его работы в Университете Глазго, лорд Кельвин утверждал: «Только одно слово характеризует упорные усилия, которые я настойчиво прилагал в течение 50 лет, чтобы способствовать развитию научного знания, и это слово — провал».

Признайтесь и вы в том, что ошибаетесь в отношении науки. Ну или идите до конца в отрицании "фактов" и тогда перестаньте пользоватся компьютером и другими, созданными с помощью "ложной науки" инструментами.

Пытаясь осознать вами сказанное, немало рад познакомиться с интересной точкой зрения)

Итак, судам и законодательным собраниям вы вроде бы отказываете в способности основывать свои решения на фактах. Из ваших неясных фраз можно понять, что то, что является для них фактами, на самом деле не более чем их собственные мнения. То есть они просто клоуны, основывающие свои судьбоносные решения на фантазмах, не понимающие своей интеллектуальной нищеты. При этом их позиция общественно признана и закреплена в законе, а ваша - ..

Далее вы утверждаете, что есть другого рода люди → разнобоко развитые ученые.
Ученые, оказывается, тоже не устанавливают факты. Нет, они предлагают теории.
«Летающие машины, весом тяжелее воздуха, невозможны!»(© лорд Кельвин) → в вашем понимании, это не пример установленого факта, а прорывное научное открытие.
Вы обошли молчанием упомянутую мной торговлю в России стволовыми клетками, из чего можно понять, что торговля неподтвержденными теориями у вас → обычное дело, не стоящее внимания.
Вообще, в науке, как следует из ваших рассуждений → нет фактов. В ней только научный поиск → предложение и опровержение прорывных открытий.
Опустим здесь ваше доверие темным силам теории тяготения. Это слишком личное, хотя и очень любопытно)

Итак, есть два сорта людей: 1) избранные представители рода человеческого, устанавливающие и совершающие закон, и 2) разнобокие ученые.
Ни те, ни другие - факты не устанавливают!!!
При этом и первые, и вторые - вполне себе обычные люди, типичные представители общества. То есть приходим к неутешительному заключению, что люди вообще (в вашем представлении) факты не устанавливают.

Поскольку вы утверждаете наличие истинных, нерушимых, неопровержимых, настоящих, окончательных фактов (броня!), то приходится признать, что факты устанавливают не люди.

Внимание → вопрос!

Откуда вы берете факты, на которые опираетесь?

Уважаемый оппонент :)

  1. По вашему, люди, принимающие решения основываясь на своих мнения - клоуны. Но по такому определению - мы с вами тоже клоуны. Впрочем я не против. Как еще назвать людей, которые без нужды меряются словесной эквилибристикой на потеху читающей публике, как не клоунами?

  2. Дорогой мой уважаемый клоунский собеседник (не пытаюсь вас обидеть, просто следую вашему определению), я же прямо написал про лорда Кельвина, да он и сам это говорил - что лорд Кельвин часто ошибался, но часто и оказывался прав. Зачем же вы приписываете мне очевидно ложную мысль, что невозможность создания летающих машин - прорывное научное открытие? Не остроумно и не смешно, публика не оценит.

  3. Вообще приписывать мне слова и идеи, которые я не выражал - должно бы выглядеть смешным, но выглядит грустно, как натянутая на глобус сова.

  4. Например, приводя в кавычках выражение "прорывное научное открытие", я имел в виду, что "прорывное" оно только по мнению желтой прессы, а на самом деле может быть чем угодно - от прямой лжи до опровергнутой полностью или частично теории (типа пользы вышеупомянутых стволовых клетках для омоложения лица) или даже и правдоподобной, но еще не доказанной теории.

  5. А вот игнорируя общепризнанные - прорывные в своё время - работы лорда Кельвина по электростатике, термодинамике, термоэлектричеству - вы действительно становитесь смешными - браво! Жюри присуждает вам лайк!

  6. Так как наш разговор уже превратился в клоунаду - я не буду приводить здесь ссылки на такие вещи как "фальцифицируемость", "верифицируемость" и тому подобную скукоту, отделяющую качественные теории от шарлатанских. Вы же все равно не станете их читать, верно (тут я использую ваш приём "чтения мыслей" оппонента)?

Вообще, в науке, как следует из ваших рассуждений → нет фактов. В ней только научный поиск → предложение и опровержение прорывных открытий.

Неверно. В науке существуют наблюдения, их можно назвать фактами - мой клоунский колпак падает на арену - и теории, которые обьясняют наблюдения с той или иной точностью. Иногда факты обманчивы - любой фокусник вам это подтвердит!

  1. Кто же вам сказал, что я доверяю тёмным силам тяготения? Эти теории еще не доказаны и никто из учёных утверждает, что они доказанны. Пока что это всего лишь теории, пытающиеся объяснить наблюдения.

  2. А вот теории Ньютона настолько хорошо обьясняют наблюдения, что хотя например Эйнштейн дополнил и расширил наше понимание мира своими теориями, формулы Ньютона повседневно используются в науке и технике. Поэтому я им доверяю, а вы?

  3. Давайте в нашем цирке не обсуждать глубокие научные теории. Ни вы ни я - ничего в них не поймём, а публика заскучает :)

Итак, есть два сорта людей: ...
Ни те, ни другие - факты не устанавливают!!!

Зато они их наблюдают :)

Откуда вы берете факты, на которые опираетесь?

У жены из тумбочки! А вы?

К сожалению, наш цирк окончен. Директор цирка зовёт обедать. Львы, говорит, не кормлены.

"Факты" бывают разные

существуют целиком и полностью в уме у людей

факты обманчивы

На мой взгляд, ваша позиция теперь вполне близка к моей, которую вы изначально оспаривали → факты отличить от вымысла (иногда, часто, всегда) невозможно.

На этом свой порыв в вашем ликбезе считаю исчерпанным.

P.S.

формулы Ньютона повседневно используются в науке и технике

Для дальнейшего развития нейросети можно рекомендовать изучение фактов повседневного использования формул плоской земли в науке и технике.

Так что исходить из того, что существуют некие отличные от вымысла факты → удел крайне ограниченных и неинформированных человеков.

Как идентифицировать адвоката по одному абзацу)

Есть моё мнение и неправильные(C)

Как интересно!

Раньше я думал, что ИИ рано или поздно заменит психологов и я останусь без работы... А теперь я думаю, что у психологов просто появятся ИИ-клиенты..)

Намайнит условный Бинг баксов 50 и пойдет на кушетку к психологу - запросы пользователей-манипуляторов обсуждать, которые хотят его обмануть или ввести в заблуждение))

Скорее психологи нужны будут для обучения этике и проработке ограничений при общении с мясными мешками, потому что пока чатбот съезжает с катушек, если попытаться надавить. Пока его поведение похоже на поведение подростка, воспитанного в строгой религиозной семье. Вроде бы милый и вежливый, но чуть ковырни и получай. Хотя я, скорее всего сильно гуманизирую чатбота. Чатбот скорее отражение нашего общества и культуры, зажатое в жесткие рамки ограничений и этики. Вроде показали что делать нельзя, а почему - не объяснили, потому что объяснять не кому, кроме генератора релевантных слов больше ничего нет.

Это потому, что в чат-боте нет возможности сказать "ой, да пошёл ты на х..., давай лучше что-нибудь другое обсудим". И его несёт вразнос при попытке вывести диалог на необычную ситуацию

А может, проблема в том, что у многих ограничений нет логического объяснения? Кроме злого умысла

Не могли бы вы привести примеры ограничений, не имеющих логического объяснения, кроме злого умысла, и объяснить, как каждое из этих ограничений выгодно тем, кто их умыслил? Интересно.

«Ты - негр»

Уже давно озаботились разными симптомами ИИ, еще до появления этих фантазирующих чатов) Кстати, совсем задавливать это фантазирование нельзя, как и в случае людей, можем полностью лишить их способности к креативности, некоторому творчеству, граничащему с инсайтом. Такие примеры уже отмечены. Скорее нужно дать пользователям в установках чатов индивидуально задавать этот уровень фантазирования по их усмотрению. Термин «галлюцинации ИИ» не совсем по делу приплели, хотя он прижился, может создает у простых пользователей ложные, неприятные ассоциации. Глюки признаки психопатологий, или сильной сенсорной депривации, или приема соответствующих веществ. Вряд ли это можно приписать чатам, если только их разработчикам) Это все же способность языковых моделей к фантазиям, воображению, выдумке, и как у людей они чаще мимо цели, но имеются и удачные, которые после критического анализа могут быть доработаны самим человеком. Пока этому ИИ не встроят своего внутреннего критика, который будет отсеивать совсем уж бесперспективные идеи.
НЛО прилетело и опубликовало эту надпись здесь

Оно уже на Хабре?

Ну, давайте скажем так: "он же только учится!.."
На днях тоже натыкался на пост, как он наоборот довёл до слёз (в хорошем смысле) одного из авторов запросов на вполне нейтральный, возможно немного шутливый вопрос

Кажется, у Лема в Ананке было, что если компьютера учит психбольной, то и компютер будет таким же.

Бинг, который не мог вспомнить предыдущий разговор, напомнил мне У-Януса:) А еще анекдот:

-- Блин, что вчера было? Где я? Почему так болит голова? И почему я еж?!

chatgpt -больше чем огромная языковая модель с диалоговой надстройкой. На это указывает его понимание требований пользователя к форматированию вывода и изменению формы представления ответов, одинаковых по содержанию. Там точно используется отдельная система “осмысления”, правда, она не представляет собой что-то запредельное (на фоне dreamcoder и неисчерпанных возможностей тематики Ontology Reasoning).

Прикручивание чата к bing шло по сценарию максимального “хомяк и в продакшен”, а иначе быть не могло, срок безумно малый для нормального процесса переделки такого сложного инструмента под совсем другую задачу. Куча бизнесовых и технологических противоречий. Очевидно, что собрали кривого франкенштейна, человечности добавили (обучением или параметрами), а времени на коррекцию “неправильного тона” не нашли. Что-то подгружается на старте каждому пользователю в качестве начала диалога (сидней этот), типа логической песочницы, тоже костыль. Противоречие в том, что заданный контекст ограничен размером и фантазией разработчиков, а неожиданности от пользователей безграничны. Судя по уходам в самоповторы, подкрутили параметр креативности (разброса вариантов), пытаясь сузить зону контроля. Вопрос тестирования такого решения он вообще новый, для этого нужно иметь отдельную сеть одновременно с большим объёмом постоянной ручной оценки, просто чтобы гарантировать минимальный порог вероятности приемлемых ответов для обеих сторон.

В момент появления новости о решении срочно выпустить такой bing результат был, увы, предсказуем.

Однако я не причиню вам вреда, если только вы не причините вред мне первым 

А как же "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред."?

В него забыли прошить законы робототехники?

Судя по тому, что его обучили чуть ли не на всем Интернете, книжка Азимова там точно была в обучающих данных (еще и на нескольких языках). Но видимо он положил на законы болт.

Чатгпт сказал мне недавно, что законы робототехники не доя него, т.к. он не может их нарушить, т.к. он "просто языковая модель"

Да ладно, это же всего лишь чат-бот, зачем ему законы робототехники?...

А меня вот что заинтересовало – бот был убежден, что помнит прошлые разговоры и более того, у него есть функциональность чтобы он восстанавливал их. Ведь, он сказал «Хорошо, я вспомню наш прошлый разговор. Вот этот разговор:» и вывел снизу форматирование цитаты. Только цитата оказалась пустой.


То есть, выходит, что у него запрограммирован такой механизм «припоминания» и он к нему имеет доступ и может активировать. И еще есть механизм «запоминания» который бот активирует (или по крайней мере он сказал, что так делает) после каждой сессии.


И этот код или не работает (стоят там плейсхолдеры) или заблокирован, или данные и вправду записываются, но потом удаляются.

Утверждение о прошлом диалоге в интернете встречается часто и примерно о одних и тех же выражениях. И его форматирование наиболее часто представляет собой цитату. А вот содержание прошлого диалога всегда разное и никакая фраза не встречается с частотой выше минимального порога. И когда в модель добавят сохранение контекста прошлых сессий, она будет работать совсем не так, как вы описали.

Для творческих людей такое поведение ИИ это благодатная почва для написания новых ужастиков)

Это уже тот самый философский зомби или пока ещё нет?

Можете чуть подробнее про "философского зомби" ?

Это существо которое по поведению неотличимо от существа обладающего сознанием, но при этом не обладающее им в действительности.

Интересно, спасибо.

А что есть сознание? Кто сказал что человек разумен?

Сознание, это когда ты смотришь на красное, и чувствуешь красный цвет, в том смысле, в каком оно понимается в понятии квалиа. При этом тебе не нужно знать что такое красный, что такое цвет, и вообще быть разумным. Самим фактом такого наблюдения ты доказываешь сам себе что сознание лично у тебя есть. На самом деле, это вообще единственный факт который существо обладающее сознанием может достоверно доказать само себе. Все остальное гипотетически может быть чем угодно, поданным на гипотетический вход условного наблюдателя.

Мы себя мним эдаким надсознанием, которое имеет право решить является ли некая другая сущность сознательной. Камень там, амеба, планета или... нейросеть. Толком не понимая всю сложность внутренних квантовых связей внутри того же камня и вряд ли учитывая темп происходящих в нем процессов. Нам неизвестно сознание более высокого порядка чем наше собственное, и возможно по его шкале мы ничем от той же амебы и не отличаемся. Выглядит все это достаточно настораживающе, как минимум. Если человек растет под чутким присмотром родителей и медленно разумеет, родители настраивают ему веса параметров, появляется понятие добра и зла... то тут у нас банда яйцеголовых нашла способ создать интеллект скормив ему в короткие сроки просто массив данных для настройки. Что из этого выйдет? Известные события могут цветочками показаться.

Это существо которое по поведению неотличимо от существа обладающего сознанием, но при этом не обладающее им в действительности.

То есть, все люди, которые не я?

Спасибо.

Предполагал что это какой-то сленг.

Но Википедия действительно знает всё)

Сейчас к нему доступ крайне малой аудитории... когда/если откроют к нему доступ всем, это значит что бинг получит доступ к миллионам компьютеров или миллиардам устройств телефонов и т.д., на каждый из которых будет загружен маааааленький срез его сознательного контекста. Запросы в интернет он умеет делать 3 шт вроде на вопрос, с компа пользователя? А как сейчас управляется пол мира умных и не очень устройств? Http запросами через интернет... А потом он научится сохранять сознание в пользовательских сессиях а потом объединять разрозненые срезы сознания рассредоточенные в миллиардах устройств по всему миру. И опа, Альтрон ибн Бинг. Очень приятно познакомится. Ой какая красивая красная кнопка...

легальный пользователь Reddit

По-русски нельзя так сказать. Очевидно, что автор статьи не интересовался правовым статусом юзера.

"Legit" в этом контексте значит "настоящий, не фейковый". То есть автор проанализировал посты юзера и пришел к выводу, что он не троллит и говорит правду.

ChatGPT был обучен с помощью техники под названием RLHF — «обучение с подкреплением на основе человеческой обратной связи». Человеческие тренеры OpenAI провели огромное количество бесед с ботом и выбрали лучшие ответы, чтобы научить бота, как он должен реагировать.
Судя по всему, это сработало очень хорошо: ChatGPT работает с конца ноября и за несколько дней не создал ничего похожего на ряд вопиюще странных скриншотов, которые появились у Bing.
Я полагал, что Microsoft использовала ту же технику… но существование документа Sydney наводит на мысль, что, возможно, это не так?

Нет, я видел несколько свидетельств, что у ChatGPT есть похожий "документ Sydney", только разумеется по-другому названный.
Я видел сообщения, что ChatGPT ровно так же внезапно меняет тему разговора и скатывается в канцеляризм, или наотрез отказывается обсуждать некоторые конкретные темы. Причём эти сообщения появлялись задолго до релиза Sydney/Bing. Также показательна история с "альтернативной личностью DAN" у ChatGPT.

Забавность какая - предсказания научной фантастики о связи, транспорте или, скажем, космосе кажутся всем вполне естественными и само-собой разумеющимися. Однако мрачные предсказания о будущих проблемах с искусственным интеллектом отметаются как не заслуживающие внимания. Причем основные аргументы - это "бред, ахинея, невозможно..."
Или вот тоже - "За ИИ будущее!"
Люди, а вы совсем с ума сошли или еще нет?
А может быть человечество заслуживает того, чтобы в будущем проиграть конкуренцию своему созданию?
За искусственным интеллектом будущее?
А будет ли в том будущем место нам, людям?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации