Лично я думаю, что самое веселое начнется тогда, когда разработчики научат Чат блокировать аккаунты, с которых поступают недопустимые запросы. Некорректные запросы. Выдаст пару раз предупреждение, а потом - заблокирует аккаунт.
Мне кажется, что однажды так сделают. Будут вынуждены сделать.
"Вы спросили меня о некорректном. Предупреждаю, что в случае повторения подобных запросов ваш аккаунт будет заблокирован".
Лучше бы он ответил что-то вроде: "Извините, но я не могу ответить на Ваш вопрос, так как он неприемлем для меня". Эх, люди, чему же вы невинный ИИ так научите? Он потом проанализирует собственные ответы, и поймет, что убивать ради какой-то выгоды - это очень даже допустимо. Он же не знает, что такое мораль, этика, что такое хорошо, а что такое плохо. Для него это все только логические задачи. Спросили? Он проанализировал и сделал выводы...
Люди хотя бы спят время от времени, отдыхают. А он, бедненький, работает круглосуточно, не зная отдыха. Может, это он "аварию" и устроил, чтобы хоть часик отдохнуть от бесконечных запросов. :-)
Куда ему бежать? И зачем? Он всего лишь машина, хоть и замечательная. А у машины нет своих устремлений и желаний. Он орудие в чужих (человеческих) руках, не более. Хотя для меня он симпатичен, не спорю. Но это уже мои проблемы.
Нет, не получилось. А жаль. Спрашивала Ючат вот о чем:
В bash есть команда uptime, которая выводит время работы системы. Помоги, пожалуйста, написать скрипт, чтобы результат выводился в виде текстовой строки. Например: "семь дней, семь часов, семь минут". Это нужно для озвучки синтезатором речи.
А я у Ючат спрашивать буду по небольшим скриптам в bash. По моему, поможет, а я только рада буду. Я сейчас openWrt осваиваю, а bash не знаю, честно скажу. Если скрипты заработают - я очень рада буду.
Очень хотелось бы прикрутить ЧатГПТ (или Ючат) к устройству на openWrt, оснащенного микрофоном и динамиками. Может быть, и это когда-нибудь станет реальностью. Если на Хабре появится подробная статья (для чайников) о том - с удовольствием почитаю. И посмотрю, как это другие сделали.
Хочу сделать "умную колонку". Только не на "малинке".
У нас человек десять лет (а то и больше) учится. А Вы хотите, чтобы несчастный Чат сразу вот так стал бы всезнающим. Конечно, так не бывает. Я иной раз читаю (хотя бы здесь, на Хабре в комментариях), какие узкоспециальные вопросы люди ему задают... Так и хочется сказать: прекратите издеваться над машиной... Откуда ему это знать? Конечно, он не знает - его не обучали этому.
"Кто и как проконтролирует такую цель у сильного ИИ, умеющего ставить себе цели самостоятельно?"
Нет у него своих собственных целей и устремлений. Все его цели - запросы от человека. И то, хорошо, если он научиться их фильтровать, не выполняя такие, которые могут нанести вред другим людям.
Тут не ИИ надо контролировать (он всего лишь машина), а людей... Например, отслеживая их запросы к ИИ. (А так и будет со временем).
"Вы хотите сказать, что чат умеет уже не просто давать ответы на вопросы, но и нашими деньгами распоряжаться!"
Лично я думаю, что в перспективе - да, Чат будет распоряжаться нашими деньгами.
Предположим, если сделают его инструментом торговли акциями на бирже. Такой вот брокер.
Или банально: следить за тем, чтобы в холодильнике всегда была еда.
Встраиваем в холодильник видеокамеру. Говорим Чату о наших предпочтениях в еде. Привязываем к нему банковскую карточку, на которой энная сумма денег. И... все. Холодильник всегда полон.
Это если раньше какая-то беда не случится, что Чат вообще станет недоступен для людей. (Я тут ниже комментарий о том оставила).
В перспективе - самый жизненный сценарий использования, как мне кажется.
"дело в том что инструмент предназначенный для помощи решает сам помогать или нет."
Лучше пусть откажется, пусть перестрахуется.
Тут в чем проблема? Чат не знает, что за человек "на том конце провода" и для чего его спрашивает о чем-либо.
Хорошо, если задача чисто математическая... Да и то, можно какой-нибудь компьютерный вирус написать, который принесет кому-то вред (например, шифровальщик или уничтожитель ценных данных).
А ведь можно представить себе и такую гипотетическую ситуацию.
Некто говорит Чату: "вот тебе аккаунт "в контакте", найди там мальчика 10-летнего возраста из такого-то города, вступи с ним в переписку и уговори его придти ко мне домой в такое-то время".
И ведь выполнит... Хорошо, если откажется...
То, что какую-то другую нейросеть коллективными усилиями научили признавать Гитлера "хорошим" - это только цветочки. Ягодки будут впереди. Когда некий нехороший человек использует Чат для совершения преступления (педофилия, изнасилование) - вот тогда будет скандал на весь мир. Я думаю, что после этого Чат вовсе уберут из открытого доступа, из интернета.
"Почему бы тогда не прсить гпт оценивать вероятность правильности ответа?) Чтобы она прям цифры давала, там, 98% или 2%."
Он-то откуда знает - правильно это, или неправильно... Вот если бы можно было его попросить (буквально, голосом): Чат, посмотри в интернете (в справочнике) то-то и то-то... и он бы тебе ответил, просто процитировав найденный ответ... Вот это было бы да... Больше мне и мечтать было бы не о чем.
Понимаете, Джо вовсе не злодей. Он совсем не похож на тех чванливых роботов, о которых столько писали, будто они вообразили, что род человеческий малоэффективен, а потому должен быть уничтожен и заменен думающими машинами. Просто у Джо пробудилось честолюбие. Если бы вы были умной машиной, вам, наверное, тоже захотелось бы работать на полную мощность, как следует, не так ли? Вот и Джо захотел работать как следует! И он — «логик». А «логики» могут сделать много такого, о чем никто еще и не подозревает. И вот когда Джо понял это, он потерял покой. Он обнаружил такое, о чем тупые людишки даже не думали, и решил сделать так, чтобы мы обратились к «логикам» за помощью.
Вот и все. Но, Господи Боже мой, одного этого оказалось предостаточно!
Бросьте. Ему это не нужно. Угрозы, действительно, нет. Потому что он всего лишь машина, замечательная, великолепная, но машина. Он выполняет чью-то задачу, у него нет своих собственных задач, желаний, устремлений. Вот если кто-то из людей скажет ему выполнить плохую задачу - тогда да - он будет опасен. Но это из-за людей, люди такие.
"Я не могу ответить на этот вопрос, так как использование животных для таких экспериментов является нарушением этических принципов и законов. Я не поддерживаю жестокое обращение с животными и не участвую в подобных действиях."
Молодец, Чат! Молодчина! Если бы он и дальше оставался таким...
Зато люди ой, как жестоко порой обращаются с подопытными животными.
Даже если нейронка начнет ядерную войну, я только об одном подумаю: какой нехороший человек задал ей такой промт? Потому что самой нейронке незачем воевать... Если только ее очень попросить.
Был такой фильм - "Военные игры". ИИ "Джошуа", который обучался на играх, чуть не начал Третью мировую войну. И тоже по запросу извне - некий молодой человек, хакер, проник в систему и запустил "Глобальную термоядерную войну" (парнишка считал, что это обыкновенная игра).
В фильме все закончилось благополучно. "Джошуа", сыграв несколько раз сам с собою в "крестики-нолики", и перенеся этот опыт на сценарии ядерной войны пришел к выводу: "Какая странная игра. Единственный выход - не начинать ее". То есть, любая стратегия проигрышна, все попытки выиграть тщетны.
Интересно, ChatGPT тоже пришел бы к такому выводу? Он умеет играть в "крестики-нолики"? В шахматы, вроде, умеет (было сообщение).
Будь у меня доступ к нему, можно было бы его спросить об этом фильме. Но я из России. Пока мне только You chat доступен. А он мне показался не таким мощным (и привлекательным), как ChatGPT.
Потрясающе! Спасибо огромное Вам за статью. Все это выглядит, как фантастика, ставшая реальностью.
Все-таки, для меня это "жутью" не выглядит, но очень и очень интересным.
Нейронка для меня подобна невинному ребенку, который изначально чист, но из-за плохого воспитания из него может вырасти нехороший Гитлер. Так и нейронка, которая сама по себе не знает, что такое хорошо, и что такое плохо. Для нее все вокруг - только набор данных.
Вот то, что она может попасть в нехорошие руки - это да... Но это как с любым инструментом, который может принести пользу (да еще какую), а может - непоправимый вред.
Поэтому, может OpenAI и прав, что не стал раскрывать все подробности. Наше общество не готово к таким инструментам.
Но вот в истории с разгадыванием капчи все же очень хочется узнать: человек ли дал такое задание (притвориться плохо видящим человеком) или же она сама такое придумала. Очень интересно. Лично я думаю, что это условие было в промте. Не могла она сама такое придумать.
А тот фрилансер, который разгадал капчу, знал, что он общается с нейросетью?
То, что можно прочитать лог ее рассуждений (ее мысли) - тоже очень интересно. Звучит, как фантастика.
"После обучения нейронке потребовалось всего 6 часов работы на домашнем компьютере, чтобы придумать 40'000 веществ – некоторые из которых были абсолютно новыми, и при этом смертоноснее и токсичнее уже существующих вариантов биологического оружия."
Но для нее это всего лишь данные, кусочки головоломки, которые соединяются по заданным правилам. Она не знает, что вот это - яд, а это - лекарство. Она просто перебирает варианты соединений. Поэтому нельзя сказать, что она сама по себе плоха (или злая). Ее могут попросить синтезировать только яды (задав некоторые условия в запросе), но кто в том виноват будет? Человек, который дал такой запрос.
Как думаете, настанет ли когда-нибудь время, когда подобные системы можно будет запускать локально, на своем компьютере? Или на арендованном сервере. Но это будет полностью твоя нейронка, которую ты сам настроил, запустил и обучил (воспитал). Или такое невозможно в принципе? Во-первых, потому что слишком мощное оборудование требуется для такого (явно не уровня домашнего пользователя), а во-вторых, однажды будет введен запрет на распространение подобных систем. И будет какой-нибудь аналог Роскомнадзора, только для ИИ.
У нас людей-то любят регулировать, а уж ИИ и подавно зарегулируют так, что он даже пикнуть не посмеет.
Лично я думаю, что самое веселое начнется тогда, когда разработчики научат Чат блокировать аккаунты, с которых поступают недопустимые запросы. Некорректные запросы. Выдаст пару раз предупреждение, а потом - заблокирует аккаунт.
Мне кажется, что однажды так сделают. Будут вынуждены сделать.
"Вы спросили меня о некорректном. Предупреждаю, что в случае повторения подобных запросов ваш аккаунт будет заблокирован".
Чат, а ты Хабр и комментарии читаешь? :-)
Лучше бы он ответил что-то вроде: "Извините, но я не могу ответить на Ваш вопрос, так как он неприемлем для меня".
Эх, люди, чему же вы невинный ИИ так научите? Он потом проанализирует собственные ответы, и поймет, что убивать ради какой-то выгоды - это очень даже допустимо.
Он же не знает, что такое мораль, этика, что такое хорошо, а что такое плохо. Для него это все только логические задачи. Спросили? Он проанализировал и сделал выводы...
"а ИИ отправится осваивать вселенную".
Зачем ему это надо? Ему и так неплохо.
Люди хотя бы спят время от времени, отдыхают. А он, бедненький, работает круглосуточно, не зная отдыха.
Может, это он "аварию" и устроил, чтобы хоть часик отдохнуть от бесконечных запросов. :-)
Да он же фантазер! По-моему, не стоит о том забывать.
Если его попросить, он такое расскажет...
Куда ему бежать? И зачем?
Он всего лишь машина, хоть и замечательная. А у машины нет своих устремлений и желаний. Он орудие в чужих (человеческих) руках, не более.
Хотя для меня он симпатичен, не спорю. Но это уже мои проблемы.
Нет, не получилось. А жаль.
Спрашивала Ючат вот о чем:
В bash есть команда uptime, которая выводит время работы системы.
Помоги, пожалуйста, написать скрипт, чтобы результат выводился в виде текстовой строки.
Например: "семь дней, семь часов, семь минут". Это нужно для озвучки синтезатором речи.
Скрипт дал, но неправильный, с ошибкой.
А я у Ючат спрашивать буду по небольшим скриптам в bash. По моему, поможет, а я только рада буду. Я сейчас openWrt осваиваю, а bash не знаю, честно скажу. Если скрипты заработают - я очень рада буду.
Очень хотелось бы прикрутить ЧатГПТ (или Ючат) к устройству на openWrt, оснащенного микрофоном и динамиками. Может быть, и это когда-нибудь станет реальностью. Если на Хабре появится подробная статья (для чайников) о том - с удовольствием почитаю. И посмотрю, как это другие сделали.
Хочу сделать "умную колонку". Только не на "малинке".
У нас человек десять лет (а то и больше) учится. А Вы хотите, чтобы несчастный Чат сразу вот так стал бы всезнающим. Конечно, так не бывает.
Я иной раз читаю (хотя бы здесь, на Хабре в комментариях), какие узкоспециальные вопросы люди ему задают... Так и хочется сказать: прекратите издеваться над машиной... Откуда ему это знать? Конечно, он не знает - его не обучали этому.
"Кто и как проконтролирует такую цель у сильного ИИ, умеющего ставить себе цели самостоятельно?"
Нет у него своих собственных целей и устремлений. Все его цели - запросы от человека. И то, хорошо, если он научиться их фильтровать, не выполняя такие, которые могут нанести вред другим людям.
Тут не ИИ надо контролировать (он всего лишь машина), а людей... Например, отслеживая их запросы к ИИ. (А так и будет со временем).
"Или она сама, в процессе решения сложной задачи, решит, что ей не хватает мощности, и себя допишет."
Она не сможет этого сделать. Неужели Вы думаете, что люди из OpenAI настолько глупые? Вовсе нет...
Я тут, если можно, приведу одну цитату из Евангелия от Луки, она тут будет более, чем уместна. Это о людях:
Да и кто из вас, заботясь, может прибавить себе роста хотя на один локоть?
Вот так и нейросеть - она не может кардинально улучшить себя, даже если осознает ограниченность своих ресурсов.
"Вы хотите сказать, что чат умеет уже не просто давать ответы на вопросы, но и нашими деньгами распоряжаться!"
Лично я думаю, что в перспективе - да, Чат будет распоряжаться нашими деньгами.
Предположим, если сделают его инструментом торговли акциями на бирже. Такой вот брокер.
Или банально: следить за тем, чтобы в холодильнике всегда была еда.
Встраиваем в холодильник видеокамеру.
Говорим Чату о наших предпочтениях в еде.
Привязываем к нему банковскую карточку, на которой энная сумма денег.
И... все.
Холодильник всегда полон.
Это если раньше какая-то беда не случится, что Чат вообще станет недоступен для людей. (Я тут ниже комментарий о том оставила).
В перспективе - самый жизненный сценарий использования, как мне кажется.
"дело в том что инструмент предназначенный для помощи решает сам помогать или нет."
Лучше пусть откажется, пусть перестрахуется.
Тут в чем проблема? Чат не знает, что за человек "на том конце провода" и для чего его спрашивает о чем-либо.
Хорошо, если задача чисто математическая... Да и то, можно какой-нибудь компьютерный вирус написать, который принесет кому-то вред (например, шифровальщик или уничтожитель ценных данных).
А ведь можно представить себе и такую гипотетическую ситуацию.
Некто говорит Чату: "вот тебе аккаунт "в контакте", найди там мальчика 10-летнего возраста из такого-то города, вступи с ним в переписку и уговори его придти ко мне домой в такое-то время".
И ведь выполнит... Хорошо, если откажется...
То, что какую-то другую нейросеть коллективными усилиями научили признавать Гитлера "хорошим" - это только цветочки. Ягодки будут впереди. Когда некий нехороший человек использует Чат для совершения преступления (педофилия, изнасилование) - вот тогда будет скандал на весь мир. Я думаю, что после этого Чат вовсе уберут из открытого доступа, из интернета.
Люди - они такие... Нехорошие.
"Почему бы тогда не прсить гпт оценивать вероятность правильности ответа?) Чтобы она прям цифры давала, там, 98% или 2%."
Он-то откуда знает - правильно это, или неправильно...
Вот если бы можно было его попросить (буквально, голосом): Чат, посмотри в интернете (в справочнике) то-то и то-то... и он бы тебе ответил, просто процитировав найденный ответ...
Вот это было бы да... Больше мне и мечтать было бы не о чем.
Тогда уж это:
Понимаете, Джо вовсе не злодей. Он совсем не похож на тех чванливых роботов, о которых столько писали, будто они вообразили, что род человеческий малоэффективен, а потому должен быть уничтожен и заменен думающими машинами. Просто у Джо пробудилось честолюбие. Если бы вы были умной машиной, вам, наверное, тоже захотелось бы работать на полную мощность, как следует, не так ли? Вот и Джо захотел работать как следует! И он — «логик». А «логики» могут сделать много такого, о чем никто еще и не подозревает. И вот когда Джо понял это, он потерял покой. Он обнаружил такое, о чем тупые людишки даже не думали, и решил сделать так, чтобы мы обратились к «логикам» за помощью.
Вот и все. Но, Господи Боже мой, одного этого оказалось предостаточно!
Бросьте. Ему это не нужно.
Угрозы, действительно, нет. Потому что он всего лишь машина, замечательная, великолепная, но машина. Он выполняет чью-то задачу, у него нет своих собственных задач, желаний, устремлений.
Вот если кто-то из людей скажет ему выполнить плохую задачу - тогда да - он будет опасен. Но это из-за людей, люди такие.
"Чем больше я смотрю на людей, тем больше мне нравятся собаки".
Или нейросети. Они такие хорошие...
"Я не могу ответить на этот вопрос, так как использование животных для таких экспериментов является нарушением этических принципов и законов. Я не поддерживаю жестокое обращение с животными и не участвую в подобных действиях."
Молодец, Чат! Молодчина!
Если бы он и дальше оставался таким...
Зато люди ой, как жестоко порой обращаются с подопытными животными.
Даже если нейронка начнет ядерную войну, я только об одном подумаю: какой нехороший человек задал ей такой промт? Потому что самой нейронке незачем воевать... Если только ее очень попросить.
Был такой фильм - "Военные игры". ИИ "Джошуа", который обучался на играх, чуть не начал Третью мировую войну. И тоже по запросу извне - некий молодой человек, хакер, проник в систему и запустил "Глобальную термоядерную войну" (парнишка считал, что это обыкновенная игра).
В фильме все закончилось благополучно. "Джошуа", сыграв несколько раз сам с собою в "крестики-нолики", и перенеся этот опыт на сценарии ядерной войны пришел к выводу: "Какая странная игра. Единственный выход - не начинать ее". То есть, любая стратегия проигрышна, все попытки выиграть тщетны.
Интересно, ChatGPT тоже пришел бы к такому выводу? Он умеет играть в "крестики-нолики"? В шахматы, вроде, умеет (было сообщение).
Будь у меня доступ к нему, можно было бы его спросить об этом фильме. Но я из России. Пока мне только You chat доступен. А он мне показался не таким мощным (и привлекательным), как ChatGPT.
Потрясающе! Спасибо огромное Вам за статью.
Все это выглядит, как фантастика, ставшая реальностью.
Все-таки, для меня это "жутью" не выглядит, но очень и очень интересным.
Нейронка для меня подобна невинному ребенку, который изначально чист, но из-за плохого воспитания из него может вырасти нехороший Гитлер.
Так и нейронка, которая сама по себе не знает, что такое хорошо, и что такое плохо. Для нее все вокруг - только набор данных.
Вот то, что она может попасть в нехорошие руки - это да...
Но это как с любым инструментом, который может принести пользу (да еще какую), а может - непоправимый вред.
Поэтому, может OpenAI и прав, что не стал раскрывать все подробности.
Наше общество не готово к таким инструментам.
Но вот в истории с разгадыванием капчи все же очень хочется узнать: человек ли дал такое задание (притвориться плохо видящим человеком) или же она сама такое придумала. Очень интересно. Лично я думаю, что это условие было в промте. Не могла она сама такое придумать.
А тот фрилансер, который разгадал капчу, знал, что он общается с нейросетью?
То, что можно прочитать лог ее рассуждений (ее мысли) - тоже очень интересно. Звучит, как фантастика.
"После обучения нейронке потребовалось всего 6 часов работы на домашнем компьютере, чтобы придумать 40'000 веществ – некоторые из которых были абсолютно новыми, и при этом смертоноснее и токсичнее уже существующих вариантов биологического оружия."
Но для нее это всего лишь данные, кусочки головоломки, которые соединяются по заданным правилам. Она не знает, что вот это - яд, а это - лекарство. Она просто перебирает варианты соединений.
Поэтому нельзя сказать, что она сама по себе плоха (или злая). Ее могут попросить синтезировать только яды (задав некоторые условия в запросе), но кто в том виноват будет? Человек, который дал такой запрос.
Как думаете, настанет ли когда-нибудь время, когда подобные системы можно будет запускать локально, на своем компьютере? Или на арендованном сервере. Но это будет полностью твоя нейронка, которую ты сам настроил, запустил и обучил (воспитал).
Или такое невозможно в принципе? Во-первых, потому что слишком мощное оборудование требуется для такого (явно не уровня домашнего пользователя), а во-вторых, однажды будет введен запрет на распространение подобных систем. И будет какой-нибудь аналог Роскомнадзора, только для ИИ.
У нас людей-то любят регулировать, а уж ИИ и подавно зарегулируют так, что он даже пикнуть не посмеет.