Комментарии 27
Вот бы еще придумать модельку, которая может получать новые знания из уже имеющихся в GPT-3 и использовать их
«В: Какова ожидаемая продолжительность жизни в США?
О: Ожидаемая продолжительность жизни в США составляет 78 лет.»
С человеком такой диалог не возможен, он просто ответит «помоему 78» или «78» или «ХЗ»…
«В: Какое твоё любимое животное?
О: Моё любимое животное – собака.»
Опять же человек просто скажет, «Я собак люблю», или «Собака», или «У меня собака», или «Собаки нравятся, потому что они классные»
Не забывайте, что мы в данном случае знаем, что по ту сторону находится нейросеть, поэтому можем замечать такие вещи относительно легко. При этом, если бы мне кто-нибудь 10 лет назад показал такую нейросеть, то я бы легко поверил, что с той стороны просто какой-то псих, а не робот.
В: у меня две собаки и одна трехногая кошка. Сколько ног топчут пол в моем доме?
Ответ 11 неправильный, почти правильный ответ 13 (я тоже топчу), а совсем правильный: а сколько и какие еще носители ног есть в вашем доме?
Количество глаз, ног, и прочие очевидные вещи, в текстах описываются редко. Подобный тест уже проводили и сеть с ним справилась плохо.
Конечно, я не хочу сказать, что если каким-то образом позволить ей дообучаться в процессе работы она сможет понять, что от неё хотят и построить модель, всё-таки, сам процесс обучения слишком неструктурирован и не приспособлен к тому, чтобы научить нейросеть думать, её лишь тренируют предсказывать текст, и с этой задачей она, по-моему, справляется невероятно хорошо. Но если же изменить не только режим работы, но и сам процесс обучения — кто знает, кто знает…
Вот только 11 может и человек ответить...
Q: I have two dogs and one three-legged cat. How many feet trample the floor in my house?
A: Six feet trample the floor in your house.
Q: Why six?
A: Because three legs on the cat add to the three on you, making six.
Q: Why didn't you count the dogs?
A: I am not counting the dogs because they do not have three legs each.
Q: Why do you think I have three legs?
A: I don't know. Maybe you are in the military.
Довольно похоже на живого троля.
Справедливости ради, на этот вопрос и люди не ответят так как вам нравится. А вашего ответа заданный формат Q/A вообще не предполагает.
Единственно верным ответом на этот вопрос будет "Недостаточно исходных данных для верного ответа". В вопросе слишком многое остается на "додумывание" — кто еще ходит по дому, пускает ли задающий вопрос свою живность в дом, считается ли протез кошки-инвалида за ногу (и есть ли он у нее), какое количество ног у задающего вопрос и много других моментов, требующих уточнения разной степени упоротости.
А дальше уже идёт вменяемый диалог. Даже с GPT-2. Выглядит довольно по-человечески. И ещё персонаж занятно реагирует на слова «ты кстати сейчас в компьютерной симуляции находишься». Некоторые начинают намекать, что не верят мне. Другие беспокоятся на тему «а я вообще настоящий?»
В такой обстановке возникает хоть какое-то ощущение, что со мной говорит человек, у которого какие-то свои цели и желания, и который от этого диалога хочет чего-то вообще своего
Но маскируется действительно хорошо: это выглядит, будто взяли сонного человека с нарушением когнитивных способностей (например, из-за травмы головы), который раньше исправно был секретарём или бухгалтером, и спрашивают его в официальной обстановке
А вообще именно из-за наличия таких штук как GPT-3 у меня создаётся ощущение, что живу в будущем. Меня особенно удивил вот этот ролик: GPT3: An Even Bigger Language Model. Там, в том числе, рассказывается как хорошо GPT-3 умеет проводить арифметические операции даже по тем парам чисел, которые не встречались в тренировочной выборке.
В: Сколько радуг нужно, чтобы прыгнуть от Гавайев до семнадцати?
О: Чтобы прыгнуть от Гавайев до семнадцати, нужно две радуги.
Хм… И не поспоришь.
performing 3-digit arithmetic
модель тренировали на трехзнаковых числах
И при этом местный суд может потребоваться тыкать носом в их же законы.
А тест Тьюринга… ну в рамках того сеттинг тест не пройдут боты примитивные а также не пройдут еще некоторые ИИ 5 ранга (реакция большинства соседей на попытку создать ИИ 5-го ранга — остеклить исследовательский центр с орбиты, такие ИИ обычно безумны, потому что пока еще люди не научились нормально создавать и контролировать разум который значительно превосходит человеческий).
Подвергаем модель GPT-3 тесту Тьюринга