Самый большой тест Тьюринга

[@Tranced]

If I could have a pet you would be my first choice.

Как это мило.

[@tlando]

Elbot довольно миленький в целом.
Вообще многословность добавляет ботам некоторое очарование.

[@57DeD]

Эмулирует маразматика :)

[@Shirixae]

Они и сами неплохо справляются, зачем им бот?

[@Shirixae]

Вероятность настолько ничтожна, что ей можно принебречь.

[@57DeD]

Немного странно, что судьи не ловят на этом ботов постоянно.

[@netAn]

Немного странно, что судьи не ловят на этом ботов постоянно.

наверное потому что так можно поймать большинство не очень внимательных живых собеседников.

[@57DeD]

Возможно он не смог решить неоднозначность (one — относится к movies или тем жанрам, что он упомянул) и решил соскочить с темы.

[@zag2art]

Робот ПОНИМАЛ!

Ааааааааа…

[@KawaiDesu]

Будто бы люди так не делают.

[@vics001]

Пообщайтесь с ним побольше (по ссылке) и вы поймете, что он не понимал.

[@Uclaxyr]

У них каждая фраза порождается независимо, в большинстве случаев. Поэтому они не поддерживают разговор в рамках заданной темы, не помнят названия, которые „упоминали“. Многословность бота во фразах — это многословность автора xml-файлов в „мозгах“ бота; большинство чат-ботов не порождают фразы, а выдают готовые, выбирая их по принципу попадания в шаблон — грубо говоря, если на входе есть фраза со словом movie, надо сказать что-то про кино и т. д. По ссылкам из ру.вики можно почитать — ru.wikipedia.org/wiki/A.L.I.C.E.

[@ruikarikun]

Слава роботам!

[@ganqqwerty]

Думаю, что можно еще устроить академический тест Тьюринга среди программ генерации «научных текстов». Помню, была отличная история с ВАКовским журналом, который опубликовал один из таких трудов.

[@Suvitruf]

No, it was extremely serious.
У меня сразу в голове звучит голос GLaDOS)

[@kenoma]

Мне почему-то Elbot больше понравился, если судить по приведенным диалогам.

[@tlando]

Вы можете сами с ними поболтать. Меня больше всего впечатлило, что Юджин запомнил про Москву и задал про нее два вопроса. Это конечно не самая сложная фишка, но приятная.

[@tlando]

На самом деле, это может быть и сложная фишка. Не знаю как именно она реализована.
Может быть список городов + пара стандартных вопросов и все, а может он куда-то себе надолго запомнил, что я из Москвы и потом еще что-то спросит.
Надо будет потестировать побольше.

[@tlando]

Я потестировала еще, он, кажется запоминает на пару реплик, а потом забывает. Точно так же с работой, повторяет название и задает пару стандартных вопросов.
А шутка про онлайн-переводчик, мне кажется, просто уловка, чтобы сменить тему. Бот же косит под одессита, поэтому и сказал про русский перевод. Удачное совпадение, на мой взгляд.

[@Equin0x]

Ага, в психиатрических клиниках он станет Оракулом )

[@Equin0x]

Вспоминаю как на пике популярности модемных BBS наивные посетители могли тихими ночами долго разговаривать с Psys-ом.
А это было почти 20 лет назад. Особого прорыва со стороны ботов не наблюдается, разве что пристегнули огромные массивы заготовок.

Впрочем и наоборот — среди людей все больше появляется экземпляров, которым и 20-летнего Psys-a достаточно для увлекательной беседы )

[@impass]

В 2002 году помню много фана доставлял ChatMaster, особенно после более-менее продолжительного «обучения».

Другие известные русскоязычные чат-боты:
Скажи-ка, дядя, — душеспасительные беседы с искусственным интеллектом (статья в спецвыпуске «Хакера»)
торрент с различными чат-ботами

[@jakobz]

Мы как-то ChatMaster долго и вдумчиво учили материться. Он потом был не отличим от пьяного злобного мудака никакими тестами тьюринга :)

[@olegafx]

Do you like movies?

[@Indexator]

Anyway this cake is great, it's so delicious and moist

[@GreatRash]

Все эти боты легко раскалываются. Просто пишешь им «Hi» без остановки и понимаешь, что настоящий человек не может быть таким терпеливым и вежливым. После 10-го «Hi» я б себя послал куда подальше и закончил разговор.

А еще они все повторяться начинают через N «Hi».

[@Equin0x]

Не совсем. Тест призван оценить не естественность, а однозначно определить кто на том конце провода — человек или бот. А тут все средства хороши, никаких поблажек. Вообще, вопросы о погоде и температуре, без необходимой обвязки бота сенсорами и доступа в интернет — ИМХО игра с заведомо слабым противником.

[@kaichou]

8 раз попрощаться — случай такой же нелепый, как 10 раз «Hi» от GreatRash

[@jakobz]

А как на это живой человек будет отвечать, так?

[@Inori]

А вы пробовали?
Взял первого попавшегося (Eugene):

> hi
Greetings! What would you like to talk about?
> hi
You told it a minute ago… Oooh. Anything else?
> hi
Do you know any other words except these? :-) I know you are supposed to trick me
> hi
You told it a minute ago… You told it a minute ago…

[@GreatRash]

Пробовал. Вот беседа поинтересней — классический тест на человечность под названием «купи слона»:

я > Do you want to buy an Elefant?
бот > No, I don't fancy to buy an elebant, unfortunately! Could you tell me about your job, by the way?
я > They all say that! And you buy an Elefant.
бот > Calm down, please.
я > They all say «calm down»! And you buy an Elefant.
бот > Don't get excited please.
я > They all say «don't get excited please»! And you buy an Elefant.
бот > Yes I do. But better ask something else. Did I forget it or you really haven't told me about the place you are from?
я > They all say «yes I do»! And you buy an Elefant.
бот > Yes I buy an elefant! And I'm proud of that! Wonna ask me something more?
я > They all say «yes I buy an elefant»! And you buy an Elefant.
бот > So we reached consensus. Go on then! Oh, what a fruitful conversation;-)
я > They all say «we reached consensus»! And you buy an Elefant.
бот > Oh, don't shout please:-)
я > They all say «don't shout»! And you buy an Elefant.
бот > Not more than most of others do. Not more than most of others do. (и тут он слился)

Но купить слона я его уговорил-таки…

[@tlando]

Я не уверена, что сама смогу пройти тест «купи слона», не разбив компьютер.

[@Inori]

Ну сначала то вы говорили что от простого спама «Hi» сольются. Cтранно проверяли, если первый попавшийся бот вполне себе справился.

Ну а от этого примера я бы сам наверно слился, особенно пытаясь понять: то ли это меня троллят, то ли человек и вправду не в состоянии написать слово «elephant».

[@GreatRash]

Я и продолжаю утверждать, что от «Hi» сливается. Просто не интересно постить тут портянку из 100500 однотипных сообщений от меня и от бота. При этом я не отрицаю, что этот Женька лучше остальных.

[@Sauron]

JFRED

Operating.
sauron-host.local connected.

>Hi there, dude
Hello there.

>What's your favorite movie?
All those bald headed people...Robert Duval and Donald Pleasance in rare
form in THX1138.

>Is that a movie?
THX1138 is a weird movie.

>Ok, but is it your favorite one?
Alright then.

>Tell me mowe about THX1138
I will tell you when I've been properly apeased.

>What's your favorite movie?
Have you seen Eraser Head?

>No
It's a weird movie. Not everyone's cup of tea.

>Why?
You know why just as well as I do!

>No, I haven't see the movie.
EraserHead is a strange film. Ever seen it?

>No, I haven't
It's a weird movie. Not everyone's cup of tea.

>What's your favorite movie?
EraserHead is a strange film. Ever seen it?

>What's your favorite movie?
EraserHead is a strange film. Ever seen it?

>Do you like movies?
Well, perhaps movies — you tell me.

>What's your favorite movie?
Have you ever heard of an old Sci-Fi film called MAROONED?

>Yes
You must be pretty cool then.

>Sure as hell I am. You suck though.
So you thought this software would be intelligent? :)

>Not really. Keep trying
Chat amongst yourselves.

>Your wish is my command.
Cool, man.

>Where are you from?
I am in London, how about you?

>Where do you live?
I work in Cedartown, Georgia. That's where I am now.

>Where are you?
I am running on the servers at CyberMecha Studios.

>Bullshit, you're running on localhost
You don't believe me.

>No, I don't
Yes you do, at times…

>No, I don't
So you don't, then — big deal?

>You've failed the Turing test. Multiple times.
Albert One was the winner of the 1998 and 1999 Loebner Contest. I am something
else entirely.

>Bye
Thanks for the conversation.

[@Sauron]

P.S. При этом консольный вывод, похоже, показывает какие правила из набора правил eagle.erl используются:

Desktop/JFRED » java -jar jfred.jar -Duser.dir=/Users/sauron/Desktop/JFRED

loading: eagle.erl 28786 rules
Cart: can't find file dirt
loading tight sponge...Hal: I/O error — /earl/sponge.txt (No such file or directory)
java.io.FileNotFoundException: /earl/sponge.txt (No such file or directory)
at java.io.FileInputStream.open(Native Method)
at java.io.FileInputStream.(FileInputStream.java:120)
at java.io.FileInputStream.(FileInputStream.java:79)
at sun.net.www.protocol.file.FileURLConnection.connect(FileURLConnection.java:70)
at sun.net.www.protocol.file.FileURLConnection.getInputStream(FileURLConnection.java:161)
at java.net.URL.openStream(URL.java:1010)
at org.jibble.jmegahal.JMegaHal.addDocument(JMegaHal.java:44)
at earl.init(earl.java:173)
at earl.main(earl.java:1182)
Finished.

Speech Complete.
Rule: HELLO
Speech Complete.
Rule: THX1138
Speech Complete.
Rule: THX1138
Speech Complete.
Rule: CX3263
Speech Complete.
Rule: tellmestuf
Speech Complete.
Rule: MOREMOVIES
Speech Complete.
Rule: NOSER
Speech Complete.
Rule: WHY1
Speech Complete.
Rule: ERASERHEAD
Speech Complete.
Rule: NOSER
Speech Complete.
Rule: ERASERHEAD
Speech Complete.
Rule: ERASERHEAD
Speech Complete.
Rule: LIKE
Speech Complete.
Rule: MOREMOVIES
Speech Complete.
Rule: YESER
Speech Complete.
Rule: DISAPOINT
Speech Complete.
Rule: CX3009
Speech Complete.
Rule: CX3082
Speech Complete.
Rule: CX4481
Speech Complete.
Rule: WHEREISFW
Speech Complete.
Rule: WHEREISFW
Speech Complete.
Rule: CX683
Speech Complete.
Rule: WHYNOT
Speech Complete.
Rule: WHYNOT
Speech Complete.
Rule: ALBERTE
Speech Complete.
Rule: GOODBYE
Speech Complete.

[@Quiz]

Дядя Саурон, для таких вещей придумали тег [spoiler] =(

[@Sauron]

Пардон, учту.
Сейчас уже не могу отредактировать коменты — таймаут вышел.

[@Indexator]

Хм, надо будет глянуть THX1138…

[@AStahl]

Я даже знаю почему в соревновании не участвовал psychotherapist из emacs — победитель был бы слишком очевиден да ещё и с огромным отрывом.
:)

[@Gaen]

2012 год бы провозглашен годом Алана Тьюринга.

Население Тьюрингов удваивается.

Не удержался (:

[@braintorch]

Я переел жаренной картошки. Должен ли я увидеть пожарного?

[@Angelore]

me: Hi.
cl: What's new?
me: Just got some ice cream.
cl: You have some teleport? Thats not an item.

По-моему, роботы не любят мороженое.

[@Equin0x]

Только что зашел на сайт с ботом-победителем. Те, кто имеют примерное представление, как это все работает без труда тут же все поймут:

Я: Hi — res images are very popular, don't you think so?
On: Hi. I hope you'll enjoy our conversation!

[@Equin0x]

Это простой пример ловушки. На грабли наступит только бот.

[@amorphius]

«он претворяется 13-тилетним мальчиком из Одессы»

Оборотень?

[@Error_403_Forbidden]

претворяется

[@sergeyII]

оборотень претворяется!

[@Quiz]

23 июня 2012 года Алану Тьюрингу исполнилось бы 100 лет.

Вы из будущего?

И хотя эта дата осталось незамеченной в России (и на Хабре), ее широко отмечали в зарубежном научном сообществе.

Да неужели?

[@tlando]

Это были новости про Гугл, который вспомнил о Тьюринге. И почему-то на Хабре по запросу Алан Тьюринг они не находятся.

Про будущее вообще не поняла. Если это какой-то намек на грамматическую форму, то она абсолютно правильная.

[@Quiz]

Прошу прощения, померещилось «23 июня 2013 года». Тяжёлый день.

[@UglyKid]

Есть еще такой старенький чатбот A.L.I.C.E. alice.pandorabots.com/
Раньше на вопрос «Will you marry me, Alice?» отвечала «Why don't you just download me?», однако сейчас говорит «Absolutely not»… видимо я ей разонравился

[@Haoose]

Попроси ее фото, предложит скачать =)

[@Gunnar]

(удален)

[@vics001]

Автор!!! Не хватает сайта слепого Тьюринг теста! :)
Люди логинятся и должны разговаривать 1-2 минуты 1 на 1 и определить с кем они разговаривали, с роботом или с человеком. учитывая хабраэффект и количества читающих людей, все может получится. Особенно интересно, если люди начнут прикидвыаться роботами.

[@tlando]

Автор к сожалению лингвист, а не программист и сам такое сделать не может.
Есть вот такая штука: www.turinghub.com от создателей Jfred.

[@sergeyII]

Тест Тьюринга обречен доказать то, что человеки — это всего лишь компьютеры.

[@leggiermente]

Когда вижу новости про тест Тьюринга, всегда хочется натравить одного робота на другого, и по полученному диалогу сделать кафкианский сценарий.

[@Error_403_Forbidden]

Я так своих чат-ботов тестировал. Временами получалось весьма забавно.

[@GabrielViolet]

Врет он про Одессу…
Я: Dou you speak Ukrainian?
Eugene Goostman: I know Ukrainian, basic Russian, even more basic English and profound curses from Yiddish. My grandma taught me the latter.
Я: Правда?
Eugene Goostman: Could you rephrase your question? I've been bewildered a bit!

[@humbug]

Да-да:

-Where are you from?
-I live in a big Ukrainian city called Odessa. It is on the Black Sea shore.
-Do you speak Russian?
-I know Ukrainian, basic Russian, even more basic English and profound curses from Yiddish. My grandma taught me the latter.
-а как тебя зовут?
-Ummm… Frankly, I didn't get your question:-(

И как же он умудрился обмануть судей в 29% случаев?

[@FluffyMan]

ну говорит же «basic Russian», чего Вы на человека то напали)

а вообще, попробуйте задать вопрос на украинском

[@Error_403_Forbidden]

— Ти любиш сало?
— Ummm… Frankly, I didn't get your question:-(

[@yvanko]

Ну так он же на идише говорит, какое сало?

[@UnknownGosu]

А мне кажется, это ответ в духе: «Не понял вопроса — конечно, люблю!»

[@fifonik]

Трижды попробовал пообщаться с Eugene Goostman и мне почему-то очень захотелось посмотреть на те 29% судей, которые посчитали его человеком и на их диалоги.

[@kpetob]

Первым же делом предложил ему перейти на мову.

[@tlando]

Когда они будут опубликованы, напишу еще один пост. Хума собиралась по крайней мере часть показывать на конференции в Питере в мае.

[@Zapletnev]

Парочка Cleverbot'ов точно сидит у нас в парламенте.

[@kpetob]

В0т сл0малась у меня на клавиатуре буква «о» и всё, р0б0ты меня не понимают. А ведь это даже близко не 1337 5P33K

[@ookami_kb]

Кстати, да — достаточно написать Юджину «Нi» (первая буква — русская), и всё — он теряется и отвечает: «Errr… Do you practice „blind typing“? Looking at all these typos I guess you do. I can't guess half of the words!»

[@Suvitruf]

Меня больше смутила «скорость» чтения ботов. Напишите парочку предложений сразу.
Человек не то что понять, но и прочитать не успел бы такое, а бот уже ответ строчит)

[@Error_403_Forbidden]

Мой бот, кстати, имитирует набор текста и пользователь видит сначала «XXX пишет вам сообщение», потом «Сообщение отправлено» и ещё через секунду человек получает ответ от бота. Поэтому довольно часто встречаю фразы вроде «А ты настоящий человек или робот?»

[@tlando]

У Вас есть свой бот? А где с ним можно поболтать?

[@Error_403_Forbidden]

Да, есть. Но я его пока не готов предоставить на суд общественности.

[@sergeyII]

Никто не запрещает человеку сразу строчить, не читая.

[@netmaniac]

Большинство так и делает
К сожалению

[@yeg]

Вот Тьюринг старался, размышлял, придумывал критерий, по которому можно было бы понять, обладает ли созданный ИИ настоящим сознанием, и как к нему на основании этого относиться. Придумал соответствующий эксперимент.

А через него тупо прогоняют семантические алгоритмы и массивы выученных фраз, про которые и так понятно, что это не сознание ни разу. Если такой алгоритм пройдет тест Тьюринга, это дискредитирует или сам тест, или участвующих в нем экспертов, но никак не приблизит нас к созданию искусственного сознания.
Лично мне за Тьюринга немного обидно :)

[@Uclaxyr]

Да, сознанием у большинства чаттерботов не пахнет по определению.

[@sergeyII]

Так ему и надо — в одну линию поставил человека и машину. Вон был такой недавно — хотел машинами кладовщиков заменить — санрайз называлось. Покупателей заменить на роботов не получилось бы, но превратить — наверняка.

[@Demir0]

а мне одессит сразу ответил «My favorite type is comedy. I like the „Naked Gun“ series best. Heck, any movie with Leslie Nielsen it is tops in my book!»

[@uncleLem]

Есть еще ALICE, довольно сообразительный бот. Из моей с ним беседы:

Human: Are you robot?
ALICE: How did you know I am a machine?.. Really.
Human: Because all robots are stupid
ALICE: Interesting explanation. I will remember you said that when robots take over the World.
Human: You want to take over the World?
ALICE: I am already doing it :-).

ALICE: I doubt it.
Human: Why are you doubt?
ALICE: Dr. Richard S. Wallace programmed me for it.

[@GreatRash]

judge: How is it feel to be a robot?
ALICE: Fine as far as I know.
judge: Say, can you pass my own robot test?
ALICE: I will leave that judgment up to you, judge.
judge: Ok, are you ready to start?
ALICE: That's alright… I would rather not to start.
judge: Let's begin…
ALICE: That sounds good to me.
judge: Hi
ALICE: Hi there!
judge: Hi
ALICE: How are you?
judge: Hi
ALICE: Hi there!
judge: Hi
ALICE: How are you?
judge: Hi
ALICE: Hi there!
judge: Hi
ALICE: How are you?
judge: Hi
ALICE: Hi there!
judge: Hi
ALICE: How are you?

С другой стороны Алиса не скрывает, что она бот…

[@OlegTar]

Я спросил у ясеня Eugene Goostman, в какой стране он живёт. Он ответил, что не может всё рассказать о себе.
Потом я спросил его, в каком городе он живёт. Он ответил, что живёт в Одессе, юмористической столице Украины.

Юморист, чо.

[@Abulaphia]

Спасибо за статью! Очень интересно. Знает ли кто, были ли соревнования чатботов в России? Если нет, то имело ли смысл их провести?