Стэнфордская нейросеть определяет тональность текста с точностью 85%, код отдадут в Open Source

[starius]

Замечательная разработка! Но есть риск, что её используют следящие органы для предварительной фильтрации перехваченных сообщений. Как бы не дошло до «аккаунт заблокирован, так как в сообщениях замечена необычная интонация». И применение для цензуры.

[Sombressoul]

… предыдущий комментарий стоил бюджету Российской Федерации 30 миллиардов рублей… [/sarcasm]

[mehatron]

Ждём скрипт для автоматической подсветки сарказма в комментариях на хабре.

[flatch]

Блин, а вот это был сарказм или нет?

[deNULL]

Не ясно насчёт сарказма, но по крайней мере некоторый негатив нейросеть в этом комментарии усмотрела.

[novoselov]

В русском языке иногда сарказм можно передать интонацией только в устной речи.

[VenomBlood]

Не только в русском.

[Biga]

Почему ветка помечена минусом, если в ней один плюс и куча нулей?
look forward to — явно позитивное словосочетание.

[eyeless_watcher]

Если понаводить мышкой на узлы, видно, что там не одна оценка, а распределение между пятью вариантами, которое накапливается от дочерних узлов вверх. Так что из казалось бы нулей может получиться почти что угодно.

[Deranged]

Ну да. Конечно.

[ElleSolomina]

Да нет, наверное.

[Strorin]

Хотя…

[aysen]

Группе учёных из Стэнфорда при участии небезызвестного Эндрю Нг удалось довести её до 85%

Кстати, три дня назад он начал еще раз вести курс «Machine Learning» на Курсере: www.coursera.org/course/ml

[sergeisirik]

Еще один шажок к очеловечиванию машины

[amarao]

На нейтральных фразах (сейчас специально надёргал из рассылок) начинает клинить. Например, вот эта фраза была сочтена скорее негативной:

I scoured the internet as much as I could Friday and could find any reference to any situation like this but if I missed something I apologize.

[eyeless_watcher]

Эта фраза скорее некорректно построена. Чего сказать-то хотели?

[amarao]

Человек гуглил настолько, насколько можно в пятницу (вечером) но не нашёл никаких упоминаний о проблеме, но если пропустил, то извините.

Скорее вежливое и положительное.

[eyeless_watcher]

Вежливое — да. Но ничего положительного в данной ситуации в общем-то, не произошло.

[weirdan]

Лично меня смущает could Friday — при анализе Friday могло восприняться как глагол. Кроме того, написано, что он таки мог найти любые ссылки на любые похожие ситуации (что бы это вообще значило? нашел? не нашел? мог, но не нашел? мог, но забил?).

I scoured the internet [...] and could find any reference [...]

Где вы тут вообще отрицание видите?

[amarao]

очевидно, что пропущено «not». (это фраза из списка рассылки), человеку это понятно — роботу… Ну, как всегда.

[weirdan]

Роботу — да. Garbage in — garbage out.

[dzenovich]

На мой взгляд, эта фраза чисто негативная:
1) человек пишет, что при поиске был ограничен по времени;
2) человек не смог ничего найти;
3) человек замечает, что мог что-то упустить;
4) человек приносит извинения.

[Newbilius]

По пункту 4му непонятно. Извиняться — негативно?

[dzenovich]

Негативно чувство вины, а извинения — внешнее проявление этого чувства.

[halyavin]

И что эта фраза говорит о фильме? Не забывайте, что программа обучена пониманию тональности рецензий фильмов. Логично, что для других текстов она выдает произвольный результат.

[amarao]

ок, пропустил «кинорецензий». Виноват.

[Vertex]

Дейта будет счастлив.

[CvetKomm]

Вещчь забавная, идея работы понятна: взять тот же стенфордский синтаксический парсер, строящий дерево зависимостей, разметить примеры и обучить нейросеть.

Но протестируем:
However, sales of its new Lumia phones, which run a Microsoft operating system, rose during the period. — нейтрально — со сложными предложениями не работает;
Nokia shares jumped 45% on news of the deal. — показывает негатив, вместо позитива — экономика в пролете;
Manchester United beat Liverpool 1-0 in an entertaining Capital One Cup tie. — позитив, но кому: Манчестеру или Ливерпулю (думаю, болельщики Ливерпуля не обрадуются)?
и т.д.

Выводы:
1) заточена под очень конкретную тему;
2) говорить о 85% точности — очень рано, а дообучить до 95% — привет фантастам;
3) главный недостаток этой игрушки (как и большинства движков по тональности) — нет привязки к объекту: тональность показывается для предложения в целом.

ИМХО: в практическом использовании такая штука не то, чтобы совершенно бесполезна, но очень узко применима.

[Ivaneo]

Нужно протестировать ее сценарием для House M.D.

[ImLiar]

Назвали бы ее «Шелдон»

[MikhailS]

Как корабль назовёшь, так он и поплывёт…

[sophist]

«Анти-Шелдон».

[Xom]

Анализ отдельных слов без учета метафорических, идиоматичных выражений и различных инверсий смысла дает по ним неверный результат. Например, He showed indifference to the difficulties in his way — считается этим анализатором ярко отрицательным выражением, хотя в действительности оно говорит о стойкости как положительном качестве, но говорит через «отрицательные» слова. И, наоборот, тоже получается смешно, когда ирония (отрицательная оценка) выражается через положительные слова, что кстати очень распространено в комментариях. Например, Oh yes, he distinguished himself as the master mind оценено как сплошь положительная сентенция ))