• Компьютеры пишут прозу, но все еще уступают людям. Почему?
    0
    Вовсе не много, примерно 66MB, если не считать векторные представления слов за размер нейросети. Если считать, то где-то гигабайт получится может
  • Компьютеры пишут прозу, но все еще уступают людям. Почему?
    +1
    Есть еще много других схем генератора, например суммаризатор, который берет несколько текстов на одну тему и из них делает один. Есть генераторы на базе грамматик, которые порождают большую вариативность, чем просто шаблонизаторы. И много разных других подходов.

    И про нейронные сети вы не совсем правы.

    Яндекс рефераты производит чушь, где даже в одном предложении смысла нет:
    «Лидерство в продажах, не меняя концепции, изложенной выше, экономит стиль менеджмента, повышая конкуренцию» — это бред.

    Но очень большие модели порождают предложения в которых есть смысл:
    «With even more new technologies coming onto the market quickly during the past three years, an increasing number of companies now must tackle the ever-changing environmental challenges online»
    «We are aware of written instructions from the copyright holder not to, in any way, mention Rosenberg ’s negative comments if they are relevant as indicated in the documents, ” eBay said in a statement „
    (примеры из Jozefowicz R. et al. Exploring the limits of language modeling //arXiv preprint arXiv:1602.02410. – 2016.)

    Применительно к литературе. Вот такой фрагмент нейросеть средних размеров реально генерирует:

    “ — Простите, он смог бы подождать. Но в этом нет никакого смысла. Вы понимаете?, — спросил он.
    — Да, сэр. Я только не могу понять, что он не может причинить вред человеку.»

    Тут есть осмысленный фрагмент диалога, где понятно, что первый человек спрашивает, а второй отвечает, при этом второй, кто отвечает, отвечает в тему (видна схема: «вы понимаете? Да, но не совсем..»). Если взять только такие фрагменты, то по ним очень трудно сказать, имеем ли мы текст нейросети, либо фрагмент, написанный человеком.

    Далее, существуют генератории историй на базе картинок (например, github.com/ryankiros/neural-storyteller, pdfs.semanticscholar.org/0f46/776b6a75c4088e4d5412b7bfdb29f7f777ef.pdf) которые не ограничены «библиотекой, натренированной на текстах». И качество текста тоже довольно высокое (см. пример по ссылке).
  • В поисках разума: можно ли сделать “универсальный” чат-бот с помощью нейронных сетей?
    0
    Известно много попыток, особенно у начинающих поэтов, подражать великим, однако профессиональных критиков редко удается обмануть, и они обычно оценивают такое подражательство крайне низко


    Ну это из серии, когда профессиональным дегустаторам налили три рюмки одинакового вина и предложили сравнить. Все поголовно нашли существенную разницу. Тоже самое верно для профессиональных литературных критиков. Зная, что стихи начинающего автора, легко поставить ему в вину подражание Пушкину.

    Да. В соц.сетях, нпр., можно найти много лаконичных оценок: мне нравится/не нравится поэт Н. А для солидной литературоведческой статьи такая оценка будет явно недостаточной

    Тоже самое. Литературоведческая статья это попытка рационализировать субъективное ощущение, не несущая объективной ценности.

    Нпр., бортовая система самолета или космического корабля — сложная. Несколько разбившихся самолетов или сгоревших кораблей — это нормально?

    Число разбившихся самолетов и космических кораблей очень велико. Особенно опытных моделей. Дроны с автопилотом которые разбились во время разработки вообще никто не считает. Ни одна сложная система не работает с первого раза. Робот о котором идет речь не серийный, это пилотный проект.

    Она не позиционирована, как популярная

    Значит я неверно вас понял вначале. В любом случае, описания системы ПОЭТ у меня нет.

    Сейчас наметилась тенденция использовать чат-ботов в поисковиках

    Как можно использовать Элизу в поисковике?

  • В поисках разума: можно ли сделать “универсальный” чат-бот с помощью нейронных сетей?
    0
    Я только хочу сказать, что если принять такой чисто коммерческий подход, то бот-имитатор вроде усложненной Элизы может оказаться коммерчески очень успешным.


    Если вы знаете, куда сейчас можно приделать Элизу и получить за это деньги, поделитесь секретом. Простые вещи все сделаны уже. А сложные — на каждую мелкую тему делать отдельную Элизу, это как раз 50 человеко-лет и уйдет. А у меня их нет, мне нужно, чтобы одна система делала все.
  • В поисках разума: можно ли сделать “универсальный” чат-бот с помощью нейронных сетей?
    0
    Эксперт на то и эксперт, чтобы знать, если не наизусть, то стилистические особенности и словари известных поэтов.

    Не трудно имитировать стиль и тем более словарь любого поэта
    Требуется обоснованное мотивированное решение, а не игра в угадайку.

    Это долго и бессмысленно — поэзия оценивается субъективно, рационализация субъективного ощущения ничего не даст. Очевидно, что человек оценивает с помощью своего мышления, а не подбрасывая монетку.
    Можно, например, сказать, что робот-полицейский, утопившийся в фонтане гипер-маркета – это промежуточный полезный результат.

    Это нормально. Для сложной задачи несколько косяков вначале это даже не проблема, это обычная обкатка. Плюс, не известно точно, возможно ему помогли утопиться.
    Дело не в том, заработал или не заработал ПОЭТ, а дело в том, что результаты огромной работы, прежде всего теоретические, были суммированы в толстой книге, изданной солидным издательством (учитывая тираж – это широко известно). Представляют ли сейчас ценность эти результаты?

    Научно-популярная книга не дает возможности судить об этом. К сожалению, найти публикации по этой системе мне не удалось, поэтому я не могу оценить ценность результата.
    В списке литературы Вы приводите англоязычные издания, которые, по-видимому, ориентированы на работу в первую очередь с английским языком. Но ведь у русского языка иная структура. Или для Вашего подхода структура языка не важна?

    В данном случае технология намного важнее структуры языка. Специфика языка есть, но она второстепенна.
  • В поисках разума: можно ли сделать “универсальный” чат-бот с помощью нейронных сетей?
    0
    Не являются ли такие результаты всего лишь имитацией, но менее очевидной?

    Я прагматик. Мне важно, чтобы работало.

    А вот оценка разных экспертов приведенного Вами четверостишья может варьироваться в пределах от очень хорошо до очень плохо

    В статье про систему, метрика для которой в конечном итоге очевидна — процент правильных ответов, процент совпадающих с человеческими результатов.

    Да и с поэзией, люди, которые этим занимаются, делают слепое тестирование — отгадайте, написано ли это стихотворение одним из известных поэтов или компьютером.

    В связи с этим возникает вопрос: Вы не изобретаете велосипед? Выяснилось, что не знаете о системе ПОЭТ, на которую было затрачено много человеко-лет и которая описана в книге, изданной лидирующим научным издательством


    С конца 70-х разных систем такого рода создавалось великое множество. Большинство из них так и не заработало, и на дальнейшее развитие отрасли не повлияло, по этой причине о них широко не известно. Некоторые проекты избрали неверное направление, для других было слишком мало компьютерных мощностей. Часть работ было интересными, но они просто потерялись. В особенности это касается разработок, сделанных в СССР, они не стали вовремя известны всему миру, и потом были заново открыты другими авторами.

    слишком амбициозные проекты терпят крах, а более скромные неспешно, но все же продвигают ИИ к новым рубежам.


    Слишком сильное обобщение. Можно найти много контрпримеров. Многие амбициозные проекты не достигают глобальный целей, но часто получают промежуточный полезный результат и при этом умножают наши знания для следующих попыток.

    Какие цели Вашей работы: Это хобби? (тогда никаких вопросов не возникает). Это научное исследование? Это коммерческий проект?


    Пока это эксперимент. Как побочный продукт, он приносит определенную выгоду. А там видно будет.

    Гугл, который сейчас может потратить пару сотен или м.б. тысяч человеко-лет и закончить работу через год?

    Поскольку они публикуют основные результаты, я буду их постепенно включать и применять. Чем больше они сделают, тем лучше.
  • В поисках разума: можно ли сделать “универсальный” чат-бот с помощью нейронных сетей?
    0
    Элиза это имитатор и есть.

    50 человеко-лет это не наш масштаб пока, это работа 3.5 человек за 7 месяцев, в свободное от других дел время. Я не думаю, что работу можно когда-либо закончить, тут бесконечный фронт для улучшения. Но сейчас есть рабочий прототип и довольно интересные результаты. Дойдет ли дело до массового продукта, я не знаю, все-таки ресурсы, которые мы можем сейчас на это выделить ограничены, а инвесторы особо таким не интересуются.

    Но, что касается системы ПОЭТ. Не нашел никаких деталей. Но для интереса, загнал в простую нейронную сеть 4 сборника стихов. Получилось вот это:

    Кто весел, я весть! Все исчезло!
    Поставленым она освящена.
    И независимость от нищеты!
    Но так же вправду ты страшна…

    Не Пушкин конечно, но интересно. А самое интересное, что использованный алгоритм был, в принципе, известен как минимум в 1986. И нужные компьютеры были (правда, потребовался бы не час, а пара месяцев на вычисления). Так что, задача не была совсем уж неразрешимой в то время, просто нужно было взять правильное направление. Современные же генераторы поэзии пишут такие стихи, которые трудно отличить от человеческих.

  • В поисках разума: можно ли сделать “универсальный” чат-бот с помощью нейронных сетей?
    0
    Никак не могу понять. Пишешь статью, объясняешь, что нечто работает и работает хорошо. Сразу появляется много комментаторов, которые говорят, что нет, это невозможно. И предлагающих использовать XYZ вместо описанного. Ну в чем тут логика?

    Мне не нужны шаблоны, ни сотни, ни тысячи, я от них как раз хочу избавится, о чем и идет речь в статье. Тем более зачем мне учить нечто говорить на русском с помощью паттернов, когда у меня есть решение, которое работает прекрасно без них? И наконец, я не готовлю ни базу ни связи, в статье идет речь о том, что связи формируются сами в процессе диалога.

    И еще, разработанный язык обращений делает основную систему независимой от конкретной графовой базы данных, так что если какой-то выбранный движок окажется непригодным, или перестанет поддерживаться, очень легко перенести все на другой.
  • В поисках разума: можно ли сделать “универсальный” чат-бот с помощью нейронных сетей?
    0
    Это обычное решение. Но проблема в том, что всю иерархию классификаторов и тематических решателей приходиться собирать вручную, и это долго и нужен большой штат сотрудников.
  • В поисках разума: можно ли сделать “универсальный” чат-бот с помощью нейронных сетей?
    0
    лет 12 назад делал на Prolog довольно объемное приложение. Была такая вещь, Visual Prolog 6.0. Не претендую на изобретение графовых баз данных, впрочем, в тексте есть ссылки на источники и существующие продукты. Я занимаюсь практическим вопросом, как собрать все вместе, и научить общаться с человеком, чтобы структура данных подстраивалась по мере необходимости, и работало это в реальной задаче.
  • Графический интерфейс или чат бот в управлении проектами: что эффективнее?.. Практический эксперимент
    +1
    Метод описан например тут. Прямо готового сервиса на русском я не видел, но средство относительно не сложное, мы подобную вещь делали на учебных занятиях, когда учили новых сотрудников. Работает достаточно хорошо.
  • Графический интерфейс или чат бот в управлении проектами: что эффективнее?.. Практический эксперимент
    +1
    Поменять порядок. Да. я выделяю пункты пальцем (штук 6) и говорю «установить порядок». И они ставятся в нужном порядке. Это гибридный интерфейс, и да так быстрее, особенно если экран маленький (телефон). Потому, что какие-то вещи лучше голосом, а какие-то кнопками. И смысл найти правильную комбинацию.

    Мы несколько месяцев так работаем, изучили все очень тщательно и написали как есть.
  • Графический интерфейс или чат бот в управлении проектами: что эффективнее?.. Практический эксперимент
    +1
    Вы удивитесь — я знаю людей, которым начальник звонит в 2 часа ночи и говорит, что срочно нужно сделать нечто. Сам я часто вспоминаю что-то в 11 вечера, и забываю напрочь на утро.
  • Графический интерфейс или чат бот в управлении проектами: что эффективнее?.. Практический эксперимент
    0
    TAppDebugConsole — никак. Слова по-проще понимает. Если какие-то термины часто встречаются, их опознавание можно настроить. API от Google запятые не ставит, но если нужно для этого есть решения. Мне обычно не нужно, до тех пор пока смысл того, что надо сделать понятен.
  • Графический интерфейс или чат бот в управлении проектами: что эффективнее?.. Практический эксперимент
    0
    На самом деле, практика показывает, что они друг друга дополняют. Для исполнителя намного проще кнопки. Для руководителя гораздо эффективнее голосовое управление. В дороге, вечером с телефона, голосовой интерфейс вообще незаменим.
  • Графический интерфейс или чат бот в управлении проектами: что эффективнее?.. Практический эксперимент
    –1
    Как раз наоборот. Голосовой набор примерно в 3 раза быстрее (12 знаков в секунду), чем может печатать человек. Поэтому если задача короткая, клавиатура и мышь хорошо справляется. А когда задач много и к ним длинные описания, клавиатура вообще не стоит рядом.
  • Графический интерфейс или чат бот в управлении проектами: что эффективнее?.. Практический эксперимент
    0
    Фактически, голосовой интерфейс в основном используется чтобы поставить задачу или сообщить о проблеме. А эти четыре функции, как я написал, прекрасно работают через кнопки
  • Как мы делали систему выделения информации из текста на естественном языке для банка АО «Банк ЦентрКредит» (Казахстан)
    0
    80 тыс. предложений это примерно в 5 раз больше, чем выборка о которой идет речь в этой статье. Отсюда и разница в цифрах.
  • Как мы делали систему выделения информации из текста на естественном языке для банка АО «Банк ЦентрКредит» (Казахстан)
    0
    линейный CRF, признаки — слова, слова после стеммера, части речи (POS-tags), регистр слова, все в окне до 3 слов вперед и трех слов назад (подобрано до получения оптимального результата).

    92% это accuracy, precision или F1? и на какой был объем обучающей и тестовой выборки?
  • Как мы придумывали систему анализа текстов
    +2
    Это вектор, который на вход RNNLM поступает, да он размерностью в словарь. RNNLM или word2vec или подобный алгоритм обучается на очень большом корпусе (десятки и сотни миллионов слов) и формирует новое компактное представление слов, в форме весов, ассоциированных с каждым разрядом входного вектора. Это компактное представление обладает тем свойством, что вектора слов, похожих по смыслу, находятся ближе друг к другу. См. также статью Yao et al, о том как это сделать
  • Как мы делали систему выделения информации из текста на естественном языке для банка АО «Банк ЦентрКредит» (Казахстан)
    0
    Вообще метод с нейронными сетями тем и хорош, что можно получить приличные результаты, не занимаясь подбором признаков, типа «слово начинается с большой буквы, является существительным и оканчивается на -сь». На входе вектора слов, не word2vec, но аналогичный метод (детали, как вектора были получены и их размеры опубликованы в рамках другой работы).
  • Как мы делали систему выделения информации из текста на естественном языке для банка АО «Банк ЦентрКредит» (Казахстан)
    0
    Каким инструментом пользуетесь (TF, Theano, или самописный)

    То, что описано в этой статье, сделано на собственном инструменте. Про TF я писал ранее, там есть плюсы и минусы.
    Какой объем текста в датасете

    Объем для данного примера указан в статье. («удалось разметить выборку объемом 112 000 слов»). Данные на общедоступных датасетах, см. здесь
    Не считаете ли, что тут в вашей системе кроется проблема в случае длинных предложений (не запоминает больше 7(?) слов)

    На самом деле, даже простую сеть Элмана можно обучить запоминать контекст на сотню шагов назад выбрав правильную инициализацию и метод обучения. Проблема, как я написал в статье, в другом — то что переобучение на данных близких по времени наступает раньше, чем сеть учится использовать дальний контекст. Предложенная модель решает эту проблему.
    Такая реализация как бы запоминает информацию внутри модели. Т.е. возможность запоминания зависит напрямую от размера сети

    Да, но не от размера сети в целом, а от размера блока памяти.
    Так если ваша модель fullyconnected

    В блоке памяти рекуррентные нейроны не fullyconnected, они соединены только сами с собой (во времени). Поэтому могут хранить информацию дольше.
  • Как мы делали систему выделения информации из текста на естественном языке для банка АО «Банк ЦентрКредит» (Казахстан)
    0
    Хотелось бы, чтобы уважаемые комментаторы читали внимательно статью, прежде чем писать критику. Тем более такую. В статье нет «попробовали LSTM и у нас что-то получилось», а ясно сказано, что LSTM работает хорошо, но медленно. Для больших объемов текста это имеет значение. Рассмотренная модель гораздо проще чем LSTM или GRU, а дает тот же результат. В этом ее плюс.

    Точные размеры сети значения не имеют, их подбирают под задачу. Кто разбирается, сможет это сделать, а кто не разбирается… ну, будет писать вот такую критику ни о чем.

    Да, это не научная статья, это иллюстративный пример, что бывает на практике с подобными задачами, как они решаются и чего можно дробится. И тут раскрыто довольно много информации, которая может в аналогичном случае сэкономить много времени и нервов.
  • Русский нейросетевой чатбот
    0
    Да. На практике имеет смысл отобрать n кандидатов обычным поиском, и ранжировать только их
  • Русский нейросетевой чатбот
    0
    Возможно здесь перепутана причина и следствие — поскольку игровые персонажи тупые, то игроку не интересны их тексты, а интересно "куда бежать и кого бить". Если они не будут такие тупые, появятся принципиально новые игровые возможности. А нет этого сейчас по простой причине. Технология еще не дошла. Думаю со временем мы такое увидим.
  • Русский нейросетевой чатбот
    0
    При обучении правильным ответом считается тот, который следует за рассматриваемой репликой. Неправильный ответ берется случайно из всего набора данных.
  • Русский нейросетевой чатбот
    0
    На все сил и времени не хватает. Может быть когда-нибудь руки дойдут.
  • Русский нейросетевой чатбот
    0
    Не совсем так. Исходя из общих соображений можно сузить пространство решений, и уже внутри перебирать. Сия ситуация в принципе существует при проектировании любой достаточно сложной системы.
  • Русский нейросетевой чатбот
    +1
    Разница в том, что нейросеть действительно имеет некое представление о мире и набор знаний. Это можно увидеть в тщательно поставленных тестах. Например на вопрос "где живет человек?" ответ "дом" оценивается выше чем "нора", а на вопрос "что такое мотор", выше ранжируется "механизм", "деталь", ниже, например, "животное". Это принципиально другой уровень. При выборе готовых ответов по базе это не всегда заметно, т.к. не всегда в запасе есть правильные ответы.
  • Русский нейросетевой чатбот
    0
    В статье собственно и написано, что мы решаем задачу сопоставления реплики с ответом. Контекст можно учесть, но это пока мне интересно понять, что может получится без этого.
  • Русский нейросетевой чатбот
    0
    Это ошибка судя по всему на стороне Google Play. Я не знаю почему она иногда появляется. Помогает от нее найти программу поиском на Google Play, и поставить от туда (для тестировщиков она видна в поиске).
  • Русский нейросетевой чатбот
    0
    Это кстати мысль. Спасибо. Правда вопрос сколько таких диалогов существует в природе...
  • Русский нейросетевой чатбот
    0
    На самом деле есть способы борьбы с этой проблемой. Помимо банальных фильтров можно наложить на нейробот определенный личностный профиль, чтобы ответы соответствовали этому профилю. Но сие отдельная тема.
  • Русский нейросетевой чатбот
    0
    Порядок слов как раз понимает. Но в демо приняты меры, чтобы одинаковых ответов рядом не было, случайно выбирается ответ, поэтому может казаться, что есть такая проблема. А контекст диалога — исходно задача сформулирована в этой статье как сопоставление вопроса и ответа без контекста. Это ограничение задано заранее. Есть способы учесть контекст, со временем можно их внедрить. Сейчас систему можно рассматривать как просто улучшенный поиск по запросам пользователя, что само по себе полезно для ряда приложений, поэтому такая постановка задачи.
  • Исходные коды библиотеки нейронных сетей на F# для .NET Framework
    0
    В том, что выложено нужная модель есть. Правда нет примера, с той частью где читаются данные и формируются вектора для входа и для выхода. Старый пример с этой версией уже не совместим. Есть аналогичный функционал в библиотеке TensorFlow от Google (см. сравнение https://habrahabr.ru/company/meanotek/blog/271053/). Если ваш лог не секретный можете прислать мне, я попробую прогнать, посмотрим, что получится )
  • Исходные коды библиотеки нейронных сетей на F# для .NET Framework
    +2
    нет никаго «профита» от numpy ибо никто не мешает вызвать нативные функции из .NET, тот же BLAS (я даже начал это постепенно внедрять). Никто не мешает вызвать cuBLAS если на то пошло, любой GPU код написанный на C. Поэтому это по крайней мере не хуже, чем ситуация с python. Есть даже компиляторы с ограниченного подмножества F# в CUDA C или в OpenCL.

    И в python не все так просто. Чтобы получить действительно эффективный код для сложных нейросетевых архитектур, недостаточно перенести только математические функции на GPU, нужно перенести целый блок вызовов этих функций вместе с логикой кода, которая будет на python. Это решается в Theano или TensorFlow тем, что создается средствами подмножества языка из некоторых предопределенных операций вычислительный граф, который компилируется и выполняется на GPU. То же самое можно сделать из F#, даже лучше. Так что принципиальных проблем нет, есть просто факт того, что мейнстрим работает с python'ом.

    Более того, я не соглашусь, что без GPU можно посчитать только игрушечные примеры. На распознавании изображений, возможно, но кроме распознавания изображений есть много чего. А еще многие сейчас от избытка ресурсов используют излишни неэффективно спроектированные нейросетевые модели. Например, вставляют везде LSTM ячейки, даже там где они не нужны вообще.

    Да, вот это было обучено на CPU, кстати. 160 миллиардов параметров. Совсем не слабо.
  • Исходные коды библиотеки нейронных сетей на F# для .NET Framework
    +1
    Спасибо за положительный отзыв. Я работаю с рекуррентными сетями, в Accord.NET судя по документации с этим, к сожалению, очень туго. Потом Accord.NET он реализуется исключительно на C#, который мне кажется для быстрого прототипирования разных архитектур нейронных сетей слишком громоздким. До начала работы (и после) я смотрел разные библиотеки, но не нашел ничего подходящего. Сейчас ситуация меняется, но медленно. FSCL когда-то я тоже пытался приделать к своей библиотеке (было бы очень красивое решение) но, на тот момент получил замедление работы в 5 раз, из-за накладных расходов. Вернутся к этому руки не доходят.
  • Рекурентная нейронная сеть в 10 строчек кода оценила отзывы зрителей нового эпизода “Звездных войн”
    0
    Но без проверки результатов на тестовой выборке с тремя классами. Что тут еще сказать? Посмотрите, по ссылкам в моем комментарии выше, как плохо работают мульти-классовые классификаторы тональности у людей которые их создавали изначально на данных разбитых на n-классов. И которые потратили месяцы, а то и годы на разработку. Можно ли взять вот так пороги посмотрев на диаграммы и получить хороший результат? Да, повезти может и в лотерею. Но учитывая вышесказанное, без доказательств на тестовой выборке разбитой вручную на три класса, я лично в эти данные не верю.
  • Рекурентная нейронная сеть в 10 строчек кода оценила отзывы зрителей нового эпизода “Звездных войн”
    +2
    Чем больше классов мы выделяем, тем ближе они друг к другу находятся и тем хуже определена между ними граница. Это особенно верно для деления на классы непрерывных в общем-то значений, таких как отношение пользователя к чему-либо.

    Посмотрите например вот здесь, это результаты тестирования систем по анализу тональности ROMIP 2011 года. Сравните значения F1 в таблице 4, 6 и 7 (два класса, три класса, и пять классов). Ухудшение весьма и весьма значительное. Тоже самое можно видеть и на материалах 2012 года. При анализе коротких фрагментов текста, результаты и того хуже.

    Интуитивно можно это представить так. Допустим вам быстро (на секунду) показывают карточки белого и черного цвета и вам надо назвать цвет. Это не сложно. А теперь представьте, что карточек стало три — белый, черный и темно-синий. Число ошибок возрастет.
  • Рекурентная нейронная сеть в 10 строчек кода оценила отзывы зрителей нового эпизода “Звездных войн”
    +5
    То есть:
    — Вы взяли набор твитов (обо всем на свете, не только о фильмах), разбитых на два класса, и искуственно сбалансированный.
    — Обучили нейронную сеть, практически один в один совпадающую с учебным примером из комплекта Keras.
    — Не озаботились дать на вход пре-тренированные вектора слов. Судя по комментариям, не знаете даже зачем это нужно и как работает.
    — Получили результат, который почти никак не лучше чем baseline логистическая регрессия. Свалили все на малый размер, немаленькой на самом деле выборки в 160 000 штук. 160 000 это очень много! Это более 1 млн. слов. Например, у нас при определении тональности термина в этой работе, в обучающей выборке было около 3000 терминов и всего порядка 60 тыс. слов.

    Далее, взяли с потолка пороговые значения и решили, что теперь у нас будет три класса. Никак не проверили оправданность этого деления. (а ведь задача разделения на три класса — она намного сложнее, и как известно результаты в ней всегда получаются хуже, чем при бинарном). Никак не проверили, что модель годится для предметной области твитов про фильмы. Никак не проверили соотношение классов в реальных выборках.

    Само по себе это не плохо. Программисты часто пишут разнообразные hello world'ы только для того чтобы понять как что-то работает. Разобрать азы. Понятное и очень достойное занятие.

    Но это — на минутку — исследование общественного мнения!.. Которое попало в весьма популярную газету и на основании его сделаны там еще какие-то выводы про то, какие люди когда ходили в кино. И вот это вопиющее безобразие. Собрали быстренько нечто, настроили за полдня и вперед. Мы крутые и с нами сила!

    Может быть я слишком резко реагирую да.Люди не сильно пострадают, если статистика по мнениям о фильме будет не очень правильной. Просто я слишком много видел, что так же делаются и остальные более серьезные исследования. Имел несчастье лично наблюдать, что в российской медицине, например, полно работ, которые настрогали таким же образом, не обращая внимания на досадные детали люди малознакомые с темой. А потом в газетах «российские ученые открыли...» и дальше нас этим лечат, экстрактом рогов и копыт.

    Поэтому, хочу призвать всех ответственно относится к данным, которые так или иначе публикуются. Отсутствие должной дисциплины исследователя в мелочах может вести к очень и очень негативным последствиям для всех.

    Да, и еще. Странно читать обилие просьб к авторам статьи выложить это на github. Вообще-то это там уже есть, как пример от библиотеки keras. Без загрузки-выгрузки данных твиттера правда. Но основной код это именно он.