Эксперт на то и эксперт, чтобы знать, если не наизусть, то стилистические особенности и словари известных поэтов.
Не трудно имитировать стиль и тем более словарь любого поэта
Требуется обоснованное мотивированное решение, а не игра в угадайку.
Это долго и бессмысленно — поэзия оценивается субъективно, рационализация субъективного ощущения ничего не даст. Очевидно, что человек оценивает с помощью своего мышления, а не подбрасывая монетку.
Можно, например, сказать, что робот-полицейский, утопившийся в фонтане гипер-маркета – это промежуточный полезный результат.
Это нормально. Для сложной задачи несколько косяков вначале это даже не проблема, это обычная обкатка. Плюс, не известно точно, возможно ему помогли утопиться.
Дело не в том, заработал или не заработал ПОЭТ, а дело в том, что результаты огромной работы, прежде всего теоретические, были суммированы в толстой книге, изданной солидным издательством (учитывая тираж – это широко известно). Представляют ли сейчас ценность эти результаты?
Научно-популярная книга не дает возможности судить об этом. К сожалению, найти публикации по этой системе мне не удалось, поэтому я не могу оценить ценность результата.
В списке литературы Вы приводите англоязычные издания, которые, по-видимому, ориентированы на работу в первую очередь с английским языком. Но ведь у русского языка иная структура. Или для Вашего подхода структура языка не важна?
В данном случае технология намного важнее структуры языка. Специфика языка есть, но она второстепенна.
Не являются ли такие результаты всего лишь имитацией, но менее очевидной?
Я прагматик. Мне важно, чтобы работало.
А вот оценка разных экспертов приведенного Вами четверостишья может варьироваться в пределах от очень хорошо до очень плохо
В статье про систему, метрика для которой в конечном итоге очевидна — процент правильных ответов, процент совпадающих с человеческими результатов.
Да и с поэзией, люди, которые этим занимаются, делают слепое тестирование — отгадайте, написано ли это стихотворение одним из известных поэтов или компьютером.
В связи с этим возникает вопрос: Вы не изобретаете велосипед? Выяснилось, что не знаете о системе ПОЭТ, на которую было затрачено много человеко-лет и которая описана в книге, изданной лидирующим научным издательством
С конца 70-х разных систем такого рода создавалось великое множество. Большинство из них так и не заработало, и на дальнейшее развитие отрасли не повлияло, по этой причине о них широко не известно. Некоторые проекты избрали неверное направление, для других было слишком мало компьютерных мощностей. Часть работ было интересными, но они просто потерялись. В особенности это касается разработок, сделанных в СССР, они не стали вовремя известны всему миру, и потом были заново открыты другими авторами.
слишком амбициозные проекты терпят крах, а более скромные неспешно, но все же продвигают ИИ к новым рубежам.
Слишком сильное обобщение. Можно найти много контрпримеров. Многие амбициозные проекты не достигают глобальный целей, но часто получают промежуточный полезный результат и при этом умножают наши знания для следующих попыток.
Какие цели Вашей работы: Это хобби? (тогда никаких вопросов не возникает). Это научное исследование? Это коммерческий проект?
Пока это эксперимент. Как побочный продукт, он приносит определенную выгоду. А там видно будет.
Гугл, который сейчас может потратить пару сотен или м.б. тысяч человеко-лет и закончить работу через год?
Поскольку они публикуют основные результаты, я буду их постепенно включать и применять. Чем больше они сделают, тем лучше.
50 человеко-лет это не наш масштаб пока, это работа 3.5 человек за 7 месяцев, в свободное от других дел время. Я не думаю, что работу можно когда-либо закончить, тут бесконечный фронт для улучшения. Но сейчас есть рабочий прототип и довольно интересные результаты. Дойдет ли дело до массового продукта, я не знаю, все-таки ресурсы, которые мы можем сейчас на это выделить ограничены, а инвесторы особо таким не интересуются.
Но, что касается системы ПОЭТ. Не нашел никаких деталей. Но для интереса, загнал в простую нейронную сеть 4 сборника стихов. Получилось вот это:
Кто весел, я весть! Все исчезло!
Поставленым она освящена.
И независимость от нищеты!
Но так же вправду ты страшна…
Не Пушкин конечно, но интересно. А самое интересное, что использованный алгоритм был, в принципе, известен как минимум в 1986. И нужные компьютеры были (правда, потребовался бы не час, а пара месяцев на вычисления). Так что, задача не была совсем уж неразрешимой в то время, просто нужно было взять правильное направление. Современные же генераторы поэзии пишут такие стихи, которые трудно отличить от человеческих.
Никак не могу понять. Пишешь статью, объясняешь, что нечто работает и работает хорошо. Сразу появляется много комментаторов, которые говорят, что нет, это невозможно. И предлагающих использовать XYZ вместо описанного. Ну в чем тут логика?
Мне не нужны шаблоны, ни сотни, ни тысячи, я от них как раз хочу избавится, о чем и идет речь в статье. Тем более зачем мне учить нечто говорить на русском с помощью паттернов, когда у меня есть решение, которое работает прекрасно без них? И наконец, я не готовлю ни базу ни связи, в статье идет речь о том, что связи формируются сами в процессе диалога.
И еще, разработанный язык обращений делает основную систему независимой от конкретной графовой базы данных, так что если какой-то выбранный движок окажется непригодным, или перестанет поддерживаться, очень легко перенести все на другой.
Это обычное решение. Но проблема в том, что всю иерархию классификаторов и тематических решателей приходиться собирать вручную, и это долго и нужен большой штат сотрудников.
лет 12 назад делал на Prolog довольно объемное приложение. Была такая вещь, Visual Prolog 6.0. Не претендую на изобретение графовых баз данных, впрочем, в тексте есть ссылки на источники и существующие продукты. Я занимаюсь практическим вопросом, как собрать все вместе, и научить общаться с человеком, чтобы структура данных подстраивалась по мере необходимости, и работало это в реальной задаче.
Метод описан например тут. Прямо готового сервиса на русском я не видел, но средство относительно не сложное, мы подобную вещь делали на учебных занятиях, когда учили новых сотрудников. Работает достаточно хорошо.
Поменять порядок. Да. я выделяю пункты пальцем (штук 6) и говорю «установить порядок». И они ставятся в нужном порядке. Это гибридный интерфейс, и да так быстрее, особенно если экран маленький (телефон). Потому, что какие-то вещи лучше голосом, а какие-то кнопками. И смысл найти правильную комбинацию.
Мы несколько месяцев так работаем, изучили все очень тщательно и написали как есть.
Вы удивитесь — я знаю людей, которым начальник звонит в 2 часа ночи и говорит, что срочно нужно сделать нечто. Сам я часто вспоминаю что-то в 11 вечера, и забываю напрочь на утро.
TAppDebugConsole — никак. Слова по-проще понимает. Если какие-то термины часто встречаются, их опознавание можно настроить. API от Google запятые не ставит, но если нужно для этого есть решения. Мне обычно не нужно, до тех пор пока смысл того, что надо сделать понятен.
На самом деле, практика показывает, что они друг друга дополняют. Для исполнителя намного проще кнопки. Для руководителя гораздо эффективнее голосовое управление. В дороге, вечером с телефона, голосовой интерфейс вообще незаменим.
Как раз наоборот. Голосовой набор примерно в 3 раза быстрее (12 знаков в секунду), чем может печатать человек. Поэтому если задача короткая, клавиатура и мышь хорошо справляется. А когда задач много и к ним длинные описания, клавиатура вообще не стоит рядом.
Фактически, голосовой интерфейс в основном используется чтобы поставить задачу или сообщить о проблеме. А эти четыре функции, как я написал, прекрасно работают через кнопки
линейный CRF, признаки — слова, слова после стеммера, части речи (POS-tags), регистр слова, все в окне до 3 слов вперед и трех слов назад (подобрано до получения оптимального результата).
92% это accuracy, precision или F1? и на какой был объем обучающей и тестовой выборки?
Это вектор, который на вход RNNLM поступает, да он размерностью в словарь. RNNLM или word2vec или подобный алгоритм обучается на очень большом корпусе (десятки и сотни миллионов слов) и формирует новое компактное представление слов, в форме весов, ассоциированных с каждым разрядом входного вектора. Это компактное представление обладает тем свойством, что вектора слов, похожих по смыслу, находятся ближе друг к другу. См. также статью Yao et al, о том как это сделать
Вообще метод с нейронными сетями тем и хорош, что можно получить приличные результаты, не занимаясь подбором признаков, типа «слово начинается с большой буквы, является существительным и оканчивается на -сь». На входе вектора слов, не word2vec, но аналогичный метод (детали, как вектора были получены и их размеры опубликованы в рамках другой работы).
Объем для данного примера указан в статье. («удалось разметить выборку объемом 112 000 слов»). Данные на общедоступных датасетах, см. здесь
Не считаете ли, что тут в вашей системе кроется проблема в случае длинных предложений (не запоминает больше 7(?) слов)
На самом деле, даже простую сеть Элмана можно обучить запоминать контекст на сотню шагов назад выбрав правильную инициализацию и метод обучения. Проблема, как я написал в статье, в другом — то что переобучение на данных близких по времени наступает раньше, чем сеть учится использовать дальний контекст. Предложенная модель решает эту проблему.
Такая реализация как бы запоминает информацию внутри модели. Т.е. возможность запоминания зависит напрямую от размера сети
Да, но не от размера сети в целом, а от размера блока памяти.
Так если ваша модель fullyconnected
В блоке памяти рекуррентные нейроны не fullyconnected, они соединены только сами с собой (во времени). Поэтому могут хранить информацию дольше.
Хотелось бы, чтобы уважаемые комментаторы читали внимательно статью, прежде чем писать критику. Тем более такую. В статье нет «попробовали LSTM и у нас что-то получилось», а ясно сказано, что LSTM работает хорошо, но медленно. Для больших объемов текста это имеет значение. Рассмотренная модель гораздо проще чем LSTM или GRU, а дает тот же результат. В этом ее плюс.
Точные размеры сети значения не имеют, их подбирают под задачу. Кто разбирается, сможет это сделать, а кто не разбирается… ну, будет писать вот такую критику ни о чем.
Да, это не научная статья, это иллюстративный пример, что бывает на практике с подобными задачами, как они решаются и чего можно дробится. И тут раскрыто довольно много информации, которая может в аналогичном случае сэкономить много времени и нервов.
Не трудно имитировать стиль и тем более словарь любого поэта
Это долго и бессмысленно — поэзия оценивается субъективно, рационализация субъективного ощущения ничего не даст. Очевидно, что человек оценивает с помощью своего мышления, а не подбрасывая монетку.
Это нормально. Для сложной задачи несколько косяков вначале это даже не проблема, это обычная обкатка. Плюс, не известно точно, возможно ему помогли утопиться.
Научно-популярная книга не дает возможности судить об этом. К сожалению, найти публикации по этой системе мне не удалось, поэтому я не могу оценить ценность результата.
В данном случае технология намного важнее структуры языка. Специфика языка есть, но она второстепенна.
Я прагматик. Мне важно, чтобы работало.
В статье про систему, метрика для которой в конечном итоге очевидна — процент правильных ответов, процент совпадающих с человеческими результатов.
Да и с поэзией, люди, которые этим занимаются, делают слепое тестирование — отгадайте, написано ли это стихотворение одним из известных поэтов или компьютером.
С конца 70-х разных систем такого рода создавалось великое множество. Большинство из них так и не заработало, и на дальнейшее развитие отрасли не повлияло, по этой причине о них широко не известно. Некоторые проекты избрали неверное направление, для других было слишком мало компьютерных мощностей. Часть работ было интересными, но они просто потерялись. В особенности это касается разработок, сделанных в СССР, они не стали вовремя известны всему миру, и потом были заново открыты другими авторами.
Слишком сильное обобщение. Можно найти много контрпримеров. Многие амбициозные проекты не достигают глобальный целей, но часто получают промежуточный полезный результат и при этом умножают наши знания для следующих попыток.
Пока это эксперимент. Как побочный продукт, он приносит определенную выгоду. А там видно будет.
Поскольку они публикуют основные результаты, я буду их постепенно включать и применять. Чем больше они сделают, тем лучше.
50 человеко-лет это не наш масштаб пока, это работа 3.5 человек за 7 месяцев, в свободное от других дел время. Я не думаю, что работу можно когда-либо закончить, тут бесконечный фронт для улучшения. Но сейчас есть рабочий прототип и довольно интересные результаты. Дойдет ли дело до массового продукта, я не знаю, все-таки ресурсы, которые мы можем сейчас на это выделить ограничены, а инвесторы особо таким не интересуются.
Но, что касается системы ПОЭТ. Не нашел никаких деталей. Но для интереса, загнал в простую нейронную сеть 4 сборника стихов. Получилось вот это:
Кто весел, я весть! Все исчезло!
Поставленым она освящена.
И независимость от нищеты!
Но так же вправду ты страшна…
Не Пушкин конечно, но интересно. А самое интересное, что использованный алгоритм был, в принципе, известен как минимум в 1986. И нужные компьютеры были (правда, потребовался бы не час, а пара месяцев на вычисления). Так что, задача не была совсем уж неразрешимой в то время, просто нужно было взять правильное направление. Современные же генераторы поэзии пишут такие стихи, которые трудно отличить от человеческих.
Мне не нужны шаблоны, ни сотни, ни тысячи, я от них как раз хочу избавится, о чем и идет речь в статье. Тем более зачем мне учить нечто говорить на русском с помощью паттернов, когда у меня есть решение, которое работает прекрасно без них? И наконец, я не готовлю ни базу ни связи, в статье идет речь о том, что связи формируются сами в процессе диалога.
И еще, разработанный язык обращений делает основную систему независимой от конкретной графовой базы данных, так что если какой-то выбранный движок окажется непригодным, или перестанет поддерживаться, очень легко перенести все на другой.
Мы несколько месяцев так работаем, изучили все очень тщательно и написали как есть.
92% это accuracy, precision или F1? и на какой был объем обучающей и тестовой выборки?
То, что описано в этой статье, сделано на собственном инструменте. Про TF я писал ранее, там есть плюсы и минусы.
Объем для данного примера указан в статье. («удалось разметить выборку объемом 112 000 слов»). Данные на общедоступных датасетах, см. здесь
На самом деле, даже простую сеть Элмана можно обучить запоминать контекст на сотню шагов назад выбрав правильную инициализацию и метод обучения. Проблема, как я написал в статье, в другом — то что переобучение на данных близких по времени наступает раньше, чем сеть учится использовать дальний контекст. Предложенная модель решает эту проблему.
Да, но не от размера сети в целом, а от размера блока памяти.
В блоке памяти рекуррентные нейроны не fullyconnected, они соединены только сами с собой (во времени). Поэтому могут хранить информацию дольше.
Точные размеры сети значения не имеют, их подбирают под задачу. Кто разбирается, сможет это сделать, а кто не разбирается… ну, будет писать вот такую критику ни о чем.
Да, это не научная статья, это иллюстративный пример, что бывает на практике с подобными задачами, как они решаются и чего можно дробится. И тут раскрыто довольно много информации, которая может в аналогичном случае сэкономить много времени и нервов.