Учим компьютер писать как Толстой, том I

[pda0]

писать как Толстой

Модель еще не совсем совершенна, откровенно говоря, она ужасна.

Короче говоря, как обычно, на деле получилось нечто далёкое от словесного анонса. :)

[Sdima1357]

Все жду статью по машинному обучению- «и вот в результате компьютер выдал эту статью»

[Alex320]

Неужели все так плохо?

[Sdima1357]

Да нет не плохо, просто размах декларированной цели поражает наповал. Может лучше немного спустить планку и попробовать научить компьютер сгенерировать читабельную статью для geektimes в стиле ализара?

[Alex320]

попробовать научить компьютер сгенерировать читабельную статью для geektimes в стиле ализара?

Ну я хочу научить генерировать в стиле Толстого. Ну а так, да. С названием не подумал. Надо было по другому называть. Но все-таки надеюсь что хоть что-нибудь полезное вы для себя узнали. Потом еще есть идеи написать статьи по seq2seq. Может результат будет более близкий к цели

[Alex320]

Вообще-то не все так плохо. Получившийся словарь содержит около 5 тысяч слов с их зависимостями и отношениями. В следующей статье я приведу более совершенную модель (15000 слов). Побольше расскажу о подготовке текста. И наконец в третьей части опубликую финальную модель и расскажу как с помощью нейронных сетей написать программу генерирующую текст в стиле толстого

[irishrover]

Всё как в известной поговорке: «На словах ты Лев Толстой, а на деле Пётр Толстой».

[pda0]

Я как бы на неё старательно и намекал… :)

[kayak116]

Спасибо за попытку! Я бы привел результаты тестов, как бы ужасны они ни были

[Alex320]

В конце я привел один из примеров. Так же вы можете сами попытаться поискать в интернете, почитать документацию по gensim. Там есть примеры предсказывания слова на основе предыдущих

[decomeron]

Может, просто, научить писать компьютер по какой -то другой книге?

[LazyCoder123]

Как вариант, но у Толстого очень объемные главы и много слов в предложениях. Мне кажется так лучше для быстрого обучения модели. Или не очень?

[Alex320]

Вы правы. В моей новой модели, основанной на большом количестве книг Толстого, около 15000 слов. Для обучения и использования это очень неплохо. Хотя гугл предоставляет модели и на миллионы слов, правда и весят они парочку гигабайт. Хотя есть и отрицательная сторона — французский язык. Кстати в следующей статье приведу способ отличать французские предложения от русских с помощью nltk.

[unibasil]

Угу, по Библии. ;) Было бы занятно почитать машинное Евангелие.

[Alex320]

Подход верный. Но сразу публиковать готовый код не интересно. Этой статьей я только хотел разжечь читателя. Дать ему отправную точку для саморазвития. Ждите следующую статью, будет интереснее.

P.S. Зря вы в коде сомневаетесь. Во первых он рабочий, во вторых я не гуглил. Тему с машинным обучением и обработкой натурального языка я знаю отлично. Не первый год интересуюсь… Но ваши замечания постараюсь учесть.

[wilelf]

— А что это у вас там за лампа? — подозри­тельно спросил Фарфуркис.

Старичок ударил по клавишам, потом быстро вырвал из машинки листок бумаги и рысцой под­нес его Фарфуркису. Фарфуркис прочитал вслух:

— «Вопрос: что у нея… гм… у нея внутре за лпч?..» Лэпэчэ… Кэпэдэ, наверное? Что еще за лэпэчэ?

— Лампочка, значит,— сказал старичок, хихи­кая и потирая руки. — Кодируем помаленьку...».

[VioletGiraffe]

И всё же, когда следующая статья? Хотелось бы попробовать, но пока ведь нечего :)

[Alex320]

ответил ниже

[Alex320]

Уже пишу. Мне не хватает только какого нибудь эффектного теста. Подготовил новую модель. Сейчас делаю датасеты чтобы вам не приходилось обрабатывать весь огромный текст по новой.

[sunsexsurf]

Так, похоже, и не написали? Эх...