Комментарии 21
писать как Толстой
Модель еще не совсем совершенна, откровенно говоря, она ужасна.
Короче говоря, как обычно, на деле получилось нечто далёкое от словесного анонса. :)
Все жду статью по машинному обучению- «и вот в результате компьютер выдал эту статью»
Неужели все так плохо?
Да нет не плохо, просто размах декларированной цели поражает наповал. Может лучше немного спустить планку и попробовать научить компьютер сгенерировать читабельную статью для geektimes в стиле ализара?
попробовать научить компьютер сгенерировать читабельную статью для geektimes в стиле ализара?
Ну я хочу научить генерировать в стиле Толстого. Ну а так, да. С названием не подумал. Надо было по другому называть. Но все-таки надеюсь что хоть что-нибудь полезное вы для себя узнали. Потом еще есть идеи написать статьи по seq2seq. Может результат будет более близкий к цели
Вообще-то не все так плохо. Получившийся словарь содержит около 5 тысяч слов с их зависимостями и отношениями. В следующей статье я приведу более совершенную модель (15000 слов). Побольше расскажу о подготовке текста. И наконец в третьей части опубликую финальную модель и расскажу как с помощью нейронных сетей написать программу генерирующую текст в стиле толстого
Всё как в известной поговорке: «На словах ты Лев Толстой, а на деле Пётр Толстой».
Спасибо за попытку! Я бы привел результаты тестов, как бы ужасны они ни были
Может, просто, научить писать компьютер по какой -то другой книге?
Как вариант, но у Толстого очень объемные главы и много слов в предложениях. Мне кажется так лучше для быстрого обучения модели. Или не очень?
Вы правы. В моей новой модели, основанной на большом количестве книг Толстого, около 15000 слов. Для обучения и использования это очень неплохо. Хотя гугл предоставляет модели и на миллионы слов, правда и весят они парочку гигабайт. Хотя есть и отрицательная сторона — французский язык. Кстати в следующей статье приведу способ отличать французские предложения от русских с помощью nltk.
Угу, по Библии. ;) Было бы занятно почитать машинное Евангелие.
Подход верный. Но сразу публиковать готовый код не интересно. Этой статьей я только хотел разжечь читателя. Дать ему отправную точку для саморазвития. Ждите следующую статью, будет интереснее.
P.S. Зря вы в коде сомневаетесь. Во первых он рабочий, во вторых я не гуглил. Тему с машинным обучением и обработкой натурального языка я знаю отлично. Не первый год интересуюсь… Но ваши замечания постараюсь учесть.
P.S. Зря вы в коде сомневаетесь. Во первых он рабочий, во вторых я не гуглил. Тему с машинным обучением и обработкой натурального языка я знаю отлично. Не первый год интересуюсь… Но ваши замечания постараюсь учесть.
— А что это у вас там за лампа? — подозрительно спросил Фарфуркис.
Старичок ударил по клавишам, потом быстро вырвал из машинки листок бумаги и рысцой поднес его Фарфуркису. Фарфуркис прочитал вслух:
— «Вопрос: что у нея… гм… у нея внутре за лпч?..» Лэпэчэ… Кэпэдэ, наверное? Что еще за лэпэчэ?
— Лампочка, значит,— сказал старичок, хихикая и потирая руки. — Кодируем помаленьку...».
Старичок ударил по клавишам, потом быстро вырвал из машинки листок бумаги и рысцой поднес его Фарфуркису. Фарфуркис прочитал вслух:
— «Вопрос: что у нея… гм… у нея внутре за лпч?..» Лэпэчэ… Кэпэдэ, наверное? Что еще за лэпэчэ?
— Лампочка, значит,— сказал старичок, хихикая и потирая руки. — Кодируем помаленьку...».
И всё же, когда следующая статья? Хотелось бы попробовать, но пока ведь нечего :)
Уже пишу. Мне не хватает только какого нибудь эффектного теста. Подготовил новую модель. Сейчас делаю датасеты чтобы вам не приходилось обрабатывать весь огромный текст по новой.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Учим компьютер писать как Толстой, том I