Мысли вслух, очень грубыми штрихами… Если абстрагироваться — человеку приходит мысль(образ), после этого он подбирает под нее слова и строит из них фразу. Обратный процесс тоже работает. Близко к этому алгоритму работают алгоритмы перевода у гугла(если не ошибаюсь) и есть упрощенная готовая схема seq2seq…
И согласование слов дать на откуп NN, вопрос только на чем и как учить…
Ну, размер, тип используемых сетей и другие параметры, на мой взгляд, все-таки важны, как и данные на которых учить. У меня, игры с кол-вом слоев LSTM и их размерами, добавление туда Embedding слоя и игры с его размерами давали отличные(разные) результаты, но проследить понятную закономерность я не смог.
Меня напрягает, что я смотрю на все это, фактически, как на черный ящик… Нет, я поверхностно понимаю основные принципы слов NN, RNN, embedding, LSTM и т.п., но как подбирать их комбинации и их параметры это для меня открытый вопрос, и что-то я пока понятных материалов по этому поводу не нашел…
И в приложении к этой или похожей задаче, ооочень не хочется выходить за рамки NN. Даже привлекать pymorphy2 не хотелось бы, в конце-концов, слабо нейронке самостоятельно найти закономерности согласования слов в предложении :)
Еще, мне видится, что нужно частично задействовать идею из seq2seq, т.е. работа, в некотором роде, со смыслами фраз.
Но, вот тоже уперся в потолок знаний.
Ну вот я о том же… Может наталкивались на какие-то теории касательно этого?
По моим ощущениям, в моем случае, при работе со словами как символами мне, как минимум, не хватало корпуса текстов для обучения. Я пытался сократить словарь разбивая слова на «основу» и «окончание» и использовать их как отдельные символы или даже делать отдельные сетки на «основы» и «окончания» и потом из них собирать… пробовал разбивать просто на «псевдослоги» и т.п. Вобщем, всячески пытался уменьшить размер словаря, т.к., ИМХО, соотношение размера корпуса текстов к словарю нужно максимизировать.
Но так пока и не понял принципа подбора размеров сетей и кол-ва слоев от размера словаря, к примеру.
Еще пробовал играться с сеткой seq2seq. Тоже, неплохие результаты, но хорошими их не назовешь :)
Тоже развлекался с этой темой… Интересно бы почитать о принципах подбора параметров для разных типов сетей. (кол-во слоев, нейронов, размерность вектора для embedding)
И согласование слов дать на откуп NN, вопрос только на чем и как учить…
Меня напрягает, что я смотрю на все это, фактически, как на черный ящик… Нет, я поверхностно понимаю основные принципы слов NN, RNN, embedding, LSTM и т.п., но как подбирать их комбинации и их параметры это для меня открытый вопрос, и что-то я пока понятных материалов по этому поводу не нашел…
И в приложении к этой или похожей задаче, ооочень не хочется выходить за рамки NN. Даже привлекать pymorphy2 не хотелось бы, в конце-концов, слабо нейронке самостоятельно найти закономерности согласования слов в предложении :)
Еще, мне видится, что нужно частично задействовать идею из seq2seq, т.е. работа, в некотором роде, со смыслами фраз.
Но, вот тоже уперся в потолок знаний.
По моим ощущениям, в моем случае, при работе со словами как символами мне, как минимум, не хватало корпуса текстов для обучения. Я пытался сократить словарь разбивая слова на «основу» и «окончание» и использовать их как отдельные символы или даже делать отдельные сетки на «основы» и «окончания» и потом из них собирать… пробовал разбивать просто на «псевдослоги» и т.п. Вобщем, всячески пытался уменьшить размер словаря, т.к., ИМХО, соотношение размера корпуса текстов к словарю нужно максимизировать.
Но так пока и не понял принципа подбора размеров сетей и кол-ва слоев от размера словаря, к примеру.
Еще пробовал играться с сеткой seq2seq. Тоже, неплохие результаты, но хорошими их не назовешь :)