есть начальный корпус и множество других предложений.
делаем допустим 5 сетей с разной инициализацией. и обучаем на размеченном корпусе.
далее прогоняем по оставшимся предложениям и там где все 5 сетей разбирают предложение одинаково включаем в обучающую выборку с коэффициентом 0,8 (если например коэффициент обучения 0,0001 то для этих данных будет 0,0001*0,8)
далее повторяем для оставшихся с последовательно убывающими коэффициентами обучения.
Извиняюсь, я так и хотел сказать, что Яндексу требуется меньше данных за счет предобработки. Но вы становитесь заложниками такого подхода, правильности определения и т д.
Не пытались использовать SyntaxNet?
Прогоняете SyntaxNet, получаете дополнительную информацию о предложении и обучаете с доп информацией?
кроме единичного вектора слова, еще тип речи, взоимосвязанность и т д
кроме того для языков с падежами можно существенно сократить количество слов за счет передачи именительного падежа и принадлежности слова (кто ему подчинен, кому он подчинен), в принципе можно перестраивать предложение в языково независимую структуру. что должно упростить обучение разных языков.
насколько я понимаю
«если дополнить сугубо лексическую модель еще и моделями морфологии (словоизменение и словообразование) и синтаксиса (построение предложений)» в гугловском переводчике не используется. он примитивнее, Скорее всего ему требуется существенно больше данных, чем подходу гугла…
Вообще на мой взгляд система, что нейронная сеть должна хранить все ответы в себе не верна, она делает сеть переусложенной (в смысле большого количества коэффициентов). Тут есть аналогия между несколькими полносвязными слоями для идентификации изображения и сверточной сетью где только в конце полная.
Тут должна быть аналогия. Сеть должна быть проще, но иметь возможно искать по имеющимся данным включая их в результат. Тут появится возможность исключать редко встречаемые слова которых большинство.
Предложения по улучшению.
1. обучение: для фразы используются все предыдущие фразы разговора. Обучение замедлится, но текущая работа не усложниться.
2. Можно использовать несколько проходов туда назад как в переводчике гугла.
Удивитесь, но она есть и в tensorflow,
Да и добавление математических функций ни у кого не должно вызывать возражений, а так вызов такой функции можно будет эффективно транслировать на графическую карту через OpenAcc.
вообще долгосрочные прогнозы это гадание на кофейной гуще.
Например в СССР из за обмеления Каспия собирались поворачивать северные реки, но потом чуток климат изменился и в Каспии уровень воды стал повышаться.
Тоже самое прогнозирование глобального потепления при крупном извержении вулкана может быстро сменится ледниковым периодом с последующим глобальным потеплением.
Еще интересней, можно ли сделать на таком же принципе трансляцию из одного языка программирования в другой или например в машинные коды? так как тут есть возможность проверять правильность результата и проверять оптимальность(время выполнения)
медленно, но возможно ключевые участки будет иметь определенный смысл.
есть начальный корпус и множество других предложений.
делаем допустим 5 сетей с разной инициализацией. и обучаем на размеченном корпусе.
далее прогоняем по оставшимся предложениям и там где все 5 сетей разбирают предложение одинаково включаем в обучающую выборку с коэффициентом 0,8 (если например коэффициент обучения 0,0001 то для этих данных будет 0,0001*0,8)
далее повторяем для оставшихся с последовательно убывающими коэффициентами обучения.
или можно сжимать информацию ставя на вход image
Не пытались использовать SyntaxNet?
Прогоняете SyntaxNet, получаете дополнительную информацию о предложении и обучаете с доп информацией?
кроме единичного вектора слова, еще тип речи, взоимосвязанность и т д
кроме того для языков с падежами можно существенно сократить количество слов за счет передачи именительного падежа и принадлежности слова (кто ему подчинен, кому он подчинен), в принципе можно перестраивать предложение в языково независимую структуру. что должно упростить обучение разных языков.
«если дополнить сугубо лексическую модель еще и моделями морфологии (словоизменение и словообразование) и синтаксиса (построение предложений)» в гугловском переводчике не используется. он примитивнее, Скорее всего ему требуется существенно больше данных, чем подходу гугла…
Вы хотите, что бы был единый комитет согласовывающий все изменения, все нюансы?
Добавление мат функций никак не задерживает процесс принятия других изменений.
Тут должна быть аналогия. Сеть должна быть проще, но иметь возможно искать по имеющимся данным включая их в результат. Тут появится возможность исключать редко встречаемые слова которых большинство.
1. обучение: для фразы используются все предыдущие фразы разговора. Обучение замедлится, но текущая работа не усложниться.
2. Можно использовать несколько проходов туда назад как в переводчике гугла.
Да и добавление математических функций ни у кого не должно вызывать возражений, а так вызов такой функции можно будет эффективно транслировать на графическую карту через OpenAcc.
как и какие слои используются
Например в СССР из за обмеления Каспия собирались поворачивать северные реки, но потом чуток климат изменился и в Каспии уровень воды стал повышаться.
Тоже самое прогнозирование глобального потепления при крупном извержении вулкана может быстро сменится ледниковым периодом с последующим глобальным потеплением.
медленно, но возможно ключевые участки будет иметь определенный смысл.
грубо говоря возможно ли что в одном языке будет упоминаться одна страна, а в переводе другая?