курс запускается первый раз, поэтому мы решили пока записей не делать; но вместо записей лекций, мы постараемся давать подробные lecture notes; так что в принципе проходить курс без посещения занятий возможно
для reinforcement learning тоже есть — обучение с подкреплением, confusion matrix — матрица ошибок; для остальных указанных терминов, к сожалению, нет устоявшихся эквивалентов
большое вам спасибо за работу, но на мой взгляд NC в лицензии было сделано зря, есть множество компаний, которые бы хотели использовать этот датасет, но теперь не имеют возможности
Здесь эмбеддинги включены в состав сети и тренируются вместе со всеми остальными весами, сам принцип получается тот же самый — слову сосоставляется вектор, которые тренируется в процессе обучения решению основной задачи; также стоит отметить, что эмбеддинг-матрица этого слоя может быть инициализирована эмбеддингами из word2vec.
Дополнительно, можно еще «заморозить» веса этого слоя, чтобы эмбеддинги «не портились» в процессе тренировки (то есть они не будут тренироваться, но тем не менее останутся частью нашей сети):
как-то я забыл, что существуют люди, которые не в нашей области :)
NLP — это Natural Language Processing, обработка естественного языка, если по-русски
Это довольно сложные модели их не так просто рассказать людям, не знакомым с областью. Хотя я согласен, что они очень интересны.
Относительно convolutional seq2seq я бы еще добавил, что lua Torch имплементация устарела, лучше использовать PyTorch: github.com/facebookresearch/fairseq-py
Относительно ASR мое мнение, что даже интереснее TTS в виде более раннего WaveNet от DeepMind. Но тогда надо было бы рассказывать про padding, dilated convolutions и прочие более сложные вещи, которые для вводной статьи слишком сложны.
Это уже довольно сложный материал, и я не стал его включать в основную статью.
Чтобы ответить вам на вопрос, нужно рассказать несколько дополнительных вещей:
1) Residual connection — это способ проброса гридиентов в глубину, напрямую, когда мы «добавляем ко входу», то есть вход остается неизменным, а наш смысловой блок просто делает какую-то добавку. В сверточных нейронных сетях (типа ResNet) принято делать именно блоки, из которых строится сеть, а не отдельные сверточные слои.
2) Cвертка 1x1 — это специальный вид свертки, кторый интегрирует все каналы в одно значение, оставляя размер матрицы неизменным. Здесь он используется в качестве обработки входа, чтобы можно было совместить разное число каналов на входе и выходе residual-блока.
Авторы в своей сети используют так называемые fully-convolutional сети, т.е. размер матрицы, с которой они работают остается постоянным. Используя трюк с 1x1-conv и residual connection, они добиваются большой глубины, не теряя возможности варьировать обработку по ширине. Тут важно отметить, что они строят сеть так, чтобы нигде не делают изменения ширины матрицы, именно это позвояет им работать с матрицами переменной ширины.
мы планируем сделать специализацию на основе этого курса, т.е. конкретно этот курс на Coursera размещать не планируется, но контент из него будет частично использован в курсах для этой площадки
еще стоит отметить, что в текущем варианте этот курс фактически представляет из себя MOOC, т.е. личное присутствие на семинарах поможет, но не является критически необходимым для прохождения курса
Я заранее оговорился, что это только моя перспектива, но тем не менее — я постарался выделить именно ключевые идеи, которые могут быть применены потенциально в любой задаче.
И если вы мне подскажете интересные работы по указанным вами темам, я буду вам благодарен, я отслеживаю выходящие работы в нашей области, но тем не менее мог упустить что-то важное.
спасибо за ваше замечание, действительно это проясняет смысл самого слова, но мое мнение, что в текущем употреблении это не совсем корректно: embedding бывает как из высокоразмерного пространства в низкоразмерное, так и наоборот, так что концепция «вложения» здесь не совсем уместна; мне кажется, что «сопоставление» неплохой перевод, но все уже привыкли к слову «эмбеддинг», поэтому я его и употребил в статье
coseer.com/wp-content/uploads/2019/09/NLS-Using-CQM.pdf
Пример кода из одного проекта:
Дополнительно, можно еще «заморозить» веса этого слоя, чтобы эмбеддинги «не портились» в процессе тренировки (то есть они не будут тренироваться, но тем не менее останутся частью нашей сети):
здесь я решил не загромождать не совсем релевантными пояснениями
NLP — это Natural Language Processing, обработка естественного языка, если по-русски
добавил пояснение в начало
Относительно convolutional seq2seq я бы еще добавил, что lua Torch имплементация устарела, лучше использовать PyTorch: github.com/facebookresearch/fairseq-py
Относительно ASR мое мнение, что даже интереснее TTS в виде более раннего WaveNet от DeepMind. Но тогда надо было бы рассказывать про padding, dilated convolutions и прочие более сложные вещи, которые для вводной статьи слишком сложны.
Чтобы ответить вам на вопрос, нужно рассказать несколько дополнительных вещей:
1) Residual connection — это способ проброса гридиентов в глубину, напрямую, когда мы «добавляем ко входу», то есть вход остается неизменным, а наш смысловой блок просто делает какую-то добавку. В сверточных нейронных сетях (типа ResNet) принято делать именно блоки, из которых строится сеть, а не отдельные сверточные слои.
2) Cвертка 1x1 — это специальный вид свертки, кторый интегрирует все каналы в одно значение, оставляя размер матрицы неизменным. Здесь он используется в качестве обработки входа, чтобы можно было совместить разное число каналов на входе и выходе residual-блока.
Авторы в своей сети используют так называемые fully-convolutional сети, т.е. размер матрицы, с которой они работают остается постоянным. Используя трюк с 1x1-conv и residual connection, они добиваются большой глубины, не теряя возможности варьировать обработку по ширине. Тут важно отметить, что они строят сеть так, чтобы нигде не делают изменения ширины матрицы, именно это позвояет им работать с матрицами переменной ширины.
еще стоит отметить, что в текущем варианте этот курс фактически представляет из себя MOOC, т.е. личное присутствие на семинарах поможет, но не является критически необходимым для прохождения курса
И если вы мне подскажете интересные работы по указанным вами темам, я буду вам благодарен, я отслеживаю выходящие работы в нашей области, но тем не менее мог упустить что-то важное.