Он будет отличаться работой над ошибками, несколькими новыми темами, более детальным обзором современного состояния и, конечно, выступлений гостевых лекторов.
Крайне желателен, к сожалению или к счастью. Одним из заданий будет реализовать свою собственную нейтронную сеть и ее натренировать, то есть вычислить градиенты, написать код тренировки итд. Без матана и линейной алгебры будет тяжело.
Исторически сложилось, что весь современный deep learning на питоне, сейчас уже некуда деваться, все фреймворки написаны для него. Почему так сложилось — вопрос сложный, многогранный и без одного ответа. Думаю, потому что сошлись звезды популярности и в научной (у которой до этого был R и Matlab), и в инженерной среде (у которых Java, Ruby и что там еще). Вот Питон оказался таким разумным пересечением.
Мне он нравится, на самом деле. За скорость итерации.
Спасибо за рассказ! А сохранились какие-то логи улучшения метрики по мере добавления методов? Особенно интересно сколько получилось на каждом виде стекинга выжать
Я бы тоже рад упомянть курсы на русском, я написал эти только потому что я про них знаю, что они хорошие.
Нужны:
— Линейная алгебра
— Начальная теория вероятности и статистика
— Матан, в том числе функции многих переменных
Посоветуйте хорошие русскоязычные курсы, я добавлю в пост.
Мне казалось, это как раз современный формат обучения, буквы уже никто не читает!
Если серьезно, то если кто-то осилит на основе этого собрать методичку текстом — было бы просто замечательно. Я не осилю :(
Отличная работа!
Вопрос по объяснениям, я не очень понял вот этот пассаж:
В нашем случае генератор мапит входное изображение не на один скаляр, как обычно, а на 512 выходных картинок (уменьшенного размера), по которым уже делается вывод «real or fake». Это можно интерпретировать как взвешенное голосование по 512 патчам входного изображения.
Генератор же выдает не скаляр, а картинку? И как это — выдавать 512 выходных картинок? Или это дискриминатор имеется вввиду? Почему он тогда картинку выдает? Поясните плз?
sim0nsays
Так эта, есть же recurrence через ct все равно?
Как полностью распараллелить?
gsoul
Я так понимаю, что все остальное считают в параллель, а c_t последовательно, но это не сильно тормозит весь процесс
sim0nsays
Хм, то есть сначала backward pass по ct последовательно, а потом параллельно все остальные для каждого шага?
gsoual
Со скрина ниже формулы 3, 4, 5 можно считать параллельно, 6 и 7 - нельзя.
asobolev
совсем параллельно нельзя, вся рекуррентность тогда уйдёт. Но можно попробовать другие архитектуры, вроде Attention is all you need именно такая
Но общая программа и темы те же.
Мне он нравится, на самом деле. За скорость итерации.
Нужны:
— Линейная алгебра
— Начальная теория вероятности и статистика
— Матан, в том числе функции многих переменных
Посоветуйте хорошие русскоязычные курсы, я добавлю в пост.
Если серьезно, то если кто-то осилит на основе этого собрать методичку текстом — было бы просто замечательно. Я не осилю :(
Вопрос по объяснениям, я не очень понял вот этот пассаж:
Генератор же выдает не скаляр, а картинку? И как это — выдавать 512 выходных картинок? Или это дискриминатор имеется вввиду? Почему он тогда картинку выдает? Поясните плз?
sim0nsays
Так эта, есть же recurrence через ct все равно?
Как полностью распараллелить?
gsoul
Я так понимаю, что все остальное считают в параллель, а c_t последовательно, но это не сильно тормозит весь процесс
sim0nsays
Хм, то есть сначала backward pass по ct последовательно, а потом параллельно все остальные для каждого шага?
gsoual
Со скрина ниже формулы 3, 4, 5 можно считать параллельно, 6 и 7 - нельзя.
asobolev
совсем параллельно нельзя, вся рекуррентность тогда уйдёт. Но можно попробовать другие архитектуры, вроде Attention is all you need именно такая