Курс о Deep Learning на пальцах

[@zamenator]

Спасибо. отличные лекции и стримы, теперь все в одном месте!

[@polsok]

А можно лекции выпустить как записи в текстовом варианте. А то видеоуроки не очень располагают к изучению.

[@sim0nsays]

Мне казалось, это как раз современный формат обучения, буквы уже никто не читает!
Если серьезно, то если кто-то осилит на основе этого собрать методичку текстом — было бы просто замечательно. Я не осилю :(

[@AlexMal]

Видео формат удобен для введения в материал. Чтобы на примерах и ассоциациях разобраться с определениями, а вот уже глубины — для меня, более удобно в текстовом формате, потому что удобно когда весь текст перед глазами и можно прыгать от одного места к другому, делать сопоставления и анализ.
А так, огромное спасибо за материал, давно в планах углубиться в эту тему, однозначно в закладки!
Посмотрим, может придет время, когда у меня дойдут руки и голова, для оформления подобных тем в текстовом формате?!..

[@asakasinsky]

Мне казалось, это как раз современный формат обучения, буквы уже никто не читает!

По видео нельзя сделать CTRL+F :-)

Спасибо за проделанную работу!

[@sim0nsays]

Кстати, есть герои, которые просматривают видео и делают тайм-коды (спасибо им!) — так что до определенной степени можно будет.

[@devsolution]

Хорошая подача, спасибо автору)) На русском языке подобное тяжело найти

[@loysob]

Самый лучший курс!

[@Andronas]

Про питон бы так не сказал, но вот математическую подготовку проходить на англоязычных!!! курсах это борщ. Сразу отсечет больше половины желающих изучить тему.

[@kraamis]

К тому же на русском есть хорошие курсы. Тот же степик — 2 курса от института биоинформатики. Достаточно, чтобы понимать код и уметь писать простые программы.

[@Valerij56]

К тому же на русском есть хорошие курсы.

Это хорошо. А ссылки можно?

[@kraamis]

Базовый курс. Самые основы — stepik.org/course/67

Уже конкретная работа и применение — stepik.org/course/512

В принципе под мои задачи этого хватает почти полностью.

[@Valerij56]

Спасибо!

[@Andronas]

Хм вообще я имел ввиду курсы по математической подготовке. На степике кстати они тоже есть.

[@Valerij56]

Тогда та же просьба — ссылки, пожалуйста.

[@sim0nsays]

Я бы тоже рад упомянть курсы на русском, я написал эти только потому что я про них знаю, что они хорошие.
Нужны:
— Линейная алгебра
— Начальная теория вероятности и статистика
— Матан, в том числе функции многих переменных

Посоветуйте хорошие русскоязычные курсы, я добавлю в пост.

[@yorko]

Вот рекомендации по Python и математике для прохождения открытого курса по машинному обучению (копипаста из нашей группы):

Пока курс не начался, можно повторить математику и Python. Зачем дата саентисту нужна математика – неплохо поясняет Andrej Karpathy. А Python – уже стандарт в области машинного обучения.

Математика

1. Если быстро, то можно пройтись по конспектам из специализации Яндекса и МФТИ на Coursera https://yadi.sk/d/yEXkABC_353Zmh (делимся с разрешения).
2. Если основательно подходить к вопросу, хватит вообще одной ссылки на MIT Open Courseware https://ocw.mit.edu/courses/mathematics/. На русском классный источник – Wiki-страница курсов ФКН ВШЭ http://wiki.cs.hse.ru/. Но я бы взял программу МФТИ 2 курса и прошелся по основным задачникам, там минимум теории и много практики.
3. И конечно, ничто не заменит хороших книг (тут можно и программу ШАДа упомянуть):
   – Математический анализ – Кудрявцев
   – Линейная алгебра – Кострикин
   – Оптимизация – Boyd (англ.)
   
   • Теория вероятностей и матстатистика – Кибзун

Python

1. Быстрый вариант – браузерные тьюториалы а-ля CodeAcademy, Datacamp и Dataquest, тут же могу указать свой репозиторий https://github.com/Yorko/python_intro.
2. Основательней – например, мэйловский курс на Coursera https://habrahabr.ru/company/mailru/blog/336880/ или MIT-шный https://www.edx.org/course/introduction-computer-science-mitx-6-00-1x-11
3. Продвинутый уровень – курс питерского Computer Science Center https://compscicenter.ru/courses/python/2015-autumn/

[@Dark_Daiver]

– Оптимизация – Boyd (англ.)

Convex optimizations, или что-то другое? В первом случае Nocedal «Numerical optimizations» будет лучше (имхо), т.к. покрывает несколько больше тем, и чуть ближе к практике.

[@iamtodor]

yorko а чего khanacademy не был упомянут? Там, как мне показалось, достаточное количество разноплановой математики.

[@yorko]

Вот теперь упомянут. Тобой :)

[@kraamis]

Надо будет глянуть. Я курс по нейросетям на Степике прослушал, но там очень кратко изложено, и больше упирают на математику процесса, нежели на практику.

[@nikolay_karelin]

Насчет текстовой версии: YouTube делает автоматом субтитры, я слышал, что народ их довольно быстро расшифровывает и приводит в человеческий вид.

[@dim2r]

привет от АФТИ 91-97

[@dim2r]

С непривычки трудно разобраться со структурами данных.

Раньше думал, что объект класса NeuralNet на шаге forward должен получать один обучающий пример и по нему дальше делать шаг градиентного спуска.

В отладчике смотрю — на шаге forward сеть получает на вход сразу пачку (batch). Непонятно, — как пачке делается дифференцирование и обратный проход?

#кусок из MNIST https://goo.gl/XTMVDF
class NeuralNet(nn.Module):
    def __init__(self, input_size, hidden_size, num_classes):
        super(NeuralNet, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size) 
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_size, num_classes)  
    
    def forward(self, x):
        out = self.fc1(x)     #<<< len(x)=100  len(x[0])=728  <<<<<<<<!!!
        out = self.relu(out)
        out = self.fc2(out)
        return out

[@Tyiler]

точно так же — по одному.
ошибка считается для каждого, потом вектор ошибок идет обратно.
вес каждого меняется на среднее dL/dW от всех.

[@dim2r]

За курс большое спасибо!!!
Есть вопрос по приведенной статье Карпатина.
Что-то как-то ловко он дифференцирует.


если разберусь, выложу перевод на русском

[@Dark_Daiver]

А f разве зависит от theta? (Не читал статью, просто посмотрел на картинку, там только p параметризирована theta)

[@dim2r]

да, похоже на правду.

[@dim2r]

Кому интересно — смотрите перевод упомянутой в курсе статьи Карпати по обучению с подкреплением.

Пока осторожно публикую предпросмотр по ссылке.
https://yadi.sk/d/6bV50MRmRypduQ

Если будут вопросы или уточнения, пишите на [e-mail] или ответом на этот комент.