Комментарии 24
Касаемо понимания backprop-a — согласен с Карпатым. Другое дело, может ли преподаватель объяснить его так, чтобы студенты действительно поняли. В стенфордском курсе Machine Learning на Курсере доказательства в видеоуроках нет, но оно есть в приложении. Тоже не очень понятно. Лучшее, что я видел — вот эта MIT'овская лекция на Ютубе: www.youtube.com/watch?v=q0pm3BrIUFo. У меня именно после нее все встало на свои места. Хотелось бы пожелать отечественным волонтерам брать пример с MIT.
Я сам начинал с Ына — все классно, понятно, после этого и загорелся машинным обучением.
Но только надо понимать, какова цель — просто получить представление, что такое ML, «демистифицировать» его для себя или что-то большее. Если цель — разобраться в теории ML, уметь читать передовые статьи, то курс Эндрю уже не подойдет, и без математики не обойтись. Впрочем, и востребованных практических навыков его курс уже почти не дает.
Кроме того, сдается мне, что отсутствие математики в курсе Ына сильно преувеличено. Математика там есть, просто он говорит, что если вы не поняли, как именно выведена там или иная формула или посчитана производная, то не стоит чувствовать себя недочеловеком (но эти фразы рассчитаны на индусов, это не значит, что вы не должны разобраться, как они выведены).
Так что мой совет будущим студентам этого курса — пока он не начался, сходите на Курсеру и запишитесь на бесплатный стэнфордский Machine Learning от Andrew Ng (если, конечно, вы сможете с его акцентом примириться). Может быть, это поможет вам и здесь не отвалиться после третьей недели :)
Вот тут не согласен, если подходите по математике и Python, то курс можно пройти и без другого предварительного ML-курса. У нас опять рассказываются базовые вещи, что такое кросс-валидация, как оценивать модели, как работают базовые алгоритмы. А народ отвалится, когда впервые надо будет подумать :) ну и.отлично, у нас нет задачи, чтоб любой «клиент» был доволен. И мы не создаем ложного впечатления, что машинное обучение — это легко.
Но что действительно стоит отметить — это то, что темп курса очень высокий, и для неспешнего погружения больше подходит специализация. Точнее, можно не гоняться за рейтингом и всеми активностями, но практика показывает, что многие все равно втягиваются. Хотя по отправленным решениям я вижу, что около пары сотен человек проходят курс в своем темпе.
Вы написали, что " запуск курса 5 февраля, в таком виде последний". Вы будете актуализировать курс или он станет платным, или что?
Заранее спасибо.
Добрый день!
Ближайшие планы – выход демо-версии курса на английском. Демо – это только статьи, домашки и соревнования, без прочих активностей и без лампового чатика. Надо просто посмотреть, каков на это дело будет спрос.
А для курса на русском нужны новые энтузиасты. На рельсы MOOC-ов курс плохо ложится, а в текущем виде на него уходит слишком много времени, и ресурсов не хватает.
Полная аналогия со школой "Прикладные задачи анализа данных" Александра Дьяконова. Несколько итераций, энтузиазм заканчивается, в жизни появляются новые челленджи.
Я пролистал слайды. У меня есть замечания общего характера:
— отсутсвует имя автора слайдов
— отсутсвует способ обратной связи
— отсутсвует библиография
Таким отношением к материалам вы позорите имя МФТИ, так как этому кажется учат всех культурных людей.
Далее по слайдам есть небольшие ошибки, но всё же ошибки:
1.1, 1.2 — ноуты про Python не содержат никаких ссылок. Лучше сослать на книгу Гвиноо Ван Россума, она хороша и отлично написана.
1.3, стр.6 — определение выпуклой функции некорректное. «функция выпуклая если её область определения является выпуклым множеством, и выполняется упомянутое неравенство».
Человек который мне скинул это (Наталья) считает, что я придираюсь. Но для меня это уже и так упрощенное определение, и покрывает только функции R->R. Надо быть точнее, и желательно давать ссылки на книжки. (авторитетные книжки это книжка С.Бойда и Б.Т.Поляка)
Все ваши ошибки из-за отсутсвия ссылок на первоисточники, если бы они были у вас не было бы такого кол-во неточностей!
«2.2 Matricy_i_osnovnye_matrichnye_operacii»
«Обращение возможно только в случае квадратных невырожденных матриц» — некорректно или по крайней мере не полно.
«Мы рассматриваем обращение только для случая квадратных матриц. В этом случае обращение возможно только в случае невырожденных матриц»
«My major complaint about lin.algebra classes-they concentrated on square matrices a lot, which mostly in engineering have no use» — S.Boyd
Понятие собственного вектора — в принципе нормально рассмотрено, и случай поворота в 2D правильный. Я буквально на днях задавался вопросом про собст. значения оператора который ортогональный (https://www.quora.com/What-are-orthogonal-matrix-eigenvalues)
3.2 про оптимизацию слайды
«Глобальный минимум так и остается не найденным. Решить эти проблемы позволяют методы случайного поиска»
— с такими словами происходит у людей потеря общей картины.
А общая картина что общая постановка оптимизационной задачи не может быть решена.
Я видел в лекциях Б.Поляка такой простой пример:
(X^N+Y^N — Z^N)^2=0
X,Y,Z — натуральные
n — натуральное число
Т.е. мы составили оптимизаци. задачу. Если бы мы её всегда могли бы решить «просто» — мы решили бы «просто» Великую Теорему Ферма
С. Бойд всегда начинает выступления с того, что в общем случае задача оптимизации не может быть решена. (e.g. — youtu.be/uF3htLwUHn0?t=725)
«Сингулярное разложение — определено однозначно для любой матрицы» — некорректно,
«Сингулярное разложение — определено однозначно для любой ненулевой матрицы» — корректно
В общем ошибки в каждом ноуте. Надо сидеть и исправлять. Обратитесь к докторам наук по соответсвующим наукам или разделам математики.
Для улучшения ноутов вам надо обратиться к соответсвующим проф. из университетов и заплатить им денег за консультацию.
В нашей (русской или советской) культуре не datascience, не ml не являются наукой, в нашей культуре такого рода области называют «методы».
Ваш гнев, возможно, и справедлив, но не по адресу. Конспекты, которые Вы так подробно проанализировали — это сопровождение специализации Яндекса и МФТИ «Машинное обучение и анализ данных», а мы сослались на них просто как на дополнительный источник для быстрого повторения математики.
Могу предположить, что люди не согласны с некоторыми вещами. Например, с демагогией про Бойда, оптимизацию и теорему Ферма. Может, нам выключить все GPU и забыть про нейронки, раз «задача оптимизации нерешаема»? И надо ли про все это знать человеку, который перешел по ссылке, что вспомнить, что такое градиент и как максимизировать правдоподобие?
А за неточности в материалах спасибо, но их, правда, лучше указать организаторам специализации, контакты их легко найти.
Запись на новую сессию открытого курса OpenDataScience по машинному обучению (1 октября — ~ 25 декабря, 2018 г.)
Вот ссылка на опросник https://bit.ly/2IheNBl (заполняйте на английском), приглашения придут в сентябре.
Курс будет на английском, обсуждение – в слэке ODS в канале #eng_mlcourse_open, объявления – в группе ВК https://vk.com/mlcourse (на русском). При этом, конечно, можно самим обсуждать курс и на русском – в канале #mlcourse_open.
Формат курса прояснится только в сентябре. Если что-то поменяется, то только в лучшую сторону :)
Для тех, кто только зашел, скажу, что курс не совсем для новичков, как минимум, нужно уметь немного программировать на Python и знать математику на уровне 2 курса технического ВУЗа. Машинное обучение можно и не знать – будет с нуля. Но стоит быть готовым к высокому темпу курса.
Материалы открытого курса OpenDataScience и Mail.Ru Group по машинному обучению и новый запуск