Комментарии 22
Я, как математик, получивший фундаментальное образование прикладного математика, скажу вам - главное в нынешнем data science это софт скилл и только.
Всё равно все эти умные слова ( два десятка их вы выучите на любом курсе по подготовке индусов) никто из заказчиков не понимает и у всех у них оседает только одно ключевое слово "предсказать" и хоть нынешние DS, в большинстве случаев, проигрывают другим предсказателям по точности, но выигрывают за счет заумности (этот самый софт и есть ). ))
Не согласимся с вами в полной мере. Безусловно, общение - важная часть работы не только для DS, но и для любого специалиста в IT. Но только общаться - недостаточно, важно решать задачу.
Для хорошего DS важно не вслепую тыкаться и постоянно перебирать всевозможные параметры и алгоритмы почти рандомно, а собирать решение, опираясь на теоретические знания и предыдущий опыт разработки (те самые хард скиллс).
Самое ценное на мой взгляд замечание это, что нужно глубоко знать область в которой нужно проводить анализ, плюс специфику конкретного производства, а это вообще что-то из области фантастики найти такого человека)! Проще будет научить директора программировать чем незнающего бизнес анализировать и на основание таких анализов давать советы директору (при условии что директор профпригоден)!
Можно подробнее, а какие именно сложные математические навыки требуются в DS, если, конечно, в статье не имеется ввиду research позиции? У меня уже сложилось такое ощущение, что эта фраза является клише и большинство авторов сами не понимают, что за этим стоит.
Нужны и очень всерьез.
Например нужно знать, что центральная предельная теорема доказана только для независимых случайных величин - а другой предсказательной силы нет у теорвера. Или, что линейная алгебра широко применяется только в евклидовом пространстве ( а это не знают даже великие DS) и в других для его использования нужно применять нетривиальное воображение, а вот пространство балансов предприятий (ну казалось бы вектора и есть вектора ) таковым не является и применение там линала чревато.
Вот тут разбираются подробно ошибки https://habr.com/ru/post/592389/ некоторые и все они требуют нормального математического образования для применения ))
Определенно, research позиции подразумевают более серьезное знание математики, но даже практическое применение уже существующих методов требует понимания внутренних процессов. Например, на этапах EDA, предобработки данных и feature extraction требуются статистические знания. Может быть, это не до конца вписывается в понятие "сложные математические навыки", но определенная доля знаний в плоскости математики нужна и здесь :)
Нужно знать фреймворки, которые приняты в команде. Если вы до этого делали fit на керасе, а потом внезапно пришли в команду, которая работает на pytorch, уйдет много времени на обучение работе с новыми инструментами
Не уйдёт.
Бесплатные курсы это какие например? На Степике от МФТИ видел, может еще что порекомендуете?
Хотели бы скорее написать об этом отдельную статью, в которой собрать всё, что изучали сами, но сходу можем назвать следующее:
1) хороший курс по основам машинного обучения от ВШЭ: https://openedu.ru/course/hse/INTRML/;
2) лекции ШАД, по ссылке, например, по глубокому обучению, но на самом деле их лекций гораздо больше в open source: https://academy.yandex.ru/journal/kurs-lektsiy-shad-po-glubinnomu-obucheniyu;
3) курс от ods.ai по основам ml: https://mlcourse.ai/book/index.html, также у ребят скоро начинается mlops курс, тоже можем посоветовать записаться: https://ods.ai/tracks/ml-in-production-spring-23
Очень много ресурсов по этой теме сейчас и, к тому же, достаточно хороших.
Да, много надо. Но все это «надо» приобретается в том числе, во время работы. Автор статьи смог расписать все подробно только потому, что, видимо, долго в этой сфере. Думаю, в начале пути он и половины бы сюда не вписал. Работать, работать и еще раз работать.
Согласны, такие навыки приобретаются в процессе работы. Эту статью писали, чтобы показать юным датасаентистам с курсов, с какими ужасами им придется столкнуться, снять с них розовые очки и донести, что обещанные горы в алмазах придут далеко не сразу, и для этого надо будет очень много учиться, работать и развиваться.
Так если ты после курсов никому не нужен, так как недостаточно знаний и опыта - то как тогда войти в профессиональный мир DS?
Набираться знаний и опыта, конечно! Подсматривать best practices на докладах от умных дяденек и тетенек из DS, читать книги по области, применять все полученные знания в своих pet-проектах, искать образовательные ресурсы, в которых рассказывают о навыках, требующихся на должность junior DS. Главное здесь — составить roadmap и двигаться по нему, непрерывно проходя собеседования, чтобы найти свои слабые места и подтянуть знания в этих областях. А там глядишь рано или поздно и заветный оффер придет, а на новом месте работы можно будет поискать ментора.
А родмап по изучению минимально необходимого уровня математики не подскажите? Особенно сложно понять с чего начать если школьный курс забыт а в вузе вообще не было математики.
Хотим написать отдельную статью про это! Увидели несколько запросов, кажется, актуальная тема. А пока мы пишем, можем посоветовать почитать книгу Владимира Савельева «Статистика и котики»: забавная, легкая в чтении, дает базу статистических знаний и имеет много рисунков котов. В общем, все как мы любим :)
спасибо
Что можете посоветовать из курсов для людей с математическим образованием? А то как-то странно, когда формулу Байеса позиционируют как что-то удивительное.
Кажется, что большая часть математических курсов все же рассчитана на более начинающих, чем на продвинутый уровень. Тут скорее профильная литература требуется. Посоветовать ее можно только зная, что уже было пройдено и какие есть слепые зоны. Математическое образование все же вещь довольно обширная: не до конца понятно, где начинается и где заканчивается. Подумаем еще над вашим вопросом, спасибо! Очень хочется собрать статью с курсами, литературой, видео по математике, анализу данных, MLOps и прочему необходимому с разделением на уровни имеющихся знаний.
Почему Data Science не для вас?