Анализируем требования рынка для data scientist

[Plesser]

Прикольно получилось!

[cointegrated]

Чтобы приводить слова к базовой форме, можно заюзать pymorphy2

Вместо отсеивания стоп-слов можно просто отранжировать слова и фразы по tf-idf, считая "документом" пачку вакансий по одному и тому же запросу. Тогда мусор типа "будет плюсом" уйдёт в низ рейтинга.

Идея на будущее: оценить, какие навыки ценятся выше всего (коррелируют с высокой зарплатой).

[alexmikh]

Спасибо, это учту при следующем анализе.

[frostoffmax]

Можно прикрутить для синонимов и понимания отношения слов word2vec, также там можно будет посмотреть на опечатки.

[alexmikh]

Я рассматривал word2vec. Стыдно признаться, ну для мне было сложновато и я отложил его на будущее:)

[frostoffmax]

Есть такой неплохой туториал по Word2vec, можно поиграться, надеюсь поможет
nbviewer.jupyter.org/github/Yorko/mlcourse_open/blob/master/jupyter_notebooks/tutorials/word2vec_demonzheg.ipynb

[evvlasov]

90% рекрутёров ничего не понимает в области, в которой они ищут специалистов, поэтому очень полезно знать, какие ключевые слова они используют в поиске. Можно втыкать в резюме такие ключи по сеошному принципу — видел книжку по машинному обучению, стоял рядом с биг дата, имеется ручной python.
;)