Анализ вакансий и зарплат в Data Science

[PosyaginK]

Спасибо за статью! На мой взгляд - очень подробно и наглядно все разобрано. Если будете еще писать подобные статьи - хотелось бы посмотреть на разницу в требованиях к джуну, мидлу и сеньору. То есть, основываясь на статистике, расписать - кто на рынке считается джуном, кто мидлом, а кто сеньор.

[egorborisov]

Спасибо, была такая мысль но данных маловато, плюс очень часто в одном сообщений ищут несколько грейдов, при этом список требований один.

[Imbecile]

Вообще забавно. Data scientists разбирают данные регулярками, а не какими-то нейронками. Вот уж сапожники без сапог. ;)

[YuryBolkonsky]

1) Нейронки используются, когда анализ будет происходить регулярно, а не под конкретную задачу
2) Нет смысла стрелять из пушки по воробьям. Часто для анализа достаточно регулярок.

[Imbecile]

1. Так вакансии же продолжат публиковать. Такой анализ можно было бы делать раз в пол года, например.

2. С одной стороны да, инструмент должен соответствовать задаче. Но есть же ещё и спортивный интерес, особенно когда это некоммерческая инициатива. Я, например, как программист, люблю в своих пет-проектах изобретать велосипеды, вместо готовых решений. Особенно это касается автоматизации дома.

P.S. В любом случае, смайлик в конце сообщения должен был подсказать, что это скорее дружеская подколка, нежели прямая претензия.

[egorborisov]

Мы воспользовались нейронками в своей голове, написали регулярки и спарсили данные)

[urvanov]

Не факт, что в голове те же нейронки. Полная картина работы мозга, вроде, пока ещё не ясна.

[DrLich]

Не те же. Но нейронки, факт.

[darkAlert]

Нейронки это в основном DL/CV, а здесь аналитика

[ThreadDead]

Статья интересная, но делать такие строгие выводы на анализе только одного источника наверное не стоит. Возможно это просто рост популярности чата ODS среди рекрутеров.

[egorborisov]

Спасибо, согласен источник только один и данные могут быть смещенными, добавлю ремарку об этом в текст.

Но есть несколько соображений в пользу именно такой трактовки:
1) Чат ODS уже очень популярен и возможно хорошо отражает общие тенденции на рынке.
2) Если говорить о резком росте в 2021 году, то такого не было за всю историю.
3) Большая часть вакансий из чата jobs, где размещаться hr-ам запрещено.

[Alizeni]

За статью спасибо! Ещё хотелось бы посмотреть на графики по резюме: количество, уровень запрашиваемой зарплаты,... И вообще предложение поспевает за спросом?

[egorborisov]

Спасибо, резюме в чате размещают мало и почти всегда без деталей по зп, так что в таком-же ключе не получится аналитику сделать.

[rshcherbakov]

@egorborisov, у меня несколько замечаний к статье:

1. Анализ всего текста без исключения «стоп слов».. Выводы получились правдоподобные, но тем не менее. Наличие слов «на», «около» в чарте shap’a на достаточно высоких позициях как бы настораживает.

2. К регулярным у меня лично вопросов нет, но лемматизация токенов была бы уместнее.

3. Так же порадовала «Москва», но она имеет право на место в списке важных признаков в отличии от предлогов, к примеру.

4. Наверное не следовало рассматривать дата инженеров здесь, поскольку их реально на рынке надо гораздо больше, но ODS это хороший ресурс больше про анализ данных, поэтому логично, что сюда чаще приходят за аналитиками и тру DS’ами, нежели за инженерами

В целом выводы достаточно правдоподобны,

Спасибо Вам за статью

[egorborisov]

Спасибо, для классификации вакансий достаточно самой простой модели, а разговорные частицы, предлоги и наречия хорошо отделяют комментарии от вакансий. По дата инженерам согласен - соотношение между специальностями может выглядеть искаженным, добавил пометку об этом в текст.

[rsklyarov]

Спасибо за статью