Comments 129
Интересно. Но что по другим языкам? Там такие же тенденции? А то получается, что только один Python так себя ведет, а у остальных - шоколад и смузи на пляже.
Плюсую
А что не так с запятой в csv? Нормально же всё работает
Я накосячил с сепоратором и кодировкой))
Непонятно. Не важно какой у тебя сепаратор, главное чтобы ты при записи и чтении один юзал
С использованием предназначенных для этого библиотек - разумеется. Но CSV производит впечатление простого формата, который можно легко писать вручную, и лезть за библиотекой для записи часто лень, хочется обойтись обычным форматированием строк. И всё будет работать хорошо… пока записываемые поля не содержат сепаратор (например, в описании позиции, если его сохранять). А вот когда вспоминаешь про экранирование - понимаешь, что по честному с библиотекой всё-таки проще.
Простота - это ловушка. Дата и время тоже выглядят просто. И e-mail. Да что там, вот например есть DOI-адреса, присваиваемые статьям. Можно подумать, что они всегда выглядят примерно так (https://doi.org/10.48550/arXiv.1706.03762), но на самом деле частенько встретится DOI с символами ; ( ) / .
По-честному хороший программист (и инженер) должен держать в голове edge cases и чётко представлять ограничения самописных велосипедов :)
текстовые поля в CSV надо в кавычках вводить, тогда содержимое не перепутается с сепараторами.
В CSV запятая разделитель, а точка разделитель разрядов, в "русском CSV" точка с запятой разделитель, а запятая разделитель разрядов. При смешивании(или данных или понятий CSV, русский CSV) ничего хорошего не происходит...
ну если полфайла написать в xml, а вторую половину в json тоже ничего хорошег оне будет. Вопрос получается не к csv и запятой, а к тому что забыли зафиксировать формат?
Это чисто локальная проблема изза регионального стандарта - все что ты можешь пару раз воткнувшись начать везде принудительно указывать сепаратор, а то он где-то жестко дефолтная запятая, а где-то может сам взять из системной русской локали точку с запятой как дефолнтую. От чужих данных это естественно не защищает...
в данном случае [скорее всего] да, но, как выше упоминал @Tanriol, проблема несколько шире. при казалось бы внешней простоте идеи "давайте разделять поля запятой, да и всё" там полно подводых камней. например попытка ускорить постгресовскую инструкцию `COPY FROM ... (FORMAT csv)` с помощью SIMD началась 9 месяцев назад, включила в себя усилия более десятка человек, привела к неоднозначным результатам при тестировании производительности, переживает на данный момент 17 итерацию патча и всё ещё (как я понял) далека от завершения.
https://www.postgresql.org/message-id/flat/CAOzEurSW8cNr6TPKsjrstnPfhf4QyQqB4tnPXGGe8N4e_v7Jig%40mail.gmail.com
Поэтому лучше сразу приучить себя использовать табуляцию. TSV спасает от 99% проблем с разделителями в текстовых данных
чисто для ликбеза: CSV переводится как comma separated values. Тобишь буквально значения через запятую.
Работает пока в поле описания HR не напишет список скиллов через запятую, потом у тебя колонки съезжают вправо на полкилометра
У меня не съезжают. Покажите код, как вы csv создаете?
Речь идёт о чтении, а не записи.
Специально сейчас создал файл:
Id, Name
1, ООО тстань
2, "ИП, Равда"Открыл его в libreoffice calc, ничего никуда не съехало.
У вас кавычки и всего 2 строки, хотя строки, скорее всего тут вообще не роляют.
Сгенерируйте датасет на 100 строк и 20 столбцов только чур, без кавычек, и с зоопарком запятых (например, с адресами)
Кавычки - это часть синтаксиса csv, они используются если значение содержит разделители. Вы бы ещё предложили в json без кавычек писать и удивлялись почему он не читается
Да, но нет.
Мне самому не раз приходилось разбирать csv с запятыми без кавычек.
Значит это был не csv, а собранный на коленке формат отдаленно похожий на него. Мне вот тоже попадался "json" в котором вместо true было написано True.
Да просто на любом этапе надо учитывать весь этот зоопарк:
зоопарк кодировок (ANSI / ASCII / Unicode / UTF / win1251 / win1250 / KOI-8 / OEM-866)
зоопарк стандартов написания чисел (12 345,67 / 12,345.67)
зоопарк разделителей ( , ; . \ | / tab space 4_spaces )
зоопарк кавычек, апострофов, символов дюйма (" ' " « » „ “ )
зоопарк скобок ()[]{}<>
зоопарк расширений ( .txt / .csv / комбо_расширений_в_имени_файла.csv.txt, потому что в windows отключён показ расширений, и пользователь видит только файл.csv вместо файл.csv.txt / папка_в_имени_которой.csv
зоопарк регистрозависимости ( case-sensitive / case-insensitive )
при этом в каждом ЯП свой набор всего этого, а люди могут ошибиться на любом этапе, особенно при переключении между ЯП или разными стандартами.
Осталось добавить `OOO Чень "умные" технологии`
Понял, всех больше волнует сепоратор для CSV, а не тема статьи)))
Пища для размышлений: сложно серьезно относиться к самому материалу, когда у его автора проблемы с грамотностью и компетентностью. Уверенные операторы ЭВМ, которые на формат грешат, а не на ошибку самого оператора, тоже воспринимаются негативно.
сложно серьезно относиться к самому материалу, когда у его автора проблемы с грамотностью и компетентностью.
Совершенно верно! Но у статьи, тем не менее, под сотню плюсов. :-(
(И объяснил бы ещё кто-нибудь автору, что слово "сепаратор" пишется через два "а". А то ему, поди, даже и невдомёк, что слова "спарсил" и "сепаратор" однокоренные.
Но это обычные грабли, на которые наступают примерно все и, нередко, многократно. А слишком очевидная для упоминания вслух причина в том, что назначенный символ сепаратора может присутствовать (и зачастую присутствует) в изначальных данных как часть самих данных. Не то, чтобы с этим нельзя было справиться, но когда обсуждается проблема, с которой сталкивались примерно все, неудивительно, что обсуждение получает широкий отклик и вовлечение.
В Python-вакансиях растёт упоминание MS Excel.
а это ни разу не шум. Многие доморощенные отделы аналитики как-то так и выглядят. На собеседовании тебя будут спрашивать про опыта с пандой, csv, ченить про сам язык спросят, а на деле выдадут машину без админских прав на винде, чтобы ты сидел генерировал дашборды для экселя БЕЗ ПИТОНА, потому что местные безопасники не разрешают. В итоге простенькие задачи, решаемые одним запросов в БД и однострочником в питоне превращаются в недели поедания кактуса через задний проход. И чем больше имя кампании близится на слух к "Рога и копыта", тем более вероятным становится подобный сценарий - некоторый корпоративный змеюшник с офисной же драмой, тоннами email и общением с не самыми светлыми заказчиками как внутренними, так и внешними, для которых исполняются подрядные работы.
Вот моя «равномерная» выборка:
не очень понятно что за числа в выборке. Если вакансия была не закрыта за месяц она попадёт в новый месяц или это произвольный срез активных вакансий на некотору. текущую дату?
Полностью поддерживаю вас, это срез. Но тут я поясню, что обычно на hh вакансия падает в архив спустя месяц после публикации автоматом
Ну, условно публикации случались 29 числа, а вы с парсером полезли 30 того же месяца и потом следующего взяли чуть пораньше числа 28. Вака пережила архивацию и попала в оба дайджеста.
Аналогичная история с виртуальными вакухами - их открыли, пару дней спустя закрыли, а вы их и не видели вовсе.
Срез конечно тоже неплохо, но стоило уточнить методологию сбора данных для понимания насколько цифры могут отличаться от реальности.
Может, дело в другом совсем? Встроенный Python появился в Excel два года назад. Соответственно, постепенно начинают требоваться люди которые умеют применять Python в Excel.
А вот тут я не знаю. Это опыт знакомых вайтишников, которые подались после курсов в эти поля. Не могу сказать с какой средней версией экселей они там работают и какой средний процент легаси на VB был переписан на питон, учитывая что многие подобные кампании уже лет 10-15 существуют, а то и раньше.
А однострочники на SQL в экселе можно писать с версии 2010.
Итого, получается золотое комбо: эксель, питон и SQL в едином интерфейсе.
не совсем в ыксель. а в облачном, который недоступен в РФ
Полный оффтоп: автор, у вас в подписи в профиле что лишнее, буква или запятая?
Паршу, чищу, обучаю
Если сделать аналитику текста вакансий, то обнаружите более интересные закономерности). Попробуйте в этом разрезе распарсить базу по параметрам работодателя и самого описания. Это вам подгон для продолжения статьи.))
62% вакансий без вилки - это базовый фильтр на неуверенность. Никто не хочет светить бюджеты, чтобы текущие мидлы в штате не пошли просить прибавку
А сейчас можно как-то парсить или узнать какая зп на hh.ru является рыночной для опреденных профессий?
Рынок Python в России - это не рынок профессии. Это рынок ярлыков, и HR-ярлык на твоей вакансии влияет на твою зарплату сильнее, чем твой реальный стек.
Оператор перфорационной машины / программист-кодировщик / программист на [ЯП-X, например - ]python - всё это временные профессии.
А по-сути навыки, которые на недолгое время стали профессией из-за несовершенства технических средств.
То есть ни (условно) в 2010 ни в 2026 году не нужен человек, который умеет только лишь писать код на python, а нужен челвоек, который решает проблему реального мира при помощи разработки программного продукта (где программировать на языке-X - полезный, но далеко не самый сложный навык).
спасибо за интересную статью и оригинальную подачу. я так сильно уже устал читать нейрослоп местный, вы не представляете, ваша статья как глоток свежего воздуха.
Спасибо за комментарий, приятно) стараюсь
Но ведь видно, что текст иишный. Вы, конечно, его отредактировали и работу сделали (надеюсь), сами, но текст-то написан чатом гпт. Без претензий, просто видно.
Даже не знаю, что и ответить...
Сложные речевые обороты по всему тексту и банальные ошибки, где недоглядели. ИИ никогда не делает грамматических ошибок, пока не попросишь. Обычный хороший человеческий текст, просто сухих выжимок много, отсюда и кажется
ИИ никогда не делает грамматических ошибок
смешно
ИИ никогда не делает грамматических ошибок
В русском -- делает, хоть и редко. Уверен, если поискать -- и в английском будут.
А вообще, дожили -- отсутствие грамматических (да и не только) ошибок в тексте считается использованием LLM. Обесцениваете знания тех, кто хорошо учил язык.
Делает-делает. Начал, например, ставить запятую между подлежащим и сказуемым. Точь-в-точь как каждый второй пользователь рунета.
У вас волчанка ии-фобия. Нормально все с текстом, и даже тире все короткие.
Вот эти рассуждения на тему меток ИИ-генерации текста уже начинают надоедать.
А на чем обучался ИИ? (а кто его сделал таким? кто?) Неужели ИИ обучался на реальных текстах реальных людей? Что первее - яйцо или курица?
Ставить длинные тире, придавать тексту структуру, резюмировать и ставить акценты - не преступление.
Ну эта история с длинными тире скорее для научных публикаций обычно, простой человек не будет каждый раз нажимать Ctrl + Alt + минус. Хотя бываю наверное и такие, кого приучили к этому в институте, или по роду деятельности
Ставлю длинное тире в аутлуке. В нём работает автозамена короткого тире на длинное.
Я не знаю почему, но мне прям это нужно. Там, где нет такой автозамены - мне некомфортно. А хот-кей я тоже не использую.
простой человек не будет каждый раз нажимать Ctrl + Alt + минус.
Не будет, потому что это ничего не дает.
Бывает кстати и ворд сам заменяет
Каждый раз нажимаю Cmd + Shift + минус (а ещё Cmd + Shift + плюс и Cmd + плюс). Что со мной не так?
простой человек не будет каждый раз нажимать
Всю жизнь использую alt+0151 на ПК. На мобильном в моей клавиатуре вызывается удержанием на коротком тире.
И использую даже в сугубо личной переписке, не говоря уже о публичных штуках вроже комментариев (за что мне в последние годы постоянно прилетает, мол, нейронка писала. Да, блин, нейронка — моя!).
Не перестаю удивляться хабру. Статистика по оценкам на 8:35 20.05.26
Не перестаю удивляться хабру.
За низкий технический уровень я с проголосовавшим не согласен, но это мое мнение, я вполне могу быть неправ. А вот что текст похож на сгенерированный? Тут вот ведь какая загогулина получается. Любой текст, даже совершенно шизофазичный, похож на любой другой текст. Любой человеческий похож на любой человеческий или сгенерированный. Любой сгенерированный похож на любой человеческий или сгенерированный. То есть, чисто формально, вообще любой по сути без исключения текст похож на сгенерированный. Значит, причина минуса указана верно - текст статьи, как и вообще примерно любой текст в мире, похож на сгенерированный. Заметьте, кто-то поставил минус не за то, что вы, вместо писать вручную, скопипастили ИИ-генерацию - нет. Никто вас в этом и не думал подозревать. Кто-то поставил вам минус за то, что ваш текст похож на сгенерированный. Как и почти любой другой текст в мире. Выглядит так.
В последнее время в интернете развилась патологическая мания везде видеть ИИ. С одной стороны, причины понятны, действительно сгенерированного мусора стало много, но с другой вполне нормальных авторов и тексты обвиняют совершенно безосновательно, просто потому что “везде же сейчас ИИ, так ведь?”
Я даже более того скажу. Пишущему вручную (для удовольствия, из принципа или по другим подобным убеждениям) автору такие беспочвенные по сути, а иногда еще и хамские по форме обвинения могут, наконец, изрядно надоесть, и он, автор, писать вручную перестанет. Что при этом выиграют ИИ-фобы мне непонятно, потому что опустевшую нишу ручного текста намного легче заполнить ИИ-генерацией, а вот наоборот - не знаю, но сильно сомневаюсь. Так-то я тоже не поддерживаю подмену ручного труда убедительно выглядящей, но все же бездумной генерацией, однако огульно обвинять всех и каждого я бы поостерегся - это первое. А второе, будем откровенны, некоторые вручную пишут так, что после них ИИ-генерация - прямо изысканное удовольствие для тонкого ценителя печатного слога. Ни на кого конкретно не намекаю, да и не нужно ни на кого конкретно намекать - примеры повсюду в асортименте.
Это уже не датасет - это археологический срез..
По факту это не роль, это «мы не знаем, как назвать, но нам нужен кто-то с Python».
..это не рынок профессии. Это рынок ярлыков...
Это не зарплата, это график биткоина.
...это не «hh виноват», это рынок не хочет торговаться...
Это не профессии - это попытка...
Почему-то, когда пользователи в комментариях активно расписывают аргументы, и комментарии получаются большими, то таких речевых оборотов там не бывает. Заставляет задуматься...
>Любой текст, даже совершенно шизофазичный, похож на любой другой текст
Кстати, занятно было бы, если аналитика вакансий могла бы находить тексты самых неадекв..., эхм небычных вакансий (банальности вроде печеньки в офисе+дружный молодой коллектив не в счёт) + как это коррелирует с зарплатной вилкой.
Top-N шедевров вполне бы могли стать отдельным лонгридом.
Учителя - это отдельный жанр на hh. Когда я увидел «80% ширина вилки», я сначала подумал, что это баг в коде. Перепроверил трижды. Нет, не баг. Это просто работодатели сферы образования настолько не знают, сколько готовы платить, что вилка получается шире, чем у кого либо.
А точно в вилке только полная занятость?
А то можно пару занятий в неделю проводить, а можно каждый день несколько групп на потоке, и было бы странно предлагать одинаковую зарплату с такой разной нагрузкой.
Вот это анализ! Спасибо и за результаты, и за живой стиль)
Аналитика конечно интересная, поразглядывал картинки. Спасибо за проделанную работу. Хотелось бы по другим языкам тоже, но с отключением АПИ видимо только если сделать бота с браузером.
Отдельно хочу отметить такой факт: сделка (покупка, устройство на работу, …) по своей сути напоминает квантовое измерение. Если сделка произошла - то цена (зарплата, … ) существует, а состояние существовавшее до измерения разрушается. Точно так-же как когда элементарная частица взаимодействует с детектором. Ну а если сделка не происходит - то цена (зарплата, …) не существует. А цифры в объявлениях это просто чьи-то ожидания. Но увы, данные о реальных зарплатах находятся совсем в других базах, и во первых нам недоступны, а во вторых там совсем нет метаданных по требованиям.
Рынок Python в России - это не рынок профессии. Это рынок ярлыков
Касается примерно всего, что комплекснее одной очень узкой роли. Под "менеджером продукта", например, могут подразумевать и IT-продактов (что само по себе спектр), и специалистов по товарной линейке бренда, и даже медицинские представители с ассортиментщиками маркетплейсов встречаются. Даже в рабочих специальностях подобная каша не исключена - просто недоисследована.
Спасибо за проведенную работу, лайк поставил, но самая первая таблица ужасно оформлена, я беглым взглядом подумал что там сортировка по дате а не по колву, подумал что айти умер. Можно было бы специально пометить рядом или в самой таблице месяцы провалом, жирным шрифтом и звездочкой к примеру.
Как дата-аналитик плюсанул. Особо отмечу у автора нестандартный набор графиков с верным уклоном в hbar и отрицательными значениями (но подписи надо резать по длине, не дожидаясь перитонитов и наложений, тут хорошо помогает tight_layout=1).
Однако очень заметная часть выводов сделана по крайне малых выборках - так нельзя, да и удивляться после этого ничему не стоит (но читается, конечно, интересно).
По поводу сабжа и стека/навыков: да, тенденции выхвачены верно - HH превратили Python в еще один малозначащий флажок в резюме (как раньше произошло с SQL, HTML, 1С и даже Excel). Ведь все соискатели уже прошли курсы, после которых 80% из них не понимают ООП, а 40% не используют списковые включения и генераторы. Что, тащемто, не так и фатально: ИИ-агенты кроят рынок и само будущее человеческого труда в РФ совершенно непроглядно. Ждем epic fail ИИ-кода и планетарных техногенных катастроф для корректировки курса.
Как обычно респект и уважуха автору. Спасибо за ваш редкий ЖИВОЙ стиль!
Про Excel в Python-вакансиях это прям боль и реальность одновременно, иногда кажется, что стек требований живёт своей жизнью
Почему? Я вот не питонист, но сейчас очень много работаю в Excel и мне несколько раз доводилось писать на питоне (с помощью Qwen) скрипты для экселя, которые очень помогли с автоматизацией рутины. Возможно, кто-то использует таблицы в качестве источника данных для обработки их программой, написанной на питоне. Почему бы этим двум навыкам не сочетаться?
"Python для автоматизации Bash-скриптов" - это сильно. Просто есть эмпирическое правило. Если bash-скрипт требует сложной логики и уже плохо читается, возможно, стоит его переписать на python, рефакторить потом проще будет.
Спасибо за статью! но тема с Сыктывкаром не раскрыта..
Это не зарплата, это график биткоина. У меня единственное объяснение - маленькая выборка (n=344 за всё время) + редкие, но очень дорогие вакансии типа «ищем сеньора в банк за 500К». Одна такая вакансия в месяце с n=10 - и медиана улетает в космос.
Но если усреднить шум - рост реальный. Дата-сайентисты - единственная «инженерная» роль, которая стабильно растёт в цене. Учителям и тестировщикам это тоже удалось, но из совсем другой стартовой точки.
Зарубежные компании с ERP, MDM и пр. сборищем большого количества данных ушли. Это все нужно перетаскивать в 1С и всякие полуживые opensource решения, у всякого ритейла, финтеха и остальных данных пруд пруди, а цена ошибки слишком высока.
про декабрь-январь все просто. в декабре поток кандидатов падает до минимума, никто не рыпается и ждет годовую-квартальную премию, поэтому найм просто понимает что бесполезно чота искать. это я вам как наниматель говорю.
и да, интересно почему в Путилково, в котором плюнь в окно в мкад попадешь, такой +к зп. совершеннейшая аномалия.
Рынок Python в России - это рынок Москвы по большей части.
Насколько знаю от людей, публикующих вакансии, там действует правило - всё, что подразумевает удалёнку(полную, без гибрида и и прочего мелкого шрифта), публикуется в Москве для повышения охватов, где бы компания не находилась. На то собственно она и дефолт сити
Вы можете проанализировать, сколько позиций реально закрывается, а какие вакансии являются перманентными?
Это не зарплата, это график биткоина. У меня единственное объяснение - маленькая выборка (n=344 за всё время) + редкие, но очень дорогие вакансии типа «ищем сеньора в банк за 500К». Одна такая вакансия в месяце с n=10 - и медиана улетает в космос.
Могли бы пояснить этот момент? Вроде ж медиана как раз для того и медиана, а не среднее, чтобы слабо реагировать на выбросы?
Да, но выборка на 64К+ в 344 довольна мала для целого направления в IT. Это примерно 38 вакансий (если просто тупо поделить на 9 месяцев) в месяца на всю страну. Так как здесь тем болеем не приводились данные к джунам, мидлам, сеньорам, по этому если в 1 месяц набирали чисто синьоров в ML, а в другой стажёров или джунов, то это количество можно считать маленьким для нормального построения медианы на общую более точную оценку. По этому как я и говорю в статье я не бросаюсь с громкими заявлениями о DS. Как то так))
Страшное
:-)
А где здесь дата инженеры?
Я из Краснодара, и да, у нас так с вакансиями и есть. Вилки ЗП и предложений в айти - просто обрыдаться. А реально хороших предложений - обрыдаться ещё сильнее!
А что про город Пермь?
Специально для вас сделал по Перми по ссылке, правда не уверен в корректности медиан, из-за слабенькой выборки особенно на конкретные месяца, но всё равно, держите)
Респект за статью, интересно почитать было
Рынок Python в России - это не рынок профессии. Это рынок ярлыков
В настоящее время базовое знание Python в околотехнической среде это как "должен уметь читать и писать". В скором времени этот навык серьезно подвинет llm.. если не уже.
Но с Тбилиси мы не закончили
Если посмотреть на вакансию, она дублируется в Белграде, и ещё часто на Кипре. Это удалённое оформление.
Не знаю ни одного python программиста получающего меньше 400к в мск , а java и подобные, это уже вилка 600-650к в банках сейчас. И это без учета премий.
Наживку про Сыктывкар я проглотил, но в статье про него не нашел, почему он платит больше Москвы, но с нюансом?
Про Excel вы зря смеётесь. Некоторые вещи сделать в нём банально быстрее и удобнее, чем при помощи кода. И в то же время появилось некоторое количество разработчиков, которые с ним никогда не работали — и это ограничивает их в инструментарии.
Рынок <любой ЯП> в России - это рынок Москвы :(
Некоторые вакансии существуют только потому, что кто-то или что-то требует их публиковать. Нанимать с рынка не планируют. P.S. ID статьи 1036500 хорошо ложится на 62000.
Спасибо за статью!
Ложка дегтя: 100+ откликов, обстоятельных, с сопроводительным. Резюме хорошее, опыт есть - 0 собеседований. Хх мертв или рынок мертв, еще не понял.
Типичная вакансия на хх: «опубликовано вчера, откликов 1000+»
На зарплату уже любую идут, и 50 и 40к, там тоже откликов тысячи. И будут идти при таком спросе.
Понимаю, что мы проходим максимальный пик по предложение/спрос, так же понимаю, что чтобы это устаканилось необходимо лет 5-10. К сожалению, столько ждать не могу, семью надо кормить.
Да, понимаю вас, и полностью согласен, рынок выглядит печально, и здесь всё в сумме, HR заменяют отбор ИИ фильтрами и ML модельками, Плюс джунов рынок генерирует тысячами, и так как они не куда пристроится не могут на адекватные деньги и дут подаваться как мидлы или синьоры, из-за этого забивают и нагружают тех же HR которые в свою очередь увеличивают требующийся стек + занижают ЗП + изобретают новые изощренные методы отбора. И получается замкнутый круг, где плохо всем:
- Кто-то не может найти стоящего кандидата
- Кто-то работу
- Кто-то получить тот заветный опыт
Я спарсил 62 000 Python-вакансий с hh.ru и узнал страшное