Бытует мнение, что стать датасайентистом можно только имея соответствующее высшее образование, а лучше ученую степень.

Однако мир меняется, технологии становятся доступны и для простых смертных. Возможно, я кого-то удивлю, но сегодня любой бизнес-аналитик в состоянии освоить технологии машинного обучения и добиться результатов, конкурирующих с профессиональными математиками, и, возможно, даже лучших.

Дабы не быть голословным, я расскажу вам свою историю — как из экономиста я стал дата-аналитиком, получив необходимые знания через онлайн-курсы и участвуя в соревнованиях по машинному обучению.



Сейчас я ведущий аналитик в группе больших данных в QIWI, но еще три года назад я был довольно далек от датасайнс и об искусственном интеллекте слышал только из новостей. Но потом все изменилось, во многом благодаря Coursera и Kaggle.

Итак, обо всем по порядку.

На дворе осень и сын все чаще остается дома, уткнувшись в телефон или планшет, слабо реагируя на внешние раздражители. Меня это огорчает. Сам я начал программировать, как мне кажется, с того, что к моему первому компьютеру БК 0010-01 игры то на кассетах в комплекте шли, а вот магнитофон не шел. Пока добывали магнитофон с подходящим линейным выходом, я успел попробовать Бейсик, спасибо отцу за первые уроки. Так что, когда смог со скрипом загрузить первую графическую игру, то смотрел на нее уже не как на то, во что наконец буду играть, а очарованно думал, как бы сделать свою не хуже. Сына же, в его 8 лет, давно поглотил мир видеоигр и ютуба, так что начинать программирование с трели на встроенном динамике, похоже, впечатления не произведет.

Привет Хабр.

Данный пост является логическим завершением публикаций про жизненный цикл статьи на Хабре (первая и вторая части для тех кто интересуется технической стороной вопроса), в результате чего был сделан достаточно интересный инструмент для статистического анализа. Методика оказалась весьма полезной, и позволяет находить статьи по различным параметрам, например, статьи с самым высоким «качеством» (соотношением рейтинга к числу просмотров), самые «спорные» статьи, у которых больше всего полярных комментариев, самые комментируемые материалы, и пр.



Пора теперь извлечь из этого какую-то пользу, и составить статистический рейтинг статей за 2018 год. В идеале это хорошо было бы сделать к началу Нового Года, но умные мысли бывает, приходят с запозданием. Но лучше поздно чем никогда, это позволит перечитать какие-то полезные статьи тем, кто пропустил их в свое время. И небольшой «секретный бонус» в конце текста для тех, кто будет достаточно любопытен.

Тех, кому интересно что получилось, прошу под кат.

После статьи о профессиональном выгорании поступило много вопросов в личку и в комментарии про то, где больше почитать про матчасть, чем отличаются одни школы психотерапии от других и как выбрать специалиста.

Этим постом как раз постараемся на все и ответить. Пару месяцев назад для студентов нашей Школы мы запустили линейку мастер-классов про выгорание. Приглашали не просто тех, кто умеет бодро и зажигательно говорить (это мы и сами умеем), а, прежде всего, профессионалов психотерапии, кто уже много лет занимается тем, что успешно работает со счастливыми обладателями синдрома выгорания:

1. Дмитрий Ковпак, кандидат мед.наук, президент российской Ассоциации когнитивно-поведенческой психотерапии (КПТ), доцент кафедры психологии и педагогики СЗГМУ им. И.И. Мечникова.

2. Алексей Демьяненко, психотерапевт, заведующий Городским Психотерапевтическим Центром Санкт-Петербурга, руководитель регионального отделения Российской Психотерапевтической Ассоциации.

3. Наталия Дзеружинская, доктор мед.наук, врач-психиатр высшей квалификационной категории, профессор кафедры психиатрии и наркологии Национального медицинского университета имени А.А. Богомольца Украины. Более 30 лет работы в сфере психического здоровья.

4. Мария Берлин, организационный психолог, тренер, корпоративный психолог ЗАО РТК МТС(2015-2016), преподаватель института «Иматон», автор программы подготовки специалистов «Работа с эмоциональным выгоранием – комплексный подход».

В итоге у нас накопилось пять мастер-классов (видео под катом). Видео изначально были доступны только нашим студентам. Но раз тема оказалась актуальной для Хабра, решили все это выложить — пользуйтесь на здоровье.

Вы ещё не работали с Китаем? Тогда китайцы идут к вам. Они знают, что от них никуда не деться — с планеты не убежишь.

Чжунго — самая развивающаяся страна в мире. Во всех сферах: производство, IT, биотехнологии. В прошлом году Китай показал крупнейший в мире валовый продукт, который составил 18% от мирового ВВП.

Китай давно и прочно стал основным экономическим партнёром нашей страны. Россия продаёт Китаю ресурсы: нефть, газ, лес, металлы, продовольствие. Китай продаёт России высокотехнологичную продукцию: станки, электронные приборы, компьютерную и бытовую технику, настоящие швейцарские часы за 50 долларов, спинеры и прочий AliExpress. В прошлом году товарооборот с Китаем превысил 108 миллиардов долларов — за год вырос на четверть.

У российских разработчиков и руководителей IT-бизнеса часто возникает лёгкий шок от делового общения с китайскими товарищами — настолько легко и непринуждённо китайцы кидают партнёров. Но в этом нет ничего удивительного, если понимать, что такое на самом деле Китай, и что именно китайцы скрывают от окружающего мира.

Старинная китайская гравюра. Дядюшка Ляо на прогулке придумывает iPhone 12 c ТВ-приёмником, пятью sim-картами, десятью камерами, термометром, шокером и пылесосом.

Последние четыре года я работал разработчиком программного обеспечения в Google, но 1 февраля уволился, потому что они не сделали мне подарок на Рождество.

Шучу, на самом деле всё немного сложнее.

Первые два года

Первые два года я любил Google.

Когда при ежегодном опросе сотрудников мне задавали вопрос, вижу ли я себя в Google через пять лет, я отвечал «разумеется, без вариантов».

Ну конечно я буду в Google через пять лет. Я окружён лучшими инженерами в мире, использую самые продвинутые инструменты разработки в мире и кушаю самую бесплатную в мире еду.


Мой обычный день в Google.
— Ещё тортика, господин Программист? Он бесплатен в любом количестве.
— Не сегодня, Пьер. Я опаздываю на массаж, он тоже бесплатный.

Как это ни удивительно, но часто от своих и чужих детей, а то и себя в детстве в ответ на вопрос «Кем хочешь быть?» мы слышали одни и те же слова. Среди них распространены профессии врача, космонавта, учителя, таксиста. И как-то никто не задумывается, почему именно этот набор. Где геологи, политики, связисты, банкиры, прорабы, наконец, инженеры? Ведь мало кто действительно становится космонавтом или таксистом. Ответ лежит на поверхности: дети стремятся к тому, что они понимают. Всё линейно: врач — лечит от болезней, таксист — везёт, космонавт — летит в космос, учитель — вот он, рядом, учит и дружит с ними. А что делают программист, инженер, геолог, экономист? Между тем, именно в простом вопросе «Кем быть?» зарождается первичная профориентация. И важно, чтобы у ребёнка было понимание того, в чём заключается выбранная им в данный момент жизни профессия.

Я живу на периферии технологической тусовки. И на периферии в географическом смысле. А это значит, что:

• Я никогда не был на профессиональных конференциях. Просто потому, что никогда не предоставлялось такой возможности.
• Я никогда не покупал обучающие курсы: для меня странно платить за то, что можно изучить самому в этих ваших интернетах или по книгам. Заманчиво, конечно, получить концентрированные знания, подкрепленные выполнением практических заданий, заполучить сертификат. Но на это у меня никогда не было ни средств, ни времени.
• Я адепт цифрового аскетизма: не по своей воле, но как порождение вечной перестройки в нашей стране. В короткие периоды финансовой стабильности я обновляю электронику по остаточному принципу. Вот и сейчас пишу этот текст на Core2Duo десятилетней давности. Все еще жду следующего стабильного плато на кривой моих доходов.
• Раза три в своей жизни я покупал игры. В 90-е. Это были кассеты для отживающего своё Спектрума. На покупку ПО я смотрю с удивлением: когда все пользовались пиратским ПО, то и я пользовался, не понимая сути вопроса. А потом, в начале двухтысячных, полностью перешел на Linux и покупать стало нечего.

Разговор о сокращении продолжительности рабочей недели очень своевременный, но в нынешней форме — совершенно бессмысленный в силу своей хаотичности, потому что люди бросились обсуждать высочайшую инициативу Дмитрия Медведева о возможном введении четырёхдневной рабочей недели, не определившись с базовыми вещами: приоритетами и целями. Ну и разобравшись по пути с некоторыми мифами и заблуждениями.

Фактически, в России сорокачасовой рабочей недели уже давно нет — чтобы в этом убедиться, достаточно посчитать, сколько на самом деле у нас рабочих дней. В невисокосном году 52 недели + 1 день. При пятидневке это должно означать 260 или 261 рабочий день. Но из-за дополнительных праздничных выходных в 2019 году в России будет всего 247 рабочих дней. За вычетом также 28 календарных дней (то есть, четырёх недель или двадцати рабочих дней) отпуска остаётся 227 рабочих дней в течение 48 недель — то есть, средняя рабочая неделя в России уже не пятидневная, а 4,73-дневная — или 38-часовая вместо 40-часовой.

Де-факто Россия уже на полпути к французской тридцатипятичасовой рабочей неделе. Так что тенденция к сокращению рабочего времени — не теоретическая дискуссия, а идущий процесс. Вопрос лишь в том, как этот процесс лучше организовать. В этой статье я расскажу, почему нужен разговор не о сокращении числа рабочих дней, а количества рабочих часов в течение дня.

^{Маринус ван Реймерсвале. Меняла и его жена. 1539 г. Музей Прадо, Мадрид.}

Я начал работать в Deutsche Bank программистом на Java в 2009-м году (последствия кризиса, чудо на Гудзоне, «Миллионер из трущоб», свиной грипп, поражение сборной в Мариборе). На собеседовании мне сообщили, что я буду работать в проекте AutobahnFX.

FX? Foreign eXchange? Мои знания о валютном рынке не отличались от знаний среднестатистического обывателя. На углу возле дома есть обменник, но от разницы курсов покупки и продажи дёргается глаз. В вагонах метро висит реклама форекс-контор «Чувствуешь разницу? На этом можно заработать!» Газеты описывают инвестиционные банки то как всезнающих спекулянтов, предсказывающих курсы валют на годы вперёд, то как сборище бездарных рвачей, обрушивших мировую экономику. «Ну ладно, — подумал я, — разберёмся в процессе».

Эта статья — часть того, что я выяснил, работая то над одной системой, то над другой. Почему вам стоит прочитать её? Во-первых, это интересно. Современный валютный рынок — сложная распределённая система из множества независимых акторов. Во-вторых, если вы работаете в финансах, вы можете увидеть сходство и с другими рынками, от рынка облигаций до рынка деривативов на погоду. Наконец, в-третьих, если в следующий кризис опять грохнется какой-нибудь инвестиционный банк, вам будет проще читать разбор полётов в прессе.

Главная презентация Apple начнется сегодня, 10 сентября, в 20.00 по Москве. Проводим текстовую трансляцию: что показывают, почему показывают и что нам всем от этого. Apple, возможно, уже и не торт, давно не удивляла какими-то революционными новинками, даже складывающийся телефон не показывала, но именно эта презентация во многом определяет рынок: будут у нас и дальше смартфоны с челками и выпирающие камеры или появится новый дизайн. Я позвал в гости Светлану Пермякову, журналиста и евангелиста Apple, она поможет с трансляцией.

Что вы ждёте от этой презентации? Напишите в комментариях.

Когда произошло явление блога бизнесу, многие деловые люди на вопрос «То blog or not to blog?» ответили для себя уверенным «not to blog». Специализированные издания их поддержали: «Год назад, приглядываясь к корпоративному блоггингу, мы решили, что нужен он лишь единичным бизнесам, — говорит Джеймс Бэлчер, ведущий аналитик eMarketer. Однако за год изменилось многое, и мнение аналитиков — в том числе.

«Сейчас, несмотря на то, что новые блоги появляются ежесекундно, лишь немногие компании берут на вооружение эту среду, — рассуждает аналитик. — Войдя в блогосферу, бизнес сталкивается с необходимостью «ослабить вожжи», но ведь для него так важен контроль. Поэтому 90% компаний — больших и маленьких — даже не глядят в сторону блогов». Поистине, огромны препятствия, преодолеть которые должны корпорации на пути к столь важному элементу Веб 2.0.
Экспертам ситуация понятна: мало какой собственник захочет выставить «под обстрел» свой бренд, если в нем всё устроено — есть имидж, устоялась внутрикорпоративная культура, налажены связи с общественностью. Среди всего этого нет места хаотическому элементу — реальному голосу со стороны, который может нарушить красоту картины. Независимого комментатора трудно контролировать, и это существенный недостаток, поскольку «обратная связь» не всегда оказывается позитивной.

Однако в последнее время компаний, пытающихся абстрагироваться от стереотипов и найти применение блогам, становится все больше. «GM и Sun, к примеру, используют свои блог-площадки в качестве PR-инструмента — поверьте, им это обходится недорого», — говорит Джеймс Бэлчер. Кроме того, пытаясь освоиться в блогосфере, бизнес приобретает важные навыки, которые очень ему помогут в самом ближайшем будущем. Во всяком случае, в бренд-менеджменте без них не обойтись.

Поколение, которое черпает информацию из социальных сетей и может назвать блоги второй естественной средой обитания, отвергает традиционные фильтры корпоративных коммуникаций, считает Бэлчер. По его мнению, и бизнесменам, и PR-специалистам следует освоиться в блогосфере, чтобы не оказаться внезапно за бортом.

Каждый раз перед собесом я говорю себе: "Спокойно, не нужно ничего выдумывать, доучивать и врать, твоих знаний и опыта достаточно для того, что бы работать у них. Ты усилишь любую команду, тебе есть что предложить, а пробелы в твоих знаниях — приемлемы. Если бы они знали о твоих навыках всё, что знаешь ты, они бы точно тебя взяли". Но когда начинается собеседование, я всегда перестаю в это верить. Все два часа интервью я хожу как по минному полю, что бы не дай бог не спалиться, что я чего-то не знаю.

Продолжаем углублять наши знания карты зарплат в ИТ. После общего обзора зарплат за второе полугодие 2018, мы сравнили зарплаты удалённых и офисных разработчиков, живущих в одних и тех же городах.

Сегодня мы хотим сравнить зарплаты разработчиков разных квалификаций. Как всегда, для этого используем данные, которые пользователи «Моего круга» оставляли в нашем калькуляторе зарплат в течение последних полутора лет.  

С картинки каждой диаграммы box plot можно перейти к её интерактивной версии, где будет проще сориентироваться в цифрах.

Раздел 1. Soft Skills

1. Я молчу на совещаниях. Стараюсь делать внимательное и умное лицо, даже если мне все равно.

Привет, Хабр!

С помощью YouTube можно ощутимо и сравнительно быстро улучшить английский.
Понимание на слух как минимум. Истина не нова, но мало кто смотрит английский YouTube, потому что легко потеряться в бесконечности каналов. Но для вас я собрал самые стоящие каналы!

Добавляйте в закладки и подписывайтесь на меня!
Дальше вас ждет много крутых статей.

Поучить английский

AJ Hoge. На его канале есть всё: от базовых слов до размышлений о важности языка тела в общении. Чувак пилит видосы уже много лет, материальчик накопился.

EngVid. Если бы можно было выбрать что-то одно для улучшения английского, то это оно. Разные преподы и тематики, постоянное обновление, бездонный ресурс. Ещё сайт одноимённый крутой, с удобной навигацией — можно найти очень узкую тему по интересам.

26-летний канадец Кайл Макдональд умеет общаться с людьми. Особенно хорошо у него это получается в интернете. Однажды в своем блоге Кайл обменял красную скрепку на недвижимость. Теперь он решил пойти дальше и стать по-настоящему знаменитым.

В случае Макдональда получить славу – только дело техники, потому что мир он уже потряс. По сообщению The Sydney Morning Herald, об истории своего обмена к 2007 году канадец напишет книгу, права на экранизацию которой уже куплены кинокомпанией Спилберга DreamWorks. В общем же счете на бывшего владельца скрепки ссыпались предложения 40 книгоиздателей и 50 кинокомпаний — Голливуд любит сочные истории. Уже известно, что книга выйдет сразу на четырех языках: английском, итальянском, японском и голландском.

Идея предпринять обмен была продиктована почти научным интересом: Кайл решил проверить, насколько полезным может быть общение в Сети. Проект, который по итогам его реализации можно назвать «Получи дом с тремя спальнями в местечке Киплинг», был начат с обмена в личном блоге канцелярской скрепки на шариковую ручку-рыбку.

Дальше по меновой цепочке протяженностью в один год следовали: дверная ручка, походная печь, электрогенератор, снегоход, туристическая путевка, старый минивэн, контракт с музыкальной студией, год бесплатного проживания в доме в Фениксе, один вечер общения с музыкантом Элисом Купером, роль в голливудском фильме и, наконец, дом в канадском городе Киплинге.

Сменяющие друг друга звенья цепочки неравноценны, поскольку большинство промежуточных сделок Макдональд «провернул» с лично знакомыми ему людьми, встреченными во время многочисленных поездок по Канаде и США. То есть, успех предприятия во многом определили личное обаяние и хорошие коммуникативные навыки находчивого канадца.

Неожиданным кажется то, что именно власти Киплинга заметили эти качества, пойдя на сделку с Макдональдом. Мэрия города надеется привлечь туристов и уже сейчас в ее планах значится открытие памятника – самой большой скрепки в мире. Больше того, по сообщению городской газеты, изображение скрепки предполагается поместить в герб города.

С недавних пор на юге Китая в городе Гуанчжоу люди ходят за покупками не как все. В онлайне они договариваются о встрече, после чего приходят в намеченный час к, допустим, центральному супермаркету электроники. Полтысячи китайцев заходят в супермаркет, выбирают товары и покупают их разом, получив 10-30% скидку как оптовые покупатели.

«Было очень здорово, — радуется Фейри Джанг, вышедшая из супермаркета с большой коробкой. — Мы только что купили квартиру, а теперь, с такого рода шоппингом, можем позволить себе и другие хорошие вещи». В предыдущий уикенд, по сообщению Economist.com, компания успела посетить магазин мебели — без покупок тогда тоже никто не остался.

Туангоу («team-buying» по-английски и «коллективный шоппинг» по-русски) — это новая находка китайских граждан, которая буквально сводит их с ума. В туангоу есть что-то от флешмоба, но цели акций сугубо практические. «Мы хотим экономить деньги, это в нашем национальном характере, — говорит Файона Ли, стоявшая у истоков новой китайской забавы. — Богаты мы или бедны, но если можно сэкономить, то почему бы нет?». Во время первой акции коллективного шоппинга толпа из 15 китайцев около 2-х часов азартно торговалась с менеджером склада ради 10%-й скидки, после чего скидка была получена, а туангоу основательно засел в сердцах людей.

Всепроникающий интернет и организованность китайской толпы делают свое дело — туангоу распространяется по стране со скоростью пожара. Появились специализированные сайты — 51tuangou.com, teambuy.com.cn и др., — создатели которых вовремя прочувствовали тенденцию и за короткий срок получили около 10 000 зарегистрированных пользователей. Туангоу быстро оброс инфраструктурой, а компании, организующие «командные закупки», уже планируют открывать филиалы в Пекине и Шанхае. Клиентов они привлекают за счет своей опытности в деле туангоу – знают, к примеру, в каких местах появление «команды» не вызовет серьезной конфронтации с торговцем.

Подобное поведение потребителей можно назвать агрессивным. Но в Китае, где воля отдельного индивидуума практически неощутима, оно оказывается весьма эффективным. Люди поняли: раз их так много, нужно объединяться в более крупные общественные единицы. К примеру, сельские жители Поднебесной любые свои протесты против коррупции и диктата местных властей выражают исключительно большими группами. Можно заключить, что теперь и городской средний класс осваивает те же навыки.

Со сменой президента в Туркменистане не стало легче с интернетом. После инаугурации Гурбангулы Бердымухаммедова в стране открылись два интернет-кафе, но кажется странным, что люди идут туда по своей воле. По информации Eurasianet, у входов в заведения дежурят милиционеры — проверяют документы у посетителей. Сама связь нестабильна и чрезвычайно дорога для местных жителей – час в онлайне стоит 50 тыс. манатов, что немногим меньше $10 по официальному курсу или около $2,5 при обмене на черном рынке.

Далеко не каждый сайт может посетить забредший в интернет-кафе туркмен. Даже почту завести он может только на сервере местного провайдера «Туркментелекома» — «чтобы не затруднять работу выходом на другие линии». Те же, кто все-таки осмелится эту работу «затруднить», немедленно отправляются в Генпрокуратуру. Как сообщает Lenta.Ru со ссылкой на DW-WORLD.DE, именно там оказался один из посетителей, попытавшийся открыть сайты российских изданий. В «органах» его поставили на учет, пояснив, что делают это «не для борьбы с инакомыслием, а чтобы родина была чиста от всякого мусора».