Data Scientist
В этой статье я хочу разобрать отдельный сегмент предобработки данных, а именно показать, насколько балансировка тренировочных данных может качественно повлиять на конечный результат, а также чуть глубже погрузиться в суть работы механизма взвешивания слов TF-IDF
Привет, Хабр! На связи — Григорий Грязнов, руководитель подразделения «Аналитические сервисы» Единой информационной системы жилищного строительства (ЕИСЖС) ДОМ.РФ
По горячим следам недавно запущенного пилота машинного обучения (ML) в ДОМ.РФ решил поделиться с вами этапами его разработки и внедрения. Цель проекта – научиться анализировать темпы строительства многоквартирных домов и выявлять вероятные срывы сроков ввода их в эксплуатацию. В статье я постараюсь описать технологии, процесс построения алгоритмов и автоматизации сформированного решения простым языком, чтобы человек без специальных навыков в ML смог во всем разобраться.
Мысль об учёбе за рубежом маячила на задворках разума уже давно, но на передний план она вылезла в начале 4 курса. Именно тогда я решил, что не хочу быть обычным программистом, а хочу быть владычицей морскою учёным в области машинного обучения. А бытует мнение, что учёным лучше быть на Западе. Также бытует мнение, что самый лёгкий способ попасть на Запад — получить там образование. Сложив два и два, я приступил к поиску англоязычной магистратуры.
В статье очень подробно опишу свой личный опыт, помня насколько подобные тексты (например, этот) были полезны мне самому.
TL;DR: имея красный диплом матмеха, получил полную стипендию на учёбу в немецкой магистратуре (на английском языке). Нервотрёпка, бюрократия, личностный рост, сладкий вкус победы.
Представляем разбор применения алгоритмов машинного обучения с использованием технологий LSTM для создания текстов.
В итоге должен получиться генератор более-менее осмысленного текста. Способы создания текстов на специальную, определенную пользователем, тему затронуты не будут – но в целом, текст будет создан в том стиле, в котором написана «обучающая выборка».
Кстати об обучающей выборке: в качестве оной будут использованы народные сказки братьев Гримм. Эти тексты будут обработаны, разбиты на биграммы уровня символов, из которых будет составлен словарь из уникальных биграмм.
Всем привет! Меня зовут Иван Сёмин, я руковожу несколькими командами разработки в компании Домклик. На данный момент в моём подчинении 28 человек, часть из которых приходила на junior-позицию. Хочу поделиться своим видением погружения новых сотрудников в процессы компании и коллектив, и рассказать о способах развития разработчиков до middle-уровня в крупных командах.
2021 год был очень насыщенный на хакатоны и ИТ-чемпионаты. Мы неоднократно писали о том, что специализируемся на проектах по компьютерному зрению. В этом наша сила. На AgroCode Hack нам предстояло за 40 часов решить кейс с использованием компьютерного зрения и AI по сегментации и отслеживанию поросят. Рассказываем, как в очередной раз заняли призовое место на хакатоне и отследили всех хрюш.
Существует большое количество методов для автоматического сбора и обработки больших объемов данных из веб-ресурсов. Однако иногда недоступно извлечение данных с помощью автоматизированного кода, выполняющего GET-запросы с последующим парсингом HTML-кода, и его преобразованием в необходимый формат, также, как и все смежные методы. В таких случаях на помощь может прийти эмулятор действия пользователя («кликер», «бот», «робот»).
Этот пост родился как комментарий к вот этому посту о жизни в Германии. Мне понравился критический взгляд автора на многие вещи и комментарии сообщества. Однако через какое-то время мой планируемый комментарий настолько разросся, что я решил создать отдельную статью со своим видением плюсов и минусов жизни в Германии. Хотя это не совсем правильно: Германия очень разная. Различаются не только земли, но и регионы внутри них и даже города. Поэтому не хочу экстраполировать свой опыт на всю Германию, но опишу реалии проживания в городе Нюрнберг.
Привет, Хабр! Заметил, что в сети достаточно много авторских и переводных материалов по темам «как попасть в FAANG», «как пройти собеседование в FAANG», «как подготовиться к собеседованию в FAANG» и т.д. У меня сложилось впечатление, что само попадание в FAANG стало целью многих инженеров.
С одной стороны мотивация понятная, ведь такая работа — это престиж и высокий доход. Но с другой стороны (по моему скромному мнению) — это и сделка с совестью, потому что технологические гиганты делают много такого, в сравнении с чем прошлогодняя попытка Rambler отнять NGNIX у Игоря Сысоева, поднявшая всё сообщество на уши, покажется невинной шалостью. Об этом сегодня и поговорим, пройдясь по грешкам этих корпораций.
Важный дисклеймер: данный пост не ставит себе целью опорочить данные компании (мне кажется, это невозможно) или повлиять на ваше стремление попасть в них (это решать только вам). Я не питаю неприязни ни к одной из компаний (даже после всего того, что они делают) и мне нравятся многие их продукты (но за Facebook Messenger кто-то точно будет гореть в аду). Воспринимайте мой пост как некое развернутое напоминание, что никакую компанию не стоит идеализировать (даже если очень хочется).
Когда мы писали про рост зарплат в IT, то выяснили, что они растут из-за дефицита специалистов и выравнивания значений по уровню западных зарплат. Но оказывается, что дефицит есть везде. Абсолютно везде. Не хватает учителей, врачей, строителей, металлургов, водителей, инженеров и даже курьеров. На рынке повальный дефицит специалистов, которым предлагают зарплаты на уровне Молдавии или Республики Косово.
Недавно мы выпустили статью «Дефицит в IT: платите больше» о росте зарплат. Совпадение или нет, но чуть позже вышла статья о минусах большого заработка у российских айтишников. Автор рассуждал о том, как высокие зарплаты могут навредить IT-отрасли. На первый взгляд аргументы выглядят логично. Но это только на первый взгляд.
Недавно мы опросили рекрутеров агентства GetIT о том, какие зарплаты хотят разработчики. Они выкатили нам большой список ожиданий, в зависимости от языков и направлений. Например, верхняя цифра в вилке ожидаемых зарплат для C#-разработчиков — 280 000. И она не самая большая: сеньоры в Android и Java-разработчке рассматривали ожидаемые зарплаты по 400 000.
В подтверждение они дали нам исследования и статьи, подтверждающие цифры. И оказалось, что эти ожидания в рынке (а может даже и скромные): на рынке дефицит кадров, зарплаты только будут расти и сейчас самое время говорить о повышении.
Добрый вечер, дамы и господа. Я знаю, что статьи про собеседования в крупные IT-компании видели почти все, и у некоторых это уже вызывает непреодолимый приступ тошноты, но когда ты убиваешь порядочный кусок жизни на получение определенного навыка, тебе кажется, что смысл твоей жизни - поделиться этим опытом с другими. У написания этой статьи есть и вторая причина - я видел много разных статей про Frontend и Backend разработку, но никто никогда не писал про то, как проходят собеседования в IT гиганты для специалистов в области DataScience и Machine learning инженеров.
Всех, кто еще не уснул от скуки, прошу пожаловать под кат.
2021 год — знаковый для Python: в рейтинге популярности TIOBE он занял первое место. Поэтому сегодня публикуем статистику зарплат разработчика на Python за последние 10 лет. Возьмём условного Python Middle в Москве с опытом от 1 до 3 лет, а ещё рассчитаем реальное изменение доходов с учётом кризисов в экономике, пока у нас начинается курс по Fullstack-разработке на Python. Интересно? Поехали.
Привет всем! Приглашаем изучить седьмую тему нашего открытого курса машинного обучения!
Данное занятие мы посвятим методам обучения без учителя (unsupervised learning), в частности методу главных компонент (PCA — principal component analysis) и кластеризации. Вы узнаете, зачем снижать размерность в данных, как это делать и какие есть способы группирования схожих наблюдений в данных.
UPD 01.2022: С февраля 2022 г. ML-курс ODS на русском возрождается под руководством Петра Ермакова couatl. Для русскоязычной аудитории это предпочтительный вариант (c этими статьями на Хабре – в подкрепление), англоговорящим рекомендуется mlcourse.ai в режиме самостоятельного прохождения.
Видеозапись лекции по мотивам этой статьи в рамках второго запуска открытого курса (сентябрь-ноябрь 2017).