Сейчас существенная часть машинного обучения основана на решающих деревьях и их ансамблях, таких как CatBoost и XGBoost, но при этом не все имеют представление о том, как устроены эти алгоритмы "изнутри".

Данный обзор охватывает сразу несколько тем. Мы начнем с устройства решающего дерева и градиентного бустинга, затем подробно поговорим об XGBoost и CatBoost. Среди основных особенностей алгоритма CatBoost:

• Упорядоченное target-кодирование категориальных признаков
• Использование решающих таблиц
• Разделение ветвей по комбинациям признаков
• Упорядоченный бустинг
• Возможность работы с текстовыми признаками
• Возможность обучения на GPU

В конце обзора поговорим о методах интерпретации решающих деревьев (MDI, SHAP) и о выразительной способности решающих деревьев. Удивительно, но ансамбли деревьев ограниченной глубины, в том числе CatBoost, не являются универсальными аппроксиматорами: в данном обзоре приведено собственное исследование этого вопроса с доказательством (и экспериментальным подтверждением) того, что ансамбль деревьев глубины N не способен сколь угодно точно аппроксимировать функцию . Поговорим также о выводах, которые можно из этого сделать.

Вы эксперт в своем деле, помогаете людям достигать целей, можно сказать, «ведете их к Олимпу», но в ответ на озвученную цену получаете лишь обидное «А скидка будет?» Как в таком случае быть? Отказаться от сотрудничества или попытаться понять заказчика и нейтрализовать причины? Разбираемся вместе.

Автор: Илья Копосов

Здравствуйте. Сегодня я хочу рассказать вам о современном морском пиратстве, как от него защититься и чего это стоит. Из первых рук, так сказать, – рук штурмана торгового флота.

Как защитить своё судно от нападения? Для этого нужно изучить тактику пиратов, их цели и задачи, построить две линии обороны (о них я расскажу подробнее) и продумать пути отступления. Если вы любите играть в пошаговые стратегии, то вам понравится, поехали.

Фриланс это… Пока я писал эту статью, меня отвлекали сообщения от клиентов 24 раза.
P.S. Писал я её в нерабочее время.

Зачем статья с отзывом о курсе на Хабре? Большая часть аудитории скорее всего уже работает в it, но у многих есть знакомые, которые интересуется вопросом “входа в айти”, и я пишу эту статью для того, чтобы её можно этим знакомым скинуть. На Хабре недавно был отзыв на Яндекс.Практикум, автор учился со мной на том же направлении и даже на том же потоке. Там я оставлял комментарий, где обещал написать свой отзыв. В общем, вот он. 

Почему из всего многообразия курсов я выбрал именно Яндекс.Практикум? Я внимательно смотрел программы, и у Практикума была адекватная в плане того, сколько технологий планировалось изучить за срок обучения (10 месяцев). Конкуренты, входящие в состав mail.ru (которая теперь ВК) не рассматривались мною из-за предвзятого отношения к компании, курсы остальных конкурентов (и самого Практикума) я скачал с сайтов со складчинами и пролистал по диагонали. То, что я увидел у Яндекса, понравилось мне больше всего. 

Спросивший подобное студент - или махровый гуманитарий, или смотрел лекцию в полглаза параллельно с чем-то развлекательным. Сложно понять, что подобные личности вообще забыли в айти. Понятно, что хочется по-быстрому пройти онлайн-курс и зарабатывать нормальные деньги. Но совесть-то должна быть!

Так и хочется осудить нерадивого олуха, верно? Давайте не будем торопиться. Потому что автор, не один год проработав разработчиком, естественно, использовал перечисленное на картинке. Но к концу просмотра лекции известного учебного центра и сам уже начал испытывать некоторые сомнения в том, что и чем все-таки является.

В разных статьях о релокейте мы касались темы работы: наши герои рассказывали, где искали вакансии, какие документы оформляли, с какими трудностями столкнулись при поиске и смене работы. Решили собрать еще один подобный материал, но про несколько стран: Нидерланды, Сингапур и Германию. Читайте и пишите в комментарии, про особенности поиска работы в каких еще странах хотели бы узнать.

Ключевые идеи неизданной на русском книги «Сохранить ум острым» («Keep Sharp») известного нейрохирурга и писателя Санджая Гупты.

Прочитав обзор книги, вы узнаете о потребностях мозга и о том, как сохранить его здоровье в течение долгого времени и не потерять остроту ума.

Автор понимает, что труд преподавателя не сахар и с большим уважением относится к лучшим представителям жанра. Но у автора нет и стокгольмского синдрома, так как он целиком согласен с чуть перефразированным принципом “если можешь не преподавать - не преподавай”. Как развитие нашей цивилизации пока сложно представить без хороших учителей, так и плохой преподаватель хуже серийного убийцы. Пользуясь случаем, автор передает привет соответственно учителю математики и учителю английского языка.

Итак, давайте разберем преподавателей на винтики и поменяемся с ними ролями - проставим их вводным онлайн-курсам QA оценки.

Data Science выходит в массы. Настолько, что пора напомнить основы, почти что на пальцах. Скоро вполне может появиться множество вакансий c Data Science в заголовке, явно заниженной зарплатой и требованиями к начинающему аналитику, поэтому давайте внесём ясность.

Если вы слышите о Data Science из каждого мегафона и утюга — и окончательно запутались, гуглите "Data Science в Excel", или всё понимаете и хотите объяснить науку о данных кому-то простыми словами, эта статья тоже для вас. А для продвинутых и знающих людей у нас есть другие материалы о практической стороне вопроса.

В предыдущей статье я рассказал про пластичность мозга. Сегодня предлагаю первые три техники ее тренировки. Идея очень простая: представьте себе, что ваша работа состоит не в том, чтобы строить окружающую жизнь. И не в том, чтобы вручную управлять карьерой и взаимоотношениями в окружающем мире, тратя на это ограниченный ресурс нашей силы воли.

Идея в том, чтобы выстроить систему — некую совокупность процессов, которые будут воспроизводиться и обеспечивать необходимый результат с меньшими усилиями. Сила воли будет тратиться для настройки шаблонов наших нейромашин. А качество шаблонов напрямую связано с качеством нашей жизни: именно они позволяют нам показывать высокие результаты в работе, личной жизни, заботе о себе и построении всей жизни в те моменты, когда мы не следим за этим осознанно.

• 23% в ближайшие 5 лет точно уеду (563)
• 18% уже уехал (443)
• 37% колеблюсь (900)
• 21% не собираюсь уезжать в принципе (517)

Я работаю на полной удаленке уже 10 лет. Стоит ли говорить, что проблема сидячего образа жизни все эти годы стоит ребром? Мой пример немного не типичен тем, что какое-то движение в жизни было всегда - сидячей работе сопутствовали эпизодические высокие нагрузки пару раз в месяц (выезды в условный лес). Но этого определенно недостаточно. Нужна именно регулярность.

Сегодня расскажу про самую простую физическую активность из тех, которые можно практиковать каждый день - обычную (не спортивную) ходьбу. Под катом о том, почему она отлично подходит в том числе для удаленки и насколько масштабными могут быть результаты от банальных прогулок.

Привет, Хабр! Меня зовут Александр Грицай, CEO компании Forecast NOW!. Сегодня я хотел бы поговорить о работе с товарными запасами - аналитике, прогнозировании и т.п. Все это - важно для любой отрасли, где продают что-то материальное, товары, которые хранятся на складе. 

Формирование товарных запасов — в первую очередь прогноз: какие товары будут проданы, в каком количестве, как будет изменяться спрос. К сожалению, просчеты могут обернуться для компании значительными убытками или упущенной выгодой. Сегодня поговорим о том, какие факторы нужно учитывать, чтобы этого не произошло и на складе было столько продукции, сколько нужно.

• После определенного уровня заработной платы, денежное вознаграждение теряет свою ценность.
• Здоровая команда, с правильной внутренней и внешней коммуникацией, сама себя мотивирует.
• Если компания / команда / проект в тяжелой ситуации, скажите сотрудникам об этом честно. Возможно в этой ситуации будет стратегически верно профакапить показатели, но решить проблемы, чтобы потом нормально двигаться дальше.
• Демотивированный ≠ выгревший. Демотивированному сотруднику еще можно помочь.
• Замена части своих рутинных задач на новые помогает вернуть мотивацию.

Прогнозирование – это важный инструмент экономики. Оно позволяет осуществлять рациональные закупки, вырабатывать долгосрочные планы действий или же, как в случае аудита, спрогнозировать будущие затраты. Прогнозирование так же является одной из областей Data Science.

Давайте рассмотрим создание простой прогнозной модели на основе линейного тренда с помощью эконометрических методов.

Возьмем некоторый набор данных (можно найти в репозитории Github, ссылка в конце статьи). Примем, что генезис не имеет значения (прим. автора – происхождение), но учтем, что данные имеют нормальное распределение: