Я старый. При этом я в ладу с собой. Я не лежу ночью, беспокоясь о своей старости. Но прекрасно понимаю, что я определённо стар — по крайней мере в смысле программирования. Большинство непрограммистов посмеялись бы над мыслью о старости. Во многих сферах в середине пятого десятка лет означает, быть на вершине профессиональных навыков. Но в разработке программного обеспечения любой человек старше 40 часто рассматривается с некоторым подозрением. Люди старше 50 часто выпадают из пула резюме. Человеку за 60 хорошо иметь очень прочную стратегию выхода на пенсию. Но это статья не об определении «старости» или о предвзятости к старикам. Эта статья о том, что «более опытным» разработчикам часто труднее приспособиться к конкретной работе, задаче или среде.

В скором времени у нас стартует новый поток продвинутого курса «Machine Learning Pro + Deep Learning», а сегодня мы делимся постом, в котором рассказывается о подходах к реставрации с помощью глубокого обучения. Реставрация изображений в разрезе глубокого обучения — это задача заполнения потерянных пикселей так, чтобы итоговое изображение выглядело реалистично и соответствовало оригинальному контексту. Некоторые приложения метода, такие как удаление нежелательных объектов и интерактивное редактирование изображений, показаны на кдпв. Приложений на самом деле так много, как вы только можете себе представить.

В преддверии старта нового потока курса «Машинное обучение» представляем вашему вниманию материал о Light Gradient Boosted Machine (далее — LightGBM), библиотеке с открытым исходным кодом, которая предоставляет эффективную и действенную реализацию алгоритма градиентного бустинга.

LightGBM расширяет алгоритм градиентного бустинга, добавляя тип автоматического выбора объектов, а также фокусируясь на примерах бустинга с большими градиентами. Это может привести к резкому ускорению обучения и улучшению прогнозных показателей. Таким образом, LightGBM стала де-факто алгоритмом для соревнований по машинному обучению при работе с табличными данными для задач регрессионного и классификационного прогностического моделирования. В этом туториале вы узнаете, как разрабатывать ансамбли машин Light Gradient Boosted для классификации и регрессии. После завершения этого урока вы будете знать:

• Light Gradient Boosted Machine (LightGBM) — эффективную реализацию ансамбля стохастического градиентного бустинга с открытым исходным кодом.
• Как разрабатывать ансамбли LightGBM для классификации и регрессии с помощью API scikit-learn.
• Как исследовать влияние гиперпараметров модели LightGBM на её производительность.

Почему утренняя лента начинается с трех подряд записей бывшего коллеги? Кого соцсети показывают в «Рекомендованных друзьях»? Как оказаться в ленте у людей, которых хочется узнать поближе? Вместе с телеграм-каналом «Больше чем данные» разбираемся, как Facebook с помощью скрытых алгоритмов решает, кто ваши самые близкие друзья.

Соцсети собирают и хранят о нас всевозможную информацию: сайты, которые мы посещаем, данные о поисковых запросах, деиндивидуализированные данные из переписок. Во множество сайтов встроены трекеры Facebook, Twitter, «ВКонтакте». Эти трекеры наблюдают за нашими действиями, чтобы, например, точнее таргетировать рекламу. Но применяются полученные результаты не только для рекламы. Одна из их функций — обнаружение схожих черт между пользователями соцсетей. 

Соцсети — часть больших экосистем. Например, «ВКонтакте» и «Одноклассники» находятся в составе Mail.ru Group, а Instagram и WhatsApp принадлежат Facebook. Это значит, что количество собираемых ими данных огромно. Такой массив информации позволяет группировать пользователей в виде графа, где дистанция между ними определяется объединяющими факторами, которые обладают разным «весом». 

Известно, что ответ на вопрос жизни, Вселенной и всего такого — 42. Однако, несмотря на согласованные усилия лучших умов человечества, соответствующий вопрос всё ещё ускользает от нас. Специально к старту нового потока курса «Машинное обучение» делимся материалом, автор которого задаёт тот самый вопрос  новейшей языковой модели GPT-3. Что из этого вышло — читайте под катом.

Привет, Хабр! Сегодня я продолжу рассказывать о применении Machine Learning и Computer Vision на предприятиях горнодобывающей промышленности нашей страны. На этот раз своё внимание мы обратим на обогатительные фабрики.

Рабочее место диспетчера фабрики

Обогатительная фабрика — это горное предприятие для первичной переработки твёрдых полезных ископаемых с целью получения технически ценных продуктов, пригодных для промышленного использования.

Разнообразие происходящих на фабриках технологических процессов, таких как дробление, измельчение, грохочение, классификация, флотация, цианирование, сорбция, обезвреживание, десорбция, электролиз и многие другие, оставляет широкое поле не только для стандартной автоматизации, но и для применения технического зрения и машинного обучения. Под катом — подробное описание и много больших и красивых фото.

Ручная многоракурсная стереореконструкция биологической нейронной сети занимает десятки тысяч часов. Специально к старту нового потока продвинутого курса «Machine Learning Pro + Deep Learning» делимся материалом, в котором рассказывается о том, как исследователи института Макса Планка значительно (от 10 до 25 раз) повысили эффективность работы с помощью искусственного интеллекта, об опровергающих некоторые предположения результатах исследования и о дальнейших планах исследователей. Ссылку на исходный код автоматизированного рабочего процесса вы найдёте внутри статьи.

Специально к старту курса «Машинное обучение» в этом материале представляем сравнение BOHB и HyperBand — двух передовых алгоритмов оптимизации гиперпараметров нейронной сети и простого случайного поиска оптимальных гиперпараметров. Сравнение выполняется с помощью платформы neptune.ai — инструмента для управления экспериментами в области ИИ. Рисунки, графики, таблицы результатов сравнения — всё это вы найдете под катом.

Специально к старту курса «Машинное обучение» в этом материале знакомим читателей Хабра с Fetch.ai — децентрализованной платформой для оптимизации существующих технологий с помощью искусственного интеллекта, машинного обучения и интеллектуального обмена данными. Платформу можно использовать, чтобы создать агента, например, программу, которая с учётом реальных обстоятельств рекомендует, когда сесть на поезд. Ещё один пример — агент, контролирующий потребление электроэнергии. Подробности о самой Fetch.ai, датах тестирования сети агентов, список партнёров стартапа (который включает Кембриджский Университет) и ссылки на ресурсы, включая репозиторий GitHub, — под катом.

Привет Хабр! В блоге на нашем сайте мы регулярно публикуем статьи про данные и всё, что с ними связано. Некоторые материалы оттуда публикуем и здесь.

Как компании узнают, кто из дата-сайентистов круче, когда нанимают их на работу? Как показать свой талант и стать известным в сообществе? На основе чего формируется рейтинг, исходя из которого вас потом могут нанять на престижную позицию? Рассказываем про самую известную состязательную платформу, возможности и правила ее игры, а еще раскрываем список лучших участников из России.

Привет, Хабр! Наша прошлая статья, в которой мы анализировали рынок вакансий и зарплат профессии «аналитик данных», была очень тепло встречена. Поэтому мы решили продолжить. Встречайте обзор российского рынка профессии дата-сайентиста.

Дата-сайентист — одна из самых быстрорастущих специальностей XXI века. По прогнозам компании Frost & Sullivan, рынок аналитики больших данных в ближайшие 10 лет будет расти в среднем на 35,9 % в год. 

В этой статье мы рассмотрим, сколько денег может получать дата-сайентист (спойлер: очень много), какие требования чаще всего есть в вакансиях, как прийти в DS и куда развиваться. Готовы? Поехали!

Специально к старту нового потока курса «Python для веб-разработки» представляем подборку из 57 репозиториев, которые будут полезны как начинающему, так и опытному разработчику: это репозитории с ответами на вопросы собеседований, репозитории с книгами, небольшие, но полезные консольные инструменты и проекты, которые вдохновят вас написать красивый, работающий и полезный код.

Справедливое моделирование — это область искусственного интеллекта, которая гарантирует, что на результат машинного моделирования не влияют такие защищённые атрибуты, как пол, раса, религия, сексуальная ориентация и т. д. В последнее время справедливое моделирование привлекло значительное внимание в научном сообществе и промышленности, ведь сейчас многие решения принимаются на основе результатов от моделей машинного обучения.

В мире, где люди борются за равенство, обеспечение справедливого поведения моделей должно быть главным приоритетом. Сегодня специально к старту курса «Машинное обучение» представляем вам перевод статьи, в которой показано, как с помощью Fairlearn можно выявить и решить проблему недобросовестного поведения моделей машинного обучения.

Микросервисы — модная и распространённая сегодня архитектура. Но когда количество микросервисов разрастается до тысяч и десятков тысяч микросервисов, что делать со «спагетти» огромного графа зависимостей, как удобно изменять сервисы? Специально к старту нового потока курса «профессия Data Scientist» мы подготовили перевод материала, в котором рассказывается о Viaduct — ориентированной на данные сервисной сетке от Airbnb, по сути, повторяющей путь парадигм программирования — от процедурного до ориентированного на данные подхода. Подробности под катом.

Совсем скоро, 19 ноября, у нас стартует курс «Этичный хакер», а специально к этому событию мы подготовили этот перевод о bdshemu — написанном на языке C эмуляторе с открытым исходным кодом в Bitdefender для обнаружения эксплойтов на 32- и 64-битной архитектуре. Эмулятор очень прост, а благодаря нацеленности на уровень инструкций он работает с любой операционной системой. Кроме того, этот эмулятор зачастую сохраняет расшифрованный эксплойт в бинарный файл. Подробности и пример обнаружения Metasploit — под катом, ссылка на репозиторий проекта на Github — в конце статьи.

Привет Хабр! В блоге на нашем сайте мы регулярно публикуем статьи про данные и всё, что с ними связано. Некоторые материалы оттуда публикуем и здесь.

В 2020 году многие россияне впервые столкнулись с QR-кодами — сначала они были нужны для регистрации выхода из дома, затем для входа в бар или клуб. Технология проста в использовании, но интересна изнутри, а придумали её совсем не для контроля и изоляции. «Код быстрого реагирования» появился как альтернатива штрихкоду, он может передавать до 4296 букв и цифр и при желании принимает форму можжевеловой изгороди. Представляем исчерпывающий гид по QR-кодам.

Специально к старту нового потока курса «Fullstack веб-разработчик на JavaScript» представляем вам обзор новой версии популярного фреймворка JavaScript — Angular. 11.0.0 версия уже доступна, и в ней есть отличные обновления, которые затрагивают всю платформу, включая сам фреймворк, библиотеку компонентов и инструменты командной строки. Давайте посмотрим, что в этом релизе.

В преддверии старта нового потока курса «C#-разработчик» представляем вашему вниманию обзор нововведений. Среди них — новый метод доступа к свойству — init, не позволяющий изменять свойства после инициализации, with-выражения для изменения свойств объекта прямо здесь и сейчас, записи и новые возможности сопоставления шаблонов. Подробности, конечно же, под катом.

О Data Science говорят много, ведь это одна из самых востребованных и перспективных сфер. Из каких профессий люди приходят в Data Science, как они выбрали обучение, чего стремятся достичь, где собираются работать и какую роль сыграла пандемия — об этом мы поговорили со студентами магистратуры «Наука о данных» НИТУ МИСиС, организованной совместно с Zavtra.Online, подразделением SkillFactory по работе с вузами.

Все мы знаем и любим Git. И, конечно же, были придуманы его аналоги для управления версиями данных, чтобы эксперименты с данными были воспроизводимыми, а действия команд — согласованными. Сегодня, в преддверии старта нового потока курса по Data Science, делимся с вами материалом о сравнении нескольких систем контроля версий. Подробности сравнения — как обычно, под катом.