Search
Write a publication
Pull to refresh
1
0
Skillfactory School @skillfactory_school

Школа Computer Science

Send message

Скрытые алгоритмы, заманивающие в ловушку бедности

Reading time10 min
Views18K
Привет, Хабр! Делюсь с вами постом, в котором рассказывается, как группа юристов обнаруживает и борется с автоматизированными системами, которые отказывают бедным в жилье, работе и в базовых услугах. Рассматривается американский опыт, но в России данная проблема тоже очень скоро будет актуальна, ведь алгоритмы кредитного скоринга активно внедряются и у нас. А где ещё поднимать вопросы этичности подобных систем, как не среди тех, кто их создаёт?

Приятного чтения!

Ноам Хомский о будущем глубокого обучения

Reading time7 min
Views12K
В течение последних нескольких недель я вёл переписку по электронной почте с моим любимым анархо-синдикалистом Ноамом Хомским. Сначала я обратился к нему, чтобы спросить, не заставили ли его недавние разработки в области ANNs (искусственных нейронных сетей) пересмотреть свою знаменитую лингвистическую теорию универсальной грамматики. Наш разговор коснулся возможных ограничений глубокого обучения, того, насколько хорошо на самом деле ANN моделирует биологический мозг, а также побеседовали на философские темы. Здесь я не буду напрямую цитировать профессора Хомского, поскольку наша дискуссия была неофициальной, но попытаюсь резюмировать ключевые выводы.

И, между прочим, вчера, 7 декабря, Ноаму Хомскому исполнилось аж 92 года!
Приятного чтения!

Думать как фронтенд-разработчик

Reading time7 min
Views14K
Привет, Хабр! У нас стартанул новый поток курса Frontend-разработчик, а я делюсь с вами небольшим чек-листом для фронтендера о том, как мыслить при создании макета, какие вопросы задавать себе самому. Смело кладите её в закладки, если хотите рассказать своему падавану джуну, с какой стороны подойти к дизайну макета, но не хотите тратить своё время на объяснение относительно несложных вещей.

Приятного чтения!

Почему японский веб-дизайн настолько другой?

Reading time4 min
Views59K
Коничива, Хабр!

В глазах многих людей Япония — земля спокойствия дзен-садов, безмятежные храмы и изысканные чайные церемонии. Как традиционные, так и современные японские архитектура, книги и журналы — предмет зависти дизайнеров всего мира. Однако по каким-то причинам практически ни одно из этих умений не перенесено на цифровые продукты, в частности на веб-сайты, большинство из которых выглядят так, как будто они появились примерно в 1998 году.

Теории о том, почему всё именно так, многочисленны, и сегодня, в преддверии старта курса «Профессия Веб-разработчик» попытаемся развить некоторые из наиболее распространенных теорий в этом посте.


Приятного чтения!

Машинное обучение: ансамбль смешивания на Python

Reading time24 min
Views17K
Смешивание — это ансамблевый алгоритм машинного обучения. Это разговорное название для стекового обобщения (stacked generalization) [далее будем использовать термин «пакетирование» вместо принятого в научных работах термина «стекинг»] или ансамбля пакетирования, где вместо того чтобы обучать метамодель на прогнозах вне групп, сделанных базовой моделью, модель обучается на прогнозах, сделанных на независимом наборе данных.

Термин «смешивание» использовался для описания моделей пакетирования, которые объединили многие сотни моделей в конкуренции на соревновании по машинному обучению от Netflix с призом в $1 000 000, и как таковое смешивание остаётся популярным методом и названием для пакетирования в конкурсах машинного обучения, например на Kaggle. Специально к старту нового потока курса «Машинное обучение» делимся туториалом, из которого вы узнаете, как разработать и оценить смешанный ансамбль на python. После завершения этого туториала вы будете знать:

  • Смешанные ансамбли — это тип пакетирования моделей, при котором метамодель обучается с использованием прогнозов на независимом тестовом наборе данных валидации вместо прогнозов во время k-кратной кросс-валидации.
  • Как разработать смешанный ансамбль, включая функции обучения модели и составления прогнозов на основе новых данных.
  • Как оценить смешанные ансамбли для задач классификации и регрессионного прогностического моделирования.


Давайте начнём

Самые популярные языки программирования. Хабратоп 2020 года

Reading time6 min
Views111K
Мы тут решили подбить предварительные итоги года и проанализировать рейтинги популярности языков программирования. Как менялась популярность ЯП и какие языки в 2020 году считаются топовыми, читайте в этой статье.

UPD: Самые популярные языки программирования 2021 года — здесь


Ситуация с ЯП очень похожа на события этого фильма. Узнали же из какого?
Приятного чтения!

Я уже стар, и мой опыт мешает мне в работе, или Почему немолодым людям трудно работать программистами

Reading time12 min
Views36K
Я старый. При этом я в ладу с собой. Я не лежу ночью, беспокоясь о своей старости. Но прекрасно понимаю, что я определённо стар — по крайней мере в смысле программирования. Большинство непрограммистов посмеялись бы над мыслью о старости. Во многих сферах в середине пятого десятка лет означает, быть на вершине профессиональных навыков. Но в разработке программного обеспечения любой человек старше 40 часто рассматривается с некоторым подозрением. Люди старше 50 часто выпадают из пула резюме. Человеку за 60 хорошо иметь очень прочную стратегию выхода на пенсию. Но это статья не об определении «старости» или о предвзятости к старикам. Эта статья о том, что «более опытным» разработчикам часто труднее приспособиться к конкретной работе, задаче или среде.


Приятного чтения!

10 научных статей о реставрации с помощью глубокого обучения, которые должен прочитать каждый

Reading time12 min
Views6.4K
В скором времени у нас стартует новый поток продвинутого курса «Machine Learning Pro + Deep Learning», а сегодня мы делимся постом, в котором рассказывается о подходах к реставрации с помощью глубокого обучения. Реставрация изображений в разрезе глубокого обучения — это задача заполнения потерянных пикселей так, чтобы итоговое изображение выглядело реалистично и соответствовало оригинальному контексту. Некоторые приложения метода, такие как удаление нежелательных объектов и интерактивное редактирование изображений, показаны на кдпв. Приложений на самом деле так много, как вы только можете себе представить.
Приятного чтения!

Как разработать ансамбль Light Gradient Boosted Machine (LightGBM)

Reading time16 min
Views51K
В преддверии старта нового потока курса «Машинное обучение» представляем вашему вниманию материал о Light Gradient Boosted Machine (далее — LightGBM), библиотеке с открытым исходным кодом, которая предоставляет эффективную и действенную реализацию алгоритма градиентного бустинга.

LightGBM расширяет алгоритм градиентного бустинга, добавляя тип автоматического выбора объектов, а также фокусируясь на примерах бустинга с большими градиентами. Это может привести к резкому ускорению обучения и улучшению прогнозных показателей. Таким образом, LightGBM стала де-факто алгоритмом для соревнований по машинному обучению при работе с табличными данными для задач регрессионного и классификационного прогностического моделирования. В этом туториале вы узнаете, как разрабатывать ансамбли машин Light Gradient Boosted для классификации и регрессии. После завершения этого урока вы будете знать:

  • Light Gradient Boosted Machine (LightGBM) — эффективную реализацию ансамбля стохастического градиентного бустинга с открытым исходным кодом.
  • Как разрабатывать ансамбли LightGBM для классификации и регрессии с помощью API scikit-learn.
  • Как исследовать влияние гиперпараметров модели LightGBM на её производительность.


Давайте начнём

Как интроверту найти друзей: используем алгоритмы Facebook

Reading time4 min
Views4.9K
Почему утренняя лента начинается с трех подряд записей бывшего коллеги? Кого соцсети показывают в «Рекомендованных друзьях»? Как оказаться в ленте у людей, которых хочется узнать поближе? Вместе с телеграм-каналом «Больше чем данные» разбираемся, как Facebook с помощью скрытых алгоритмов решает, кто ваши самые близкие друзья.

Соцсети собирают и хранят о нас всевозможную информацию: сайты, которые мы посещаем, данные о поисковых запросах, деиндивидуализированные данные из переписок. Во множество сайтов встроены трекеры Facebook, Twitter, «ВКонтакте». Эти трекеры наблюдают за нашими действиями, чтобы, например, точнее таргетировать рекламу. Но применяются полученные результаты не только для рекламы. Одна из их функций — обнаружение схожих черт между пользователями соцсетей. 

Соцсети — часть больших экосистем. Например, «ВКонтакте» и «Одноклассники» находятся в составе Mail.ru Group, а Instagram и WhatsApp принадлежат Facebook. Это значит, что количество собираемых ими данных огромно. Такой массив информации позволяет группировать пользователей в виде графа, где дистанция между ними определяется объединяющими факторами, которые обладают разным «весом». 


Приятного чтения!

Как используют Machine Learning и Computer Vision на обогатительных фабриках

Reading time7 min
Views8.2K
Привет, Хабр! Сегодня я продолжу рассказывать о применении Machine Learning и Computer Vision на предприятиях горнодобывающей промышленности нашей страны. На этот раз своё внимание мы обратим на обогатительные фабрики.


Рабочее место диспетчера фабрики

Обогатительная фабрика — это горное предприятие для первичной переработки твёрдых полезных ископаемых с целью получения технически ценных продуктов, пригодных для промышленного использования.

Разнообразие происходящих на фабриках технологических процессов, таких как дробление, измельчение, грохочение, классификация, флотация, цианирование, сорбция, обезвреживание, десорбция, электролиз и многие другие, оставляет широкое поле не только для стандартной автоматизации, но и для применения технического зрения и машинного обучения. Под катом — подробное описание и много больших и красивых фото.
Приятного чтения!

Реконструкция нейронных карт по данным электронной микроскопии с помощью глубокого обучения

Reading time9 min
Views2.4K
Ручная многоракурсная стереореконструкция биологической нейронной сети занимает десятки тысяч часов. Специально к старту нового потока продвинутого курса «Machine Learning Pro + Deep Learning» делимся материалом, в котором рассказывается о том, как исследователи института Макса Планка значительно (от 10 до 25 раз) повысили эффективность работы с помощью искусственного интеллекта, об опровергающих некоторые предположения результатах исследования и о дальнейших планах исследователей. Ссылку на исходный код автоматизированного рабочего процесса вы найдёте внутри статьи.


Приятного чтения!

Участие в тестировани Incentivized Testnet — глобальной децентрализованной мультиагентной системы

Reading time4 min
Views3.1K
Специально к старту курса «Машинное обучение» в этом материале знакомим читателей Хабра с Fetch.ai — децентрализованной платформой для оптимизации существующих технологий с помощью искусственного интеллекта, машинного обучения и интеллектуального обмена данными. Платформу можно использовать, чтобы создать агента, например, программу, которая с учётом реальных обстоятельств рекомендует, когда сесть на поезд. Ещё один пример — агент, контролирующий потребление электроэнергии. Подробности о самой Fetch.ai, датах тестирования сети агентов, список партнёров стартапа (который включает Кембриджский Университет) и ссылки на ресурсы, включая репозиторий GitHub, — под катом.


Приятного чтения!

Три закона Азимова помогли сформировать ИИ. Нам нужно еще четыре

Reading time10 min
Views21K
Три закона робототехники Айзека Азимова, вероятно, являются самыми известными и влиятельными из когда-либо написанных в сайенс-фикшн строк в направлении технической политики. Известный писатель предположил, что по мере того, как машины будут обретать большую автономию и играть большую роль в жизни человека, нам понадобятся жёсткие правила, чтобы они не могли нанести нам вред.

Теперь, с A.I., автоматизацией и восходом заводской робототехники создаваемые машинами и их производителями опасности ещё более сложны и насущны. Специально к старту нового потока курса Machine Learning представляем вам перевод интервью с Фрэнком Паскуале, профессором Бруклинского юридического института, который в провокационной книге New Laws of Robotics: Defending Human Expertise in the Age of AI предлагает добавить четыре новых закона к трём законам Азимова.


Приятного чтения!

Лучшие в Kaggle: что такое соревновательный дата-сайенс и как достичь в нем успеха

Reading time6 min
Views14K
Привет Хабр! В блоге на нашем сайте мы регулярно публикуем статьи про данные и всё, что с ними связано. Некоторые материалы оттуда публикуем и здесь.

Как компании узнают, кто из дата-сайентистов круче, когда нанимают их на работу? Как показать свой талант и стать известным в сообществе? На основе чего формируется рейтинг, исходя из которого вас потом могут нанять на престижную позицию? Рассказываем про самую известную состязательную платформу, возможности и правила ее игры, а еще раскрываем список лучших участников из России.


Приятного чтения!

Наша Вселенная — огромная нейронная сеть, и вот почему

Reading time8 min
Views36K
10 сентября 2020 года мир облетела новость о том, что мир, по мнению физика Виталия Ванчурина, может быть огромной нейронной сетью. Специально к старту новых потоков курса «Machine Learning» и версии для подготовленных спецов «Machine Learning Pro + Deep Learning» представляем вам перевод материала — рассуждения о таком подходе к модели мира в свете других современных и порой весьма смелых теорий.


Приятного чтения!

Сколько зарабатывает дата-сайентист: обзор зарплат и вакансий в 2020

Reading time7 min
Views61K
Привет, Хабр! Наша прошлая статья, в которой мы анализировали рынок вакансий и зарплат профессии «аналитик данных», была очень тепло встречена. Поэтому мы решили продолжить. Встречайте обзор российского рынка профессии дата-сайентиста.

Дата-сайентист — одна из самых быстрорастущих специальностей XXI века. По прогнозам компании Frost & Sullivan, рынок аналитики больших данных в ближайшие 10 лет будет расти в среднем на 35,9 % в год. 

В этой статье мы рассмотрим, сколько денег может получать дата-сайентист (спойлер: очень много), какие требования чаще всего есть в вакансиях, как прийти в DS и куда развиваться. Готовы? Поехали!


Приятного чтения!

Как сделать так, чтобы ИИ не стал предвзятым? Принципы справедливого моделирования

Reading time8 min
Views2.1K
Справедливое моделирование — это область искусственного интеллекта, которая гарантирует, что на результат машинного моделирования не влияют такие защищённые атрибуты, как пол, раса, религия, сексуальная ориентация и т. д. В последнее время справедливое моделирование привлекло значительное внимание в научном сообществе и промышленности, ведь сейчас многие решения принимаются на основе результатов от моделей машинного обучения.

В мире, где люди борются за равенство, обеспечение справедливого поведения моделей должно быть главным приоритетом. Сегодня специально к старту курса «Машинное обучение» представляем вам перевод статьи, в которой показано, как с помощью Fairlearn можно выявить и решить проблему недобросовестного поведения моделей машинного обучения.


Приятного чтения!

Как создавать необычно красивые линии? Изучаем поле течений

Reading time7 min
Views9.9K

Поля течения - невероятно мощный и гибкий инструмент-алгоритм для создания необычных линий. Это один из основных инструментов, который я несколько лет использовал в моих генеративных произведениях, и я осознаю, что обращаюсь к нему снова и снова. Вполне возможно, что я использовал его столько раз при написании кода, сколько не использовал никто другой.

Также поля течения - то, на что программисты натыкаются в первую очередь, когда только начинают заниматься генеративным искусством, но немногие уделяют время детальному изучению принципов их работы и тому, как их можно использовать. В этой статье я освечу основы полей течения, предложу разные варианты их использования и дам советы как сделать из них что-то красивое.

Осторожно, много тяжелых красивых картинок

Как работает QR-код?

Reading time6 min
Views95K
Привет Хабр!

В 2020 году многие россияне впервые столкнулись с QR-кодами — сначала они были нужны для регистрации выхода из дома, затем для входа в бар или клуб. Технология проста в использовании, но интересна изнутри, а придумали её совсем не для контроля и изоляции. «Код быстрого реагирования» появился как альтернатива штрихкоду, он может передавать до 4296 букв и цифр и при желании принимает форму можжевеловой изгороди. Представляем исчерпывающий гид по QR-кодам.


Приятного чтения!

Information

Rating
2,931-st
Location
Россия
Registered
Activity