Pull to refresh
@napa3umread⁠-⁠only

Программист

Send message

Метрики в задачах машинного обучения

Reading time9 min
Views670K

Привет, Хабр!



В задачах машинного обучения для оценки качества моделей и сравнения различных алгоритмов используются метрики, а их выбор и анализ — непременная часть работы датасатаниста.


В этой статье мы рассмотрим некоторые критерии качества в задачах классификации, обсудим, что является важным при выборе метрики и что может пойти не так.


Читать дальше →
Total votes 40: ↑39 and ↓1+38
Comments9

Смарт контракты Ethereum: структурируем токены как акции

Reading time9 min
Views28K
В настоящее время идет настоящая волна хайпа криптовалют и череда успешных ICO самых разнообразных проектов, в том числе имеющих весьма сомнительное или не имеющих вообще никакого отношения к децентрализации и другим базовым принципам блокчейн. В ходе ICO на продажу широкой публике выставляются некие виртуальные сущности – токены. Наполнение этих самых токенов какой-либо реальной «ценностью», как правило, уникально для каждого проекта. В рамках данной статьи я хочу рассмотреть структурирование токена как «акции», когда держатель этих токенов претендует на получение дивидендов от проекта, пропорционально имеющемуся у него проценту токенов от общей эмиссии. Это создает целый ряд правовых коллизий и неопределенностей, поэтому на сегодня нет ни одного крупного проекта, построенного по этой логичной и понятной для инвесторов модели, но юридические аспекты мы вынесем за скобки и остановимся лишь на технической реализации.
Читать дальше →
Total votes 12: ↑10 and ↓2+8
Comments9

Что же такое этот GraphQL?

Reading time9 min
Views694K

Вашему вниманию предлагаю перевод статьи Sacha Greif "Что же такое этот GraphQL?"


Если вы такой же, как и я, вы обычно проходите через три этапа, когда узнаёте о новой технологии:


  • Отрицание: Ещё одна JavaScript библиотека?! Зачем? У меня уже есть jQuery!
  • Интерес: Хм, наверное мне следует взглянуть на эту библиотеку...
  • Паника: Помогите! Мне нужно изучить эту библиотеку прямо сейчас, иначе мои знания устареют!

Есть одна хитрость для поддержания благоразумия в эпоху быстроразвивающихся технологий: изучать новые вещи между вторым и третьим этапом, как только интерес задет, но пока технология ещё не распространена повсеместно.


Именно поэтому сейчас самое время узнать, что же такое этот GraphQL, о котором вы повсюду слышите.

Читать дальше →
Total votes 23: ↑22 and ↓1+21
Comments55

Библиотеки для глубокого обучения: Keras

Reading time13 min
Views171K

Привет, Хабр! Мы уже говорили про Theano и Tensorflow (а также много про что еще), а сегодня сегодня пришло время поговорить про Keras.


Изначально Keras вырос как удобная надстройка над Theano. Отсюда и его греческое имя — κέρας, что значит "рог" по-гречески, что, в свою очередь, является отсылкой к Одиссее Гомера. Хотя, с тех пор утекло много воды, и Keras стал сначала поддерживать Tensorflow, а потом и вовсе стал его частью. Впрочем, наш рассказ будет посвящен не сложной судьбе этого фреймворка, а его возможностям. Если вам интересно, добро пожаловать под кат.


image
Читать дальше →
Total votes 55: ↑55 and ↓0+55
Comments13

Дайджест Университета ИТМО: материалы для тех, кто хочет влиться в Data Science

Reading time6 min
Views20K
Сегодня мы подготовили для вас дайджест, в котором постарались собрать самые интересные литературные источники, статьи, видеокурсы и лекции (в том числе подготовленные силами преподавателей, студентов и сотрудников Университета ИТМО), которые позволят познакомиться с Data Science.

Эти материалы затрагивают как теоретические аспекты работы с данными, так и практические — направленные на создание алгоритмов и написание программ.

Total votes 28: ↑26 and ↓2+24
Comments2

Введение в машинное обучение с tensorflow

Reading time12 min
Views196K
Если мы в ближайшие пять лет построим машину с интеллектуальными возможностями одного человека, то ее преемник уже будет разумнее всего человечества вместе взятого. Через одно-два поколения они попросту перестанут обращать на нас внимание. Точно так же, как вы не обращаете внимания на муравьев у себя во дворе. Вы не уничтожаете их, но и не приручаете, они практически никак не влияют на вашу повседневную жизнь, но они там есть.
Сет Шостак

Введение.


Серия моих статей является расширенной версией того, что я хотел увидеть когда только решил познакомиться с нейронными сетями. Он рассчитан в первую очередь на программистов, желающих познакомится с tensorflow и нейронными сетями. Уж не знаю к счастью или к сожалению, но эта тема настолько обширна, что даже мало-мальски информативное описание требует большого объёма текста. Поэтому, я решил разделить повествование на 4 части:

  1. Введение, знакомство с tensorflow и базовыми алгоритмами (эта статья)
  2. Первые нейронные сети
  3. Свёрточные нейронные сети
  4. Рекуррентные нейронные сети

Изложенная ниже первая часть нацелена на то, чтобы объяснить азы работы с tensorflow и попутно рассказать, как машинное обучение работает впринципе, на примере tensorfolw. Во второй части мы наконец начнём проектировать и обучать нейронные сети, в т.ч. многослойные и обратим внимание на некоторые нюансы подготовки обучающих данных и выбора гиперпараметров. Поскольку свёрточные сети сейчас пользуются очень большой популярность, то третья часть выделена для подробного объяснения их работы. Ну, и в заключительной части планируется рассказ о рекуррентных моделях, на мой взгляд, — это самая сложная и интересная тема.
Читать дальше →
Total votes 54: ↑49 and ↓5+44
Comments9

Как полюбить машинное обучение и перестать страдать

Reading time6 min
Views33K
Наше будущее все больше становится связано с развитием искусственного интеллекта. Кто-то считает, что это конец эры человечества, а кто-то садится, проходит курсы и пилит код, чтобы разобраться с машинным обучением. Я отношусь ко второй категории. В свое время, когда я задумывалась об освоении этой науки и начала проходить первые курсы, хотелось опустить руки. Сложности материалов и страданиям, казалось, нет предела. Сейчас, с высоты своего опыта, я понимаю, что всего этого можно было бы избежать. Поэтому под катом хочу поделиться основами ML для новичков «без боли».


Читать дальше →
Total votes 39: ↑32 and ↓7+25
Comments14

Синдром хронической усталости. Как гормоны нас устают

Reading time8 min
Views127K
image

Обмен веществ в организме регулируется железами, вырабатывающими гормоны. Управление гормонами принадлежит гипофизу, который контролируется гипоталамусом. Гипоталамус — защитная система организма, его предохранитель, и часто он выключается при СХУ из-за недостатка энергии.

Благодаря возросшему уровню стрессов гормональные проблемы сегодня не редкость, особенно в городской среде.

Из-за постоянной спешки и недостатка времени мы часто не замечаем сигналов нашего организма, таких как повышенная утомляемость и раздражительность, а они могут свидетельствовать о нарушении в его работе и сбоях в гормональной системе.
Об этом в статье и пойдет речь.
Читать дальше →
Total votes 28: ↑16 and ↓12+4
Comments16

От моноидов к алгебрам де Моргана. Строим абстракции на Haskell

Reading time14 min
Views13K

Что общего у нормального распределения, конечных автоматов, хеш-таблиц, произвольных предикатов, строк, выпуклых оболочек, афинных преобразований, файлов конфигураций и стилей CSS? А что объединяет целые числа, типы в Haskell, произвольные графы, альтернативные функторы, матрицы, регулярные выражения и статистические выборки? Наконец, можно ли как-то связать между собой булеву алгебру, электрические цепи, прямоугольные таблицы, теплоизоляцию труб или зданий и изображения на плоскости? На эти вопросы есть два важных ответа: 1) со всеми этими объектами работают программисты, 2) эти объекты имеют сходную алгебраическую структуру: первые являются моноидами, вторые — полукольцами, третьи — алгебрами де Моргана.

Читать дальше →
Total votes 35: ↑34 and ↓1+33
Comments12

Поиск в пространстве стратегий. AI водитель

Reading time6 min
Views9K

Выкладываю отчёт о своём эксперименте в области машинного обучения. В этот раз темой эксперимента было создание AI для управления моделькой автомобиля.
Читать дальше →
Total votes 24: ↑22 and ↓2+20
Comments10

Синдром хронической усталости: как разобраться со сном, если ты устал уставать

Reading time6 min
Views47K
image

Проблема хронической усталости близка каждому. Сегодняшняя статья по книге «Вечно уставший» Джейкоба Тейтельбаума посвящена нарушениям сна и способам их исправления.

Почему сон важен


Ежедневные восемь часов ночного сна — один из самых эффективных способов повысить жизненный тонус.

Сегодня среднее время сна — 6 часов 45 минут, а ста годами ранее это были 9 часов. Наши предки ложились спать с заходом солнца и просыпались с рассветом, поэтому иногда их сон достигал 11 часов.

Сегодня проспать 8 часов это уже большая редкость — электричество, интернет и телевидение делают свое дело.
Читать дальше →
Total votes 27: ↑21 and ↓6+15
Comments71

Ansible: настраиваем zsh терминал с antigen, autosuggestions, fzf и красивым prompt одной командой

Reading time6 min
Views47K

Я провожу в терминале много времени, поэтому хочется, чтобы все было красиво, быстро и удобно. Из этого рождается постоянное желание его настраивать, пробовать разные плагины. Шеллом я выбрал для себя zsh лет 5 назад, пару лет назад нашел oh-my-zsh для его удобной настройки.


Со временем к этому конфигу добавились некоторые сбоку торчащие части в виде powerline и percol.


Недавно я решил пересобрать все так, чтобы избавиться от ненужных плагинов, добавить нужные, сделать легкую установку и обновление. В итоге появилась роль ansible-role-zsh, которая полностью настраивает терминалы на локалке и на моих серверах.


Особенности:


  • устанавливается одной командой (кроме шрифта и темы вашего терминального клиента)
  • быстро загружается, быстро работает
  • полностью настраивается через ansible, ~/.zshrc
  • полностью локальная (в систему ничего не ставится, все хранится в ~/.oh-my-zsh)
  • оставляет возможность юзеру вносить свои настройки через ~/.zshrc.local
  • одинаково работает на macOS, старом Debian, Ubuntu, CentOS
  • нормально выглядит на разных цветовых схемах (но лучше всего на Solarized Dark)
  • встроенная подсветка синтаксиса (помогает реже ошибаться и лучше читать длинные команды)
  • автодополнение по истории команд (помогает реже нажимать Ctrl+R)
  • отображение времени для долго выполняемых команд (помогает реже использовать time)

Демонстрация фич за 1 минуту:


Читать дальше →
Total votes 28: ↑26 and ↓2+24
Comments20

Разработка транзакционных микросервисов с помощью Агрегатов, Event Sourcing и CQRS (Часть 2)

Reading time12 min
Views22K


Это завершение переводной статьи о разработке транзакционных приложений с использованием микросервисной архитектуры. Начало.

В первой части статьи мы говорили, что основным препятствием при использовании микросервисной архитектуры является то, что модели предметной области (domain model), транзакции и запросы удивительно устойчивы к разделению по функциональному признаку. Было показано, что решение заключается в реализации бизнес-логики каждого сервиса в виде набора DDD-агрегатов. Каждая транзакция обновляет или создает один единственный агрегат. События используются для поддержания целостности данных между агрегатами (и сервисами).

Во второй части статьи мы увидим, что ключевой задачей при использовании событий является атомарное изменение состояния агрегата и одновременная публикация события. Посмотрим, как решить эту проблему с помощью Event Sourcing — используя событийно-ориентированный подход к проектированию бизнес-логики и системы сохранения состояния. После этого опишем, как микросервисная архитектура затрудняет реализацию запросов к базе данных, и как подход, называемый Command Query Responsibility Segregation (CQRS), помогает реализовывать масштабируемые и производительные запросы.
Читать дальше →
Total votes 21: ↑21 and ↓0+21
Comments36

Базовые принципы машинного обучения на примере линейной регрессии

Reading time20 min
Views184K
Здравствуйте, коллеги! Это блог открытой русскоговорящей дата саентологической ложи. Нас уже легион, точнее 2500+ человек в слаке. За полтора года мы нагенерили 800к+ сообщений (ради этого слак выделил нам корпоративный аккаунт). Наши люди есть везде и, может, даже в вашей организации. Если вы интересуетесь машинным обучением, но по каким-то причинам не знаете про Open Data Science, то возможно вы в курсе мероприятий, которые организовывает сообщество. Самым масштабным из них является DataFest, который проходил недавно в офисе Mail.Ru Group, за два дня его посетило 1700 человек. Мы растем, наши ложи открываются в городах России, а также в Нью-Йорке, Дубае и даже во Львове, да, мы не воюем, а иногда даже и употребляем горячительные напитки вместе. И да, мы некоммерческая организация, наша цель — просвещение. Мы делаем все ради искусства. (пс: на фотографии вы можете наблюдать заседание ложи в одном из тайных храмов в Москве).

Мне выпала честь сделать первый пост, и я, пожалуй, отклонюсь от своей привычной нейросетевой тематики и сделаю пост о базовых понятиях машинного обучения на примере одной из самых простых и самых полезных моделей — линейной регрессии. Я буду использовать язык питон для демонстрации экспериментов и отрисовки графиков, все это вы с легкостью сможете повторить на своем компьютере. Поехали.
Читать дальше →
Total votes 89: ↑82 and ↓7+75
Comments22

Черновик книги Эндрю Ына «Жажда машинного обучения», главы 1-7

Reading time10 min
Views32K
В декабре прошлого года в переписке американских коллег по data science прокатилась волна обсуждения долгожданного черновика новой книги гуру машинного обучения Эндрю Ына (Andrew Ng) «Жажда машинного обучения: стратегии для инженеров в эпоху глубинного обучения». Долгожданного, потому что книга была анонсирована ещё летом 2016 года, и вот, наконец, появилось несколько глав.

image

Представляю вниманию Хабра-сообщества перевод первых семи глав из доступных в настоящий момент четырнадцати. Замечу, что это не финальный вариант книги, а черновик. В нем есть ряд неточностей. Эндрю Ын предлагает писать свои комментарии и замечания сюда. Начинает автор с вещей, которые кажутся очевидными. Дальше ожидаются более сложные концепции.
Читать дальше →
Total votes 48: ↑47 and ↓1+46
Comments9

Генные сети, управляющие строением тела животных

Reading time9 min
Views27K
image
Как при помощи генных сетей превратить яйцо сначала в личинку, а затем во взрослую муху? Муха, как и другие насекомые, состоит из сегментов. Сегменты объединяются в три группы — голова, грудь и брюшко. На сегменте может быть пара конечностей. В груди три сегмента, на каждом по паре ножек. Второй грудной сегмент имеет еще крылья, а третий — жужжальца (маленькие рулевые крылышки, практически незаметные без лупы). Брюшко состоит из восьми сегментов, конечностей на них нет. В голове исходно было шесть сегментов, но в ходе эволюции насекомых границы между ними совершенно стерлись. Их конечности — это усики, которыми муха нюхает и щупает, и три пары ротовых конечностей. У жука или таракана это были бы жвалы, максиллы и нижняя губа, а у мухи они все сливаются в хоботок.

Чтобы все органы были на своем месте, каждая клетка должна знать, в каком месте зародыша она находится. Поэтому на ранних стадиях развития зародыша, когда в нем еще нет никаких органов и все клетки выглядят одинаково, в нем появляется биохимическая «координатная сетка» с передне-задней, спинно-брюшной и лево-правой осями. Мутации генов, образующих координатную сетку, могут легко и быстро изменить облик животного — передвинуть органы на другое место, изменить их количество и так далее. Поэтому такие гены важны для эволюции животных и очень активно изучается. Генная сеть разметки зародыша у мухи дрозофилы — любимой игрушки генетиков — пожалуй, самая изученная среди генных сетей животных.
Читать дальше →
Total votes 60: ↑60 and ↓0+60
Comments110

Интересные алгоритмы кластеризации, часть первая: Affinity propagation

Reading time11 min
Views52K
Часть первая — Affinity Propagation
Часть вторая — DBSCAN
Часть третья — кластеризация временных рядов
Часть четвёртая — Self-Organizing Maps (SOM)
Часть пятая — Growing Neural Gas (GNG)

Если вы спросите начинающего аналитика данных, какие он знает методы классификации, вам наверняка перечислят довольно приличный список: статистика, деревья, SVM, нейронные сети… Но если спросить про методы кластеризации, в ответ вы скорее всего получите уверенное «k-means же!» Именно этот золотой молоток рассматривают на всех курсах машинного обучения. Часто дело даже не доходит до его модификаций (k-medians) или связно-графовых методов.

Не то чтобы k-means так уж плох, но его результат почти всегда дёшев и сердит. Есть более совершенные способы кластеризации, но не все знают, какой когда следует применять, и очень немногие понимают, как они работают. Я бы хотел приоткрыть завесу тайны над некоторыми алгоритмами. Начнём с Affinity propagation.

image

Читать дальше →
Total votes 23: ↑23 and ↓0+23
Comments11

Не все так просто с квантовым компьютером

Reading time18 min
Views45K
image

Компьютер компании D-Wave, который она называет квантовым

Усилия в направлении квантового компьютера предпринимаются с начала 80-х прошлого века — столетия великих научных достижений, среди которых КМ стоит на первом месте (хотя без СТО она бы не развилась). В основе квантового компьютинга лежит понятие запутанности (quantum entanglement). Однако, сложившиеся и широко популяризованные взгляды на сей предмет, на мой взгляд, слишком далеко ушли от того, что на самом деле строго вытекает из КМ. Парадигме запутанности посвящена статья, а здесь рассмотрена проблема квантовых вычислений. Главным содержанием настоящей статьи являются критические замечания в отношении научных основ мечты о Святом Граале эпохи интернета.
Читать дальше →
Total votes 63: ↑44 and ↓19+25
Comments134

Запутанная квантовая физика

Reading time13 min
Views36K
image

Феномен квантовой запутанности (entanglement), когда разделенные в пространстве частицы мистическим образом взаимодействуют друг с другом, нахально нарушая запрет на передачу взаимодействий со сверхсветовой скоростью, давно считается частью науки и у научного сообщества не вызывает никаких сомнений. Вполне серьезно изучаются перспективы создания на этой основе квантовых компьютеров. Считается, что их элементы данных — кубиты будут изменять и передавать свое информационное состояние посредством механизма квантовой запутанности. Такая прагматичная организация, как DARPA щедро финансирует эту чудесную науку. А между тем имеет серьезные основания точка зрения, согласно которой квантовая запутанность в смысле парадокса ЭПР — это миф, который прижился в поверхностном слое понимания квантовой механики.
Читать дальше →
Total votes 31: ↑21 and ↓10+11
Comments110

Лояльность 3.0 — шаринг бонусных карт по-домашнему

Reading time34 min
Views26K

«Loyalty & reality». Взгляд автора на рисунок Фуджита Горо со стороны Loyalty: оператор программы лояльности (с удочкой), мерчант (кот), клиент (мышка) и приманка (сыр — дисконт, баллы, «спасибки»).

Шаринг бонусных карт по-домашнему

Карты лояльности (дисконтные карты, бонусные программы) появились давно, мы их используем, забивая свои кошельки колодами «лояльного» пластика (этап «лоялизации» №1, лояльность «в пластике»). Это: и собственные программы и партнерские, в «этап 1,5» можно выделить банковский ко-бренд. Но все равно, «на карете прошлого далеко не уедешь», поэтому в век цифровой трансформации уже не «солидно» таскать в кармане стопку дисконтных и бонусных, а нужную вовремя (на кассе) найти в пухлой колоде карт, главное не допустить катастрофы — забыть нужную дома.

В Гугля-плей появились десятки приложений, которые позволяют распознавать (считывать и восстанавливать) штрих-код карт (QR-код), переводить (фоткать) физические карточки «в цифру» и аккумулировать (хранить) их цифровые образы, как в локальной памяти смартфона, так и на Гугля-драйве. Это уже этап развития №2: e-Кошелек дисконтных и бонусных карт, агрегаторы карт. Частым вопросом (замечанием, пожеланием) к подобному приложению является: как делиться картами с друзьями (шарить карты, картшаринг, этап 2,5)?
Читать дальше →
Total votes 16: ↑10 and ↓6+4
Comments20

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Registered
Activity