io_io

Статистический метод обнаружения аномалий в eBay

• Блог компании .io,
• Анализ и проектирование систем,
• Big Data,
• Визуализация данных

• Перевод

Сложные системы подвержены сбоям многих компонентов, поэтому вполне целесообразно разделить сбои на два класса. К первому можно отнести повторяющиеся сбои, которые возможно предупреждать (например, отказ жесткого диска) и выявлять с помощью непосредственных проверок. Ко второму классу относятся непредвиденные сбои.

Читать дальше →

Как подобрать платье с помощью метода главных компонент

• Блог компании .io,
• Анализ и проектирование систем,
• Визуализация данных,
• Машинное обучение

• Перевод

Итак, кто не против, чтобы одежду ему подбирала программа, машина, нейросеть?

Любой набор изображений возможно проанализировать с помощью метода главных компонент. Этот метод уже довольно успешно применяется при распознавании лиц. Мы же попробуем использовать его на примере женских платьев.

Читать дальше →

Как легко понять логистическую регрессию

• Блог компании .io,
• Анализ и проектирование систем,
• Big Data,
• Машинное обучение

• Перевод
• Tutorial

Логистическая регрессия является одним из статистических методов классификации с использованием линейного дискриминанта Фишера. Также она входит в топ часто используемых алгоритмов в науке о данных. В этой статье суть логистической регрессии описана так, что она станет понятна даже людям не очень близким к статистике.

Читать дальше →

Deep Dream: как обучить нейронную сеть мечтать не только о собаках

• Блог компании .io,
• Анализ и проектирование систем,
• Визуализация данных,
• Машинное обучение

• Перевод
• Tutorial

В июле всех порадовала статья про deep dream или инцепционизм от Google. В статье подробно рассказывалось и показывалось как нейронные сети рисуют картины и зачем их заставили это делать. Вот эта статья на хабре.

Теперь все, у кого настроена среда caffe, кому скучно и у кого есть свободное время могут сделать собственные фотки в стиле инцепционизм. Одна проблема — почти на всех фотках получаются собаки. Как же избавится от элементов с псами в изображениях deep dream и обучить свою нейронную сеть пользоваться другими картинками?

Читать дальше →

MCMC и байесова статистика в BASIC

• Блог компании .io,
• Анализ и проектирование систем,
• Small Basic,
• Big Data,
• Визуализация данных

• Перевод

BASIC был одним из самых распространенных языков программирования. В 80-х он шел в стандартном наборе программ на компьютере (например, Commodore 64 и Apple II), а в 90х и DOS и Windows 95 включали в себя QBasic IDE.

QBasic был также моим первым языком программирования. Я не программировал на Бейсике уже почти 20 лет и решил вспомнить этот действительно странный язык. Поскольку я провел много времени за байесовскими алгоритмами, я подумал, что будет интересно увидеть как байесовская аналитика будет выглядеть в утилите 20-летней давности.

Читать дальше →

14 новых ролей в Big Data

• Блог компании .io,
• Анализ и проектирование систем,
• Data Mining,
• SaaS / S+S,
• Big Data

Количество данных растет с каждым днем огромными рывками. Ежедневно в сеть заливается 2,3 триллиона гигабайт данных. К 2017 году ожидается, что количество данных вырастет на 800%. Чем больше данных, тем выше спрос на специалистов по их обработке.

Наука о данных настолько динамично развивается, что у каждого специалиста есть своя узкая зона ответственности. Мартин Джонс (Martin Jones), CEO и co-founder в Cambriano Energy предлагает выделить 14 основных ролей в работе с большими данными.

Читать дальше →