Как стать автором
Обновить
1
0
Сергей Сидорук @mad_s

Пользователь

Отправить сообщение

Материалы открытого курса OpenDataScience и Mail.Ru Group по машинному обучению и новый запуск

Время на прочтение 9 мин
Количество просмотров 146K

Недавно OpenDataScience и Mail.Ru Group провели открытый курс машинного обучения. В прошлом анонсе много сказано о курсе. В этой статье мы поделимся материалами курса, а также объявим новый запуск.



UPD: теперь курс — на английском языке под брендом mlcourse.ai со статьями на Medium, а материалами — на Kaggle (Dataset) и на GitHub.


Кому не терпится: новый запуск курса — 1 февраля, регистрация не нужна, но чтоб мы вас запомнили и отдельно пригласили, заполните форму. Курс состоит из серии статей на Хабре (Первичный анализ данных с Pandas — первая из них), дополняющих их лекций на YouTube-канале, воспроизводимых материалов (Jupyter notebooks в github-репозитории курса), домашних заданий, соревнований Kaggle Inclass, тьюториалов и индивидуальных проектов по анализу данных. Главные новости будут в группе ВКонтакте, а жизнь во время курса будет теплиться в Slack OpenDataScience (вступить) в канале #mlcourse_ai.

Всего голосов 80: ↑79 и ↓1 +78
Комментарии 24

Блиц-проверка алгоритмов машинного обучения: скорми свой набор данных библиотеке scikit-learn

Время на прочтение 21 мин
Количество просмотров 23K
image

Глобальная паутина изо дня в день пополняется статьями о популярных, наиболее употребляемых алгоритмах машинного обучения для решения различных задач. Причём основа этих статей, немного изменённая по форме в том или ином месте, кочует от одного исследователя данных к другому. При этом все эти работы объединяет один общепринятый, непреложный постулат: применение того или иного алгоритма машинного обучения зависит от размера и природы имеющихся в распоряжении данных и поставленной задачи.

Вдобавок к этому особо настоявшиеся исследователи данных, делясь своим опытом, подчёркивают: «Выбор метода оценки должен частично зависеть от ваших данных и от того, в чём, по вашему мнению, модель должна быть хороша» («Data Science: инсайдерская информация для новичков. Включая язык R», авторы Кэти О’Нил, Рэйчел Шатт).
Читать дальше →
Всего голосов 22: ↑18 и ↓4 +14
Комментарии 36

«Cделать красиво». Визуализация обучения с Tensorboard от Google

Время на прочтение 5 мин
Количество просмотров 28K
image

Красота, как известно, требует жертв, но и мир обещает спасти. Достаточно свежий (2015г) визуализатор от Google призван помочь разобраться с процессами, происходящими в сетях глубокого обучения. Звучит заманчиво.

Красочный интерфейс и громкие обещания затянули на разбор этого дизайнерского шайтана, с неинтуитивно отлаживающимися глюками. API непривычно скудный и часто обновляющийся, примеры в сети однотипны (глаза уже не могут смотреть на заезженный MNIST).

Чтобы опыт не прошел зря, решила поделиться максимально простым описанием инсайтов с хабравчанами, ибо рускоязычных гайдов мало, а англоязычные все как на одно лицо. Может, такое введение поможет вам сократить время на знакомство с Tensorboard и количество ругательных слов на старте. Также буду рада узнать, какие результаты он дал в вашем проекте и помог ли в реальной задаче.
Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 9

Введение в машинное обучение с tensorflow

Время на прочтение 12 мин
Количество просмотров 193K
Если мы в ближайшие пять лет построим машину с интеллектуальными возможностями одного человека, то ее преемник уже будет разумнее всего человечества вместе взятого. Через одно-два поколения они попросту перестанут обращать на нас внимание. Точно так же, как вы не обращаете внимания на муравьев у себя во дворе. Вы не уничтожаете их, но и не приручаете, они практически никак не влияют на вашу повседневную жизнь, но они там есть.
Сет Шостак

Введение.


Серия моих статей является расширенной версией того, что я хотел увидеть когда только решил познакомиться с нейронными сетями. Он рассчитан в первую очередь на программистов, желающих познакомится с tensorflow и нейронными сетями. Уж не знаю к счастью или к сожалению, но эта тема настолько обширна, что даже мало-мальски информативное описание требует большого объёма текста. Поэтому, я решил разделить повествование на 4 части:

  1. Введение, знакомство с tensorflow и базовыми алгоритмами (эта статья)
  2. Первые нейронные сети
  3. Свёрточные нейронные сети
  4. Рекуррентные нейронные сети

Изложенная ниже первая часть нацелена на то, чтобы объяснить азы работы с tensorflow и попутно рассказать, как машинное обучение работает впринципе, на примере tensorfolw. Во второй части мы наконец начнём проектировать и обучать нейронные сети, в т.ч. многослойные и обратим внимание на некоторые нюансы подготовки обучающих данных и выбора гиперпараметров. Поскольку свёрточные сети сейчас пользуются очень большой популярность, то третья часть выделена для подробного объяснения их работы. Ну, и в заключительной части планируется рассказ о рекуррентных моделях, на мой взгляд, — это самая сложная и интересная тема.
Читать дальше →
Всего голосов 54: ↑49 и ↓5 +44
Комментарии 9

Hello, TensorFlow. Библиотека машинного обучения от Google

Время на прочтение 11 мин
Количество просмотров 227K

tensorflow


Проект TensorFlow масштабнее, чем вам может показаться. Тот факт, что это библиотека для глубинного обучения, и его связь с Гуглом помогли проекту TensorFlow привлечь много внимания. Но если забыть про ажиотаж, некоторые его уникальные детали заслуживают более глубокого изучения:


  • Основная библиотека подходит для широкого семейства техник машинного обучения, а не только для глубинного обучения.
  • Линейная алгебра и другие внутренности хорошо видны снаружи.
  • В дополнение к основной функциональности машинного обучения, TensorFlow также включает собственную систему логирования, собственный интерактивный визуализатор логов и даже мощную архитектуру по доставке данных.
  • Модель исполнения TensorFlow отличается от scikit-learn языка Python и от большинства инструментов в R.

Все это круто, но TensorFlow может быть довольно сложным в понимании, особенно для того, кто только знакомится с машинным обучением.


Как работает TensorFlow? Давайте попробуем разобраться, посмотреть и понять, как работает каждая часть. Мы изучим граф движения данных, который определяет вычисления, через которые предстоит пройти вашим данным, поймем, как тренировать модели градиентным спуском с помощью TensorFlow, и как TensorBoard визуализирует работу с TensorFlow. Наши примеры не помогут решать настоящие проблемы машинного обучения промышленного уровня, но они помогут понять компоненты, которые лежат в основе всего, что создано на TensorFlow, в том числе того, что вы напишите в будущем!

Читать дальше →
Всего голосов 71: ↑68 и ↓3 +65
Комментарии 12

Особенности переустановки предустановленной Windows 8

Время на прочтение 8 мин
Количество просмотров 542K
… или как создать себе проблему, а затем героически её преодолеть.

Хочу поделиться полученным опытом, чтобы вы избежали моих ошибок и сэкономили себе время, силы, и самое главное — нервы. Массу нервов. Принесли мне вчера для обслуживания ультрабук свежих серий, двухбуквенной компании, с описанием «ужасно тормозит, не работают браузеры». Первичный осмотр показал заражение парой троянцев, неработоспособность ни одного из четырех браузеров, установленных пользователями в системе, общую замусоренность системы утилитами из разряда «поставь меня — увеличь себе ускорь компьютер» и некоторый урон, нанесенный утилитами для «очистки» реестра, поставленных пользователями в надежде победить проблемы. После осмотра я решил (святая наивность), что проще будет переустановить систему по-чистой, чем лечить и восстанавливать это всё, благо, как я думал, за счет хранящегося на жестком диске раздела восстановления с родным программным обеспечением это будет минутным делом. Дальнейший рассказ покажет, как жестоко я ошибался в этом.

Итого, имеем ультрабук с Windows 8, рабочим разделом восстановления и отсутствием каких-либо дисков в комплекте поставки (этот момент важен). Бук в качестве стартового ПО имеет UEFI, что в принципе для использования с Windows 8 логично, и даже было бы удобно, если бы не одно но — ключ для установки системы зашит в таблицу данных ACPI, в поддтаблицу MSDM. На тот момент я ещё этого не знал, да и не думал, что мне это понадобится.

Читать дальше →
Всего голосов 112: ↑106 и ↓6 +100
Комментарии 142

Как мы официально стали СМИ

Время на прочтение 4 мин
Количество просмотров 43K
Приветствую почтенных Хабражителей! На прошлой неделе я лично получил из рук сотрудницы Роскомнадзора вот такую бумагу с печатью и водяными знаками:


Порядок регистрации сетевого СМИ уже неоднократно освещался, в том числе на Хабре. Под катом я расскажу о нескольких подводных камнях, с которыми мы столкнулись на пути к этому.
Читать дальше →
Всего голосов 49: ↑40 и ↓9 +31
Комментарии 28

То, чего еще никто не писал про Нокиа, Элопа и горящую платформу

Время на прочтение 40 мин
Количество просмотров 547K
Взявшись за этот пост, автор полностью отдает себе отчет. И в том что «набило оскомину». И что «только ленивый не кинул камень». И про то что «хватит уже, достали». Однако, вдоволь начитавшись доморощенных и не очень аналитиков, автор решил все-таки выразить собственное мнение, которое отличается от того общепринятого, что с некоей мазохистской истомой доселе перепечатывалось здесь и тут различными авторами, интерпретаторами и переводчиками. Вероятно кому-то будет интересно его прочитать.

Традиционно, для тех кто не любит много буков, краткие (более-менее) тезисы:

  • Будучи долгое время лидером на рынке, Нокиа сильно расслабилась и загадила свою внутреннюю инфраструктуру бюрократией, чрезмерным аутсорсингом и огромным количеством бесполезной «менеджерской прослойки».
  • Будучи долгое время лидером, Нокиа просрала потратила много денег на ненужные операционные расходы, поглощения никому не нужных фирм и на невменяемую модель аутсорсинга.
  • Полностью оторвавшись от реальности с уходом Йормы Оллилла, Нокиа, под управлением гениального юриста CEO Олли-Пекки Каласвуо, потратила кучу денег и усилий на создание бесполезной и неконкурентоспособной сервисной инфраструктуры Ovi. В результате этого, помимо денег, Нокиа потеряла уйму полезного времени, которое можно и нужно было потратить на развитие основного бизнеса — телефонов, софта и т.д.
  • Бюрократия и непотопляемая менеджерская прослойка в Нокиа, последовательно мигрировала из одного передового проекта в другой, в составе одних и тех же групп лиц, самореплицируясь в виде кучи формальных дебилопроцессов комитетов и управленческих групп, немного перетасовываемых с учетом специфики. В итоге именно эта бюрократия убила и Symbian, и Ovi, и MeeGo и остальные попытки догнать уходящий поезд своими силами.
  • Борьба с бюрократией и прослойкой в Нокиа зашла в полный тупик.
  • У великого CEO Элопа просто не было другого выхода кроме как прибить всю старую, неповоротливую и прогнившую организацию, путем создания альянса с Майкрософтом и переходом на Windows Phone. Тем самым все старые процессы, компетенции, технологии и самое главное — люди резко стали, что называется, «не в тему». И следовательно тем самым можно было под благовидным предлогом прибить этот табун менеджеров, бесконечно рисующих фэнтезийные роадмапы с единорогами и перекладывающих бумаги с левого края стола на правый.
  • Новая Нокиа, после 2011 года и старая Нокиа до 2011 года – это две РАЗНЫЕ организации. Их объединяет только общее название и операционка S40 для телефонов Asha.
  • Горящая платформа, это не Symbian и не MeeGo. Горящая платформа, это то состояние в которое Нокиа загнали годы расслабленного лидерства и тупоголовые амбиции предыдущего CEO – Олли-Пекки Каласвуо с кликой подкаркивающих вице-президентов.
  • С бюрократией и бизнес процессами, имеющимися на 2010 год, Нокиа не спас бы ни Андроид, ни половина населения Бангалора, пишущих на Qt под MeeGo. Даже если бы Apple бесплатно передал Нокиа iOS и все сервисы, то они бы выродились руками всяких Requirement Managerов в типичные Нокийские дизайн-химеры и в итоге загнулись через какое-то время.
  • То, что сделал великий CEO Элоп – было единственно возможным разумным решением, дающим хоть какие-то шансы на выживание. Вопрос «каким образом он это сделал?», остается открытым, равно как и вопрос «поможет ли это Нокиа?» в итоге. Не следует забывать, что нынешняя Нокиа — это совершенно новая организация, поэтому глупо предполагать, что она разом вернет себе лидерство. Как и всем новым организациям ей придется за это лидерство долго бороться.
  • Без ошибок и побед Нокиа никогда не было бы ни Андроида, ни Айфона. И Google и Apple тщательно проанализировали достоинства и недостатки более старших конкурентов перед тем как шагнуть вперед.

Все это в деталях — под катом. Предупреждаю что клевых картинок там нет. Сплошное графоманство и ёрничанье.
Читать дальше →
Всего голосов 548: ↑505 и ↓43 +462
Комментарии 330

Pantech Burst — андроидфон по приятной цене

Время на прочтение 4 мин
Количество просмотров 94K
    Какой более-менее вменяемый смартфон сегодня можно приобрести за сумму чуть более чем $100? Вот и я не так давно задался этим вопросом и начал поиск.

    Покупать китайского товарища совсем не хотелось, решил изучить рынки Европы и США на предмет такого устройства, т.к. часто «у них» можно найти выдающиеся аппараты практически за копейки. Два года назад хитом был Orange San Francisco (ZTE Blade) ценой в £99, но для сегодняшнего времени конечно он уже прилично устарел. Чем же его можно заменить?

    Вашему вниманию хочу представить достойную замену на место старичка — Pantech Burst ценой примерно в $120!
Читать дальше →
Всего голосов 48: ↑33 и ↓15 +18
Комментарии 37

Профилактика ноутбука в домашних условиях

Время на прочтение 5 мин
Количество просмотров 193K
Доброго времени суток. Решил поделиться с вами способом в домашних условиях поддерживать на должном уровне здоровье наших любимых ноутбуков (нетбуков).
Есть одна страшная, а порой и гибельная угроза- перегрев! Многие из вас сталкиваются с тем, что ваш верный помощник обжигает колени, хотя непрерывно воет кулер, либо неплохо нагнетает температуру в уютный (может слегка пыльный) плед, которым вы укутали себя, а заодно и ноут. Тут-то стоит задуматься,- «А к чему бы это?». А ведет все к перегреву, внезапному отключению и отказу к призывам «включиться сейчас же и доиграть в игру». Не тут-то было- он включится только через определенный промежуток времени, в течение которого остынет он естественным путем. А бывает и не включаются, тогда прямая дорога в СЦ, ибо профилактика пациента уже не спасет. После диагностики выявится обычно или спаленный видеочип, либо перегретый мост. Что одно, что другое не очень приятно по цене ремонта. Так что давайте следить за своими устройствами и не доводить до крайних мер.
Читать дальше →
Всего голосов 80: ↑51 и ↓29 +22
Комментарии 112

3d принтеры. Обзор достижений за 2012 год

Время на прочтение 7 мин
Количество просмотров 311K
Молекулы и самолеты, оружие и кровеносные сосуды, протезы и интегральные микросхемы, еда и здания, лекарство от рака, ухо, клюв и ракетный двигатель, все это было напечатано в 2012 году на 3d принтерах.

Данная статья является частичным переводом 3D Printing in 2012: Year In Review.

image

Картинки(70 штук) кликабельны — отсылка на первоисточник.

Читать дальше →
Всего голосов 128: ↑123 и ↓5 +118
Комментарии 108

Вышел Evasi0n: jailbreak для всех устройств под управлением iOS 6.х

Время на прочтение 2 мин
Количество просмотров 143K


Только что команда хакеров Evad3rs выпустила утилиту для непривязанного джейлбрейка прошивки iOS 6.х для всех iOS устройств кроме Apple TV 3G. Это первый джейлбрейк, доступный пользователям с устройствами под управлением процессоров A6 (iPhone 5) и A6X (iPad 4). Также впервые джейлбрейк доступен для iPad Mini, который изначально поставляется с прошивкой версии 6.0. Ранее, jailbreak был доступен для пользователей iPad 3 (процессор А5Х) под управлением iOS 5.
Читать дальше →
Всего голосов 91: ↑60 и ↓31 +29
Комментарии 59

Jiayu G3 — Китайский телефон с европейским качеством

Время на прочтение 3 мин
Количество просмотров 719K

— CPU: MTK 6577 Dual Core 1.0GHz
— GPU: PowerVRTM SGX Series5 3D
— OS Android 4.0 Ice Cream Sandwich (ICS)
— Память: оперативная (RAM): 1GB/ внутренняя (ROM): 4GB
— Поддерживает Micro SD Memory Card (TF-Card), до 32GB
— Габариты: 135 x 65 x 10.8 mm
— Масса: 156 g
— Экран: 4.5 дюйма, матрица IPS, ёмкостный мультитач(7 точек) и стекло Gorilla Glass
— HD-разрешение (1280 x 720 pixels)
— Поддержка сетей: (2 сим-карты) Network Dual SIM G+G W+G
— 2G:GSM 850/900/1800/1900MHz
— 3G:WCDMA 850/900/1900/2100MHz
— Встроенный GPS & A-GPS
— Bluetooth with EDR & A2DP
— Wi-Fi IEEE 802.11 b/g
— Две камеры: основная 8.0 / фронтальная 1.3 мегапикселей
— Gravity Sensor, Proximity Sensor, Light Sensor
— Литий-ионная батарея 2750 mAh
Читать дальше →
Всего голосов 100: ↑80 и ↓20 +60
Комментарии 242

OS Xак — мой опыт

Время на прочтение 4 мин
Количество просмотров 131K
Тема хакинтош — довольно занимательная штука, за которой я слежу и представляю себе «что там да как». Недавно назрела необходимость покупки нового PC домой. Ничего необычного, никаких супер компьютеров, самый середняковый компьютер для дома почитать новости, почту, посмотреть фотки, качнуть фильмец (ну или зачем там еще люди используют компьютер дома?). Вот тут то и закралась у меня мысль совместить приятное с приятным – собрать PC, максимально совместимый с OS X.
Собственно, своим опытом сборки Хакинтоша я и решил поделится в данном топике, всех кому это может быть интересно прошу под кат.
Читать дальше →
Всего голосов 84: ↑57 и ↓27 +30
Комментарии 97

Монитор с соотношением сторон 21:9 от LG

Время на прочтение 1 мин
Количество просмотров 101K


Монитор EA93 UltraWide от LG является первым монитором с соотношением сторон 21:9.
Читать дальше →
Всего голосов 50: ↑40 и ↓10 +30
Комментарии 144

AdBlock Plus для Android (рут не нужен)

Время на прочтение 1 мин
Количество просмотров 195K


Версия 1.0 доступна для скачивания в маркете (нужен Android 2.1 и старше). Приложение успешно режет рекламу, показываемую как в вебе, так и в приложениях.

Пользователей это должно порадовать, а вот разработчиков, предлагающих бесплатные приложения с небольшой рекламой, вряд ли.
Читать дальше →
Всего голосов 84: ↑70 и ↓14 +56
Комментарии 122

National Geographic выпустила жесткий диск со всеми выпусками журнала 1888-2009 и бонусами

Время на прочтение 1 мин
Количество просмотров 36K


Из всей массы телеканалов, что сейчас доступны, я смотрю только 2-3. Это National Geographic, Viasat HIstory и иногда Discovery. Если бы не эти каналы, вероятно, и телевизора дома бы не было. На National Geographic особенно много интересных передач, да и сам журнал весьма интересен. Правда, посмотреть и почитать материалы National Geographic не всегда представляется возможным. Но сегодня я случайно прочитал новость о том, что National Geographic выпустил в продажу жесткий диск объемом в 160 ГБ, со всеми выпусками своего журнала (1888-2009 года) и множеством бонусов.

Читать дальше →
Всего голосов 61: ↑58 и ↓3 +55
Комментарии 47

Google представил Samsung Chromebook за 249 долларов

Время на прочтение 1 мин
Количество просмотров 143K


Google анонсировал новый Chromebook стоимостью 249 долларов, сообщает The Verge. В ноутбуке, который появится в продаже уже в понедельник, используется ARM-чип Exynos 5 Dual, основанный на новой архитектуре Cortex-A15.

Устройство подключается к Интернету только через Wi-Fi, имеет 11,6-дюймовый экран, 16 ГБ памяти, 2 ГБ оперативной памяти и Bluetooth. Также есть SD-слот для увеличения объёма памяти. Весит Chromebook 1,13 кг, толщина — 2,03 см, есть два USB-порта и HDMI-выход. Время его работы, как утверждается, составит 6 с половиной часов.

Все спецификации разработаны для снижения цены и увеличения скорости — Google утверждает, что ноутбук в состоянии показывать 1080p-видео при частоте 30 кадров в секунду.
Всего голосов 84: ↑69 и ↓15 +54
Комментарии 247

«Пиратская машина»: будущая пропаганда против 3D-принтеров

Время на прочтение 2 мин
Количество просмотров 52K


Как и любая «разрушительная» технология прошлых лет, от печатного пресса до копировальной машины, 3D-принтеры угрожают разрушить сложившиеся традиционные схемы производства товаров и получения коммерческой выгоды. Однако, производители товаров с миллиардными оборотами не сдадутся без боя. По мнению юриста Майкла Вайнберга (Michael Weinberg), эксперта по интеллектуальной собственности из компании Public Knowledge, здесь нужно ожидать массированной атаки правообладателей — такой же мощной атаки, какая идёт в сфере нелицензионного копирования аудио- и видеоматериалов. Производители товаров наверняка пролоббируют принятие нового законопроекта против 3D-печати, по аналогии с DMCA, начнут охоту на хостеров CAD-файлов, заведут уголовные дела против пользователей — и далее по знакомому списку.
Читать дальше →
Всего голосов 61: ↑53 и ↓8 +45
Комментарии 73

Как открыть свой интернет-магазин Ecwid на Facebook и Google Sites

Время на прочтение 6 мин
Количество просмотров 70K
Никаких веб-студий, техзаданий, кодов и программ. Самостоятельно и бесплатно. Быстро и без лишних заморочек. Просто пара-тройка дружеских советов как всего за 1 час открыть свой собственный магазин в Интернете.
Порядок действий укладывается в 3 приема.
— Создание магазина на Ecwid
— Установка магазина на странице Facebook
— Установка магазина на странице Google Sites
Вся информация из официальных хелпов и баз знаний. Поэтому для разработчиков магазинов эти советы очевидны, элементарны и примитивны. Однако надеюсь, что советы будут полезны тем, кто интересуется интернет торговлей, но пока не имеет специальных знаний и опыта.


Читать дальше →
Всего голосов 34: ↑21 и ↓13 +8
Комментарии 38

Информация

В рейтинге
Не участвует
Откуда
Россия
Дата рождения
Зарегистрирован
Активность