Мобильные операторы, предоставляя разнообразные сервисы, накапливают огромное количество статистических данных. Я представляю отдел, реализующий систему управления трафиком абонентов, которая в процессе эксплуатации у оператора генерирует сотни гигабайт статистической информации в сутки. Меня заинтересовал вопрос: как в этих Больших Данных (Big Data) выявить максимум полезной информации? Не зря ведь одна из V в определении Big Data — это дополнительный доход.

Я взялся за эту задачу, не являясь специалистом в исследовании данных. Сразу возникла масса вопросов: какие технические средства использовать для анализа? На каком уровне достаточно знать математику, статистику? Какие методы машинного обучения надо знать и насколько глубоко? А может лучше для начала освоить специализированный язык для исследования данных R или Python?

Как показал мой опыт, для начального уровня исследования данных нужно совсем не много. Но мне для быстрого погружения не хватало простого примера, на котором наглядно был бы показан полный алгоритм исследования данных. В этой статье на примере Ирисов Фишера мы пройдем весь путь начального обучения, а далее применим полученное понимание к реальным данным оператора связи. Читатели, уже знакомые с исследованием данных, могут сразу переходить к главе, посвященной Телекому.

Хочу поделиться опытом работы с задачей известного конкурса по машинному обучению от Kaggle. Этот конкурс позиционируется как конкурс для начинающих, а у меня как раз не было почти никакого практического опыта в этой области. Я немного знал теорию, но с реальными данными дела почти не имел и с питоном плотно не работал. В итоге, потратив пару предновогодних вечеров, набрал 0.80383 (первая четверть рейтинга).

kNN расшифровывается как k Nearest Neighbor или k Ближайших Соседей — это один из самых простых алгоритмов классификации, также иногда используемый в задачах регрессии. Благодаря своей простоте, он является хорошим примером, с которого можно начать знакомство с областью Machine Learning. В данной статье рассмотрен пример написания кода такого классификатора на python, а также визуализация полученных результатов.

В данной статье речь пойдёт о машинном обучении в целом и взаимодействии с датасетами. Если вы начинающий, не знаете с чего начать изучение и вам интересно узнать, что такое «датасет», а также зачем вообще нужен Machine Learning и почему в последнее время он набирает все большую популярность, прошу под кат. Мы будем использовать Python 3, так это как достаточно простой инструмент для изучения машинного обучения.

Я все еще не до конца понял, как так получилось, но в прошлом году я слово за слово подписался прочитать курс по Deep Learning и вот, на удивление, прочитал. Обещал — выкладываю!

Курс не претендует на полноту, скорее это способ поиграться руками с основными областями, где deep learning устоялся как практический инструмент, и получить достаточную базу, чтобы свободно читать и понимать современные статьи.

Материалы курса были опробованы на студентах кафедры АФТИ Новосибирского Государственного Университета, поэтому есть шанс, что по ним действительно можно чему-то научиться.

Предисловие переводчика

Доброго времени суток, Хабр. Запускаю цикл статей, которые являются переводом небольшого мана по numpy, ссылочка. Приятного чтения.

• Часть 2
• Часть 3
• Часть 4

Введение

NumPy это open-source модуль для python, который предоставляет общие математические и числовые операции в виде пре-скомпилированных, быстрых функций. Они объединяются в высокоуровневые пакеты. Они обеспечивают функционал, который можно сравнить с функционалом MatLab. NumPy (Numeric Python) предоставляет базовые методы для манипуляции с большими массивами и матрицами. SciPy (Scientific Python) расширяет функционал numpy огромной коллекцией полезных алгоритмов, таких как минимизация, преобразование Фурье, регрессия, и другие прикладные математические техники.

Автоматизация… Сегодня уже никого не удивишь этим словом. С каждым годом создается всё больше и больше различных программ и механизмов, призванных помочь человеку в его работе. Одни организации оснащены лучше, другие – хуже, но все без исключения стремятся к сокращению производственных затрат, увеличению прибыли и улучшению качества конечного продукта. Не обошла эта тенденция и область медицины. Вместе с количеством диагностических центров растет и спрос на соответствующее программное обеспечение. В одних центрах используют ЛИС (лабораторная информационная система), в других – РИС (радиологическая информационная система), а третьих во всю эксплуатируют МИС (медицинская информационная система), хотя есть и те, что работают по старинке со всеведущей тётушкой, указывающей тебе – неприкаянному пациенту – в какой кабинет держать свой путь.

Оставим в покое родной бюрократический ад, попортивший крови не одному поколению пациентов, и вернёмся к благу современной медицины – к МИС. Мы хотим рассказать о внутреннем устройстве современной медицинской системы, и эта статья – первая из цикла публикаций на эту тему.

Почти год назад, летом 2017 года, на базе МФТИ состоялась традиционная летняя школа от Института биоинформатики. Основной темой школы в этом году стал интеллектуальный анализ данных. Почему? Количество получаемых данных в биологии и медицине растет с невероятной скоростью. В то же время обнаружить ранее неизвестные вещи в таком объеме информации вручную физически невозможно (да и классическими алгоритмами уже тоже сложновато), поэтому приходится использовать статистику и дополнять естественный интеллект искусственным.

Именно этим активно и занимались участники летней школы. В этом посте собрано 22 видеозаписи лекций со слайдами и описанием для всех интересующихся темой анализа данных в биоинформатике. Лекции, которые можно смотреть без дополнительной подготовки, отмечены звёздочкой «*» (таких половина).

Для гиков главное что? Чтобы мозг работал хорошо и долго, там уже, может, и вирт подтянется, и оцифровка, и можно будет не так беспокоиться о теле, и куча других хлопот пропадет сама собой.

В этой статье мы разберемся, помогает ли рыбий жир продлить жизнь и предохранить мозг в пожилом возрасте.

Некоторые авторы книг о продлении жизни и предотвращения падения мозговых функций в 80+ лет считают прием рыбьего жира одним из важных компонентов программы действий. Также он является одной из самых изученных и долго применяемых добавок к пище.

Однако, вопросы по его действию все равно есть, особенно для людей среднего и пожилого возрастов.

В нашей статье мы разберем:

• что такое Омега-3
• отличия рыбьего жира от растительных источников (льняное масло и т.п.)
• рассмотрим текущие и будущие клинические исследования по теме
• сравним разных производителей и подумаем обоснована ли разница в ценах

А еще у нас новость. В конце статьи будет анонс и ссылка на установку нашего приложения, мы наконец-то его запустили и мы теперь работаем с Инвитро, что даст нашим пользователям некоторые скидки (пока только в СПб).

Ну и конечно бонус — многие из нас при выборе лекарств и добавок задаются вопросом, какую купить? Просто дороже? Просто по картинке и словам производителя, что он самый самый? Мы решили исследовать вопрос и есть первый результат. Он тоже в статье.

Супергерои — не современное изобретение. С древних времен люди мечтали о суперсилах и сверхспособностях, что было отражено в большом количестве эпосов и сказаний о героях, богах и о том, как обычные люди становились им равными.

И если в мифах Древней Греции обычно супер герои имели часть божественной крови, а в современных фильмах и мангах супергерои обычно становились таковыми при случайных обстоятельствах (укус паука, эксперимент ученых и т.п.), то в литературе и философии Азии это зачастую зависело только от самого человека.

Мало того, существовали различные структуры (их иногда называют традициями, линиями, системами и т.п.), которые копили знания и практиковали методы, которые приводили людей к тому, что сейчас мы бы назвали сверхспособностями.

Здесь мы прикоснемся к одному из базовых методов, который применялся с древности для хакинга реальности — медитации.

Хотя моя цель — написать все просто и понятно, но все равно будет немного терминов, исследований, быть может будет занудно. Однако те, кто хочет нормально понять что такое медитация и как с ее помощью можно хакать реальность — добро пожаловать под кат.

БОНУС — наверное мы все любим чудеса. Как насчет того, чтобы увеличить работоспособность мозга и продлить жизнь? В статье мы рассмотрим первый хак реальности для продления бодрой жизни, научим как его применять, приведем научные доказательства его эффективности и то, как самим проверить как он сработал на физическом уровне.

Я часто слышу мнение, что наша медицина находится в достаточно отсталом состоянии. Не буду спорить относительно комплектации больниц и других параметров, поскольку достаточно далека от них, но хотела бы просто показать вам вещи, которые либо не имеют аналогов в мире, либо просто очень хороши. Это разработки и производство отечественных компаний, с которыми мы рядом стоим на медицинских выставках из раза в раз.

Начнём с «Атес Медики»: они делают очень интересные регистраторы ЭКГ для скорой помощи. У них есть целая линейка оборудования, но самое интересное в ней для иностранных коллег — это получение кардиограммы прямо из машины скорой помощи. Вот здесь ссылка с деталями — за довольно сухими описаниями скрывается очень интересная техника.

Сегодня существует множество теорий, методик, добавок и лекарств, которые обещают (или предполагают) замедлить старость, сделать тело физически более молодым, позволить нам прожить дольше и активнее и т.п.

Чтобы понять, отработала ли какая-либо методика или лекарство как предполагалось, нам нужно иметь метод оценки биологического возраста своего организма. Как она должна работать?

У нас есть перед применением методики или лекарства:

• наш физический возраст Х лет

Для оценки эффективности мы должны до начала использования замерить:

• наш биологический возраст — Y1 лет

Потом применить методику и\или лекарство и замерить:

• наш биологический возраст — Y2 лет

И сразу понять — ага, это супер метод, наш биологический возраст уменьшился. Или наоборот, ага, не работает, попробуем другой.

Как обстоят дела в современной медицине и какую методику мы будем использовать для оценки эффективности омоложения мы исследуем под катом.

(ответ биолога на статью «Вы неправильно пишете животных»)


В каждой клетке есть тысячи генов. Никогда не бывает так, чтобы они все работали одновременно. Клетки мышц, печени и мозга несут одинаковый набор генов. Они такие разные, потому что в них работают разные гены. Все клетки умеют включать и выключать отдельные гены в ответ на разные внешние воздействия. То есть система, которая управляет активностью генов — это такая система автоматического управления. Ученые хотят понимать, как такая автоматика работает, чтобы уметь ее чинить и взламывать. Например, в клетках человека есть система из примерно трехсот генов и белков, которая управляет делением клетки. Когда она ломается и клетка начинает все время делиться, возникает рак.

Приятно видеть, что хабравчане регулярно интересуется другими предметными областями – например, биологией (более конкретно – структурой и функцией биологических макромолекул). Однако некоторые посты (например, этот), вызывают у специалиста просто физическую боль из-за обилия совершенно диких фактологических ошибок. В этом посте мне хочется рассказать о структуре и функции белка. О том, что мы знаем и о том, чего не знаем, а так же об имеющихся в этой области вычислительных задачах, требующих решения и интересных IT-специалистам. Постараюсь рассказывать сжато и тезисно, чтобы информации было больше, а воды – меньше. Всех, интересующихся структурой белков, прошу под кат, там очень много букв.

As we live a life of ease
Every one of us has all we need
Sky of blue and sea of green
In our yellow submarine
The Beatles

Поздравляем с Новым Годом все сообщество и Geektimes и прилагаем текст поздравления под катом.

Навеяно фильмом Yellow Submarine от Beatles.

В этой статье мы рассмотрим научно доказанную биомеханику стресса и того, как он физически воздействует на наш организм целиком и на мозг в частности. Как бесконтрольное переживание стресса увеличивает вероятность болезней и ослабляет наш ум.

Никакой психологии не будет, только исследования которые опираются на физические параметры нашего организма. Только биохимические процессы и то, какие пути (pathways) они проходят и как физически влияют на тело.

По публикациям Сергея Абдульманова.

Эта серия публикаций (собственно как и весь сайт) свалилась мне на голову случайно – сестра позвонила и спросила «И неужели там хоть половина правда?». Почитал. Сначала посмеялся стандартному набору стереотипов про Австралию. Потом проконтактировал автора. Ему оказалось совершенно неинтересно послушать мнение человека бывавшего «там» в общей сложности больше года и он еще накатал пару опусов. Оставил комментарий под одним, так он (комментарий) так и почил в бозе на стадии модерации. Потом появилось еще пара публикаций с теми-же проблемами. Написано здорово и хорошим языком – ничего не скажешь, но факты зачастую преподносятся как истина в последней инстанции и мне лично кажутся… как это помягче… заблуждением.

На мой взгляд автор проехался матрасником (уж не обижайтесь, пожалуйста!) по окрестностям Дарвина, наслушался местных баек да и окучил все. Там много чего не так. Я прожил в Австралии более 20-ти лет и более 15-ти объездил почти всю ее на своих внедорожниках. По моим прикидкам я исколесил тысяч 100 как здесь говорят outback или по нашему на задворках и провел в разъездах до года суммарного времени. Я понимаю что никому/некоторым/большинству/всем (нужное подчеркнуть, ненужное зачеркнуть) Великая ПравдаЪ не нужна, но все-же решил кинуть сюда «мнение изнутри» — может кому оно и интересно. Так как всего много буду просто перечеслять нелепицы (на мой личный взгляд после 15-ти лет и 100,000 км) по публикациям.

Недавно я заметил, что устал быть уставшим. Но можно ли это исправить? Я часто и много пью кофе – оно помогает, но ненадолго. А есть ли что-нибудь ещё не менее эффективное? В общем, после того как мне пришли эти мысли я решил закопаться в научную литературу: что известно про доказанные инструменты борьбы с усталостью. Как борются с усталостью биохакеры? Здесь я поделюсь личным расследованием того, что публикуют ученые о борьбе с усталостью.

В последние годы проводится всё больше научных исследований, в которых изучается способность различных фармакологических стимуляторов (например, модафинил, метилфенидат) и нейротехнологий (например, электростимуляция мозга) улучшать когнитивные способности человека. Особый интерес представляют те из них, в которых улучшения достигаются не для медицинских целей (лечение деменций, депрессии, Альцгеймера), а на здоровых людях.

Инициаторами таких исследований являются, как правило, вооруженные силы, и первоначально проводятся они для оптимизации профессий, требующих особую собранность и выносливость: летчики, пехотинцы, водители. Существует, однако, целое сообщество биохакеров (или даже – «нейрохакеров»), которые немедленно берут такие технологии «на вооружение» и начинают самостоятельно использовать их в домашних условиях.

В предновогодний месяц все любят подводить итоги, вспоминать интересные события, ключевые вехи и вообще ностальгировать по ещё не закончившемуся году. А ещё принято делать всякие подборки вышедшего за год: лучших смартфонов/ноутбуков/фитнес-браслетов/навигаторов/прочихгаджетов, лучших игр/рюкзаков/фонариков/фильмов/дрелей — в общем, всего, что помогает нам получать удовольствие от жизни, и даже приносит пользу. Мы решили не нарушать добрую традицию, и собрали для вас самые интересные, по мнению редакции, фантастические книги, вышедшие на русском в этом году.

Этим летом в Москве прошла первая летняя школа по биоинформатике. В ней приняло участие более 100 человек, которые приехали из различных уголков России и СНГ и были разделены на два потока: «информатики» и «биологи». Организовал мероприятие Институт биоинформатики в сотрудничестве с СПбАУ РАН, МГУ, ИППИ РАН и программой GameChangers.

Про то, как прошла сама школа, на хабре уже писали наши студенты. Теперь же каждый желающий, не имевший возможности поучаствовать в школе, может ознакомиться с интересующими его докладами: мы выложили все видеозаписи лекций и все слайды презентаций онлайн.

Если вы впервые слышите про биоинформатику, то советую в первую очередь посмотреть вводную лекцию Аллы Лапидус, которая расставит всё на свои места. Сейчас Алла занимает ведущие позиции в центре геномной биоинформатики СПбГУ и в лаборатории алгоритмической биологии СПбАУ РАН, а ранее долгое время руководила геномными проектами в DOE Joint Genome Institute (Калифорния).



Под катом можно посмотреть список всех прошедших лекций, включая их краткие описания, которые помогут вам сориентироваться, а также полные видеозаписи на русском.