Как стать автором
Обновить

Как уменьшить количество измерений и извлечь из этого пользу

Время на прочтение 10 мин
Количество просмотров 46K
Программирование *Data Mining *Big Data *R *Машинное обучение *
Сначала я хотел честно и подробно написать о методах снижения размерности данных — PCA, ICA, NMF, вывалить кучу формул и сказать, какую же важную роль играет SVD во всем этом зоопарке. Потом понял, что получится текст, похожий на вырезки из опусов от Mathgen, поэтому количество формул свел к минимуму, но самое любимое — код и картинки — оставил в полном объеме.
Читать дальше →
Всего голосов 31: ↑28 и ↓3 +25
Комментарии 11

R c H2O на Spark в HDInsight

Время на прочтение 6 мин
Количество просмотров 4.8K
Высокая производительность *Big Data *Microsoft Azure *R *Машинное обучение *

imageH2O – библиотека машинного обучения, предназначенная как для локальных вычислений, так и с использованием кластеров, создаваемых непосредственно средствами H2O или же работая на кластере Spark. Интеграция H2O в кластеры Spark, создаваемые в Azure HDInsight, была добавлена недавно и в этой публикации (являющейся дополнением моей прошлой статьи: R и Spark) рассмотрим построение моделей машинного обучения используя H2O на таком кластере и сравним (время, метрика) его с моделями предоставляемых sparklyr, действительно ли H2O киллер-приложение для Spark?

да, но это не точно
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 0

Построение рекомендаций для сайта вакансий. Лекция в Яндексе

Время на прочтение 17 мин
Количество просмотров 5.6K
Блог компании Яндекс Ненормальное программирование *Спортивное программирование *Алгоритмы *Машинное обучение *
В последнее время мы много пишем о конкурсах по машинному обучению, в основном рассматривая их с точки зрения участников. Но организовать и правильно провести соревнование — тоже сложная задача. Компании учатся на своих ошибках и в следующие разы меняют структуру конкурсов. Например, RecSys Challenge 2017 с учётом опыта прошлых лет провели в два последовательных этапа. Андрей Остапец из компании Avito рассказывает об этих этапах, о различных признаках, основанных на истории поведения пользователей, и о том, всегда ли нужно использовать сложные модели для решения задачи. Команда Андрея заняла в RecSys Challenge седьмое место.


Всего голосов 38: ↑37 и ↓1 +36
Комментарии 0

Просто добавь воды: разработка с H2O.ai

Время на прочтение 10 мин
Количество просмотров 15K
Блог компании Microsoft Python *Microsoft Azure *Машинное обучение *Разработка для интернета вещей *
Перевод
Привет, Хабр! В течение последних нескольких лет интерес к технологиям машинного обучения и искусственного интеллекта быстро рос. Решение H2O.ai становится все более популярным в этой сфере: оно поддерживает быстрые алгоритмы машинного обучения в оперативной памяти и недавно получило поддержку глубокого обучения. Сегодня поговорим о разработке с использованием H2O.

Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 1

Водородная энергетика: начало большого пути

Время на прочтение 5 мин
Количество просмотров 75K
Блог компании Toshiba Энергия и элементы питания Экология


Ранее мы рассказывали про то, каким экологичным видом транспорта являются электробусы. Однако не упомянули один важный момент: c ростом числа электротранспорта городам потребуется больше электричества, которое зачастую получают экологически небезопасными способами. К счастью, сегодня мир научился получать энергию при помощи ветра, солнца и даже водорода. Новый материал мы решили посвятить последнему из источников и рассказать об особенностях водородной энергетики.
Читать дальше →
Всего голосов 29: ↑24 и ↓5 +19
Комментарии 100

Узоры на окне или бич автомобилистов: как растет двумерный лед

Время на прочтение 9 мин
Количество просмотров 14K
Блог компании ua-hosting.company Читальный зал Научно-популярное Физика Химия


Всем известно, что вода встречается в трех агрегатных состояниях. Ставим чайник, и вода начинает кипеть и испаряться, переходя из жидкого в газообразное. Ставим ее в морозилку, и она начинает превращаться в лед, тем самым переходя из жидкого в твердое состояние. Однако при определенных обстоятельствах водяной пар, присутствующий в воздухе может сразу переходить в твердую фазу, минуя жидкостную. Нам знаком этот процесс по его результату — красивым узорам на окнах в морозный зимний день. Автолюбители же, соскребая с лобового стекла слой льда, частенько характеризуют данный процесс, используя не очень научные, но очень эмоциональные и яркие эпитеты. Так или иначе, детали образования двумерного льда многие годы были под покровом тайны. И вот недавно международная команда ученых впервые смогла визуализировать атомарную структуру двумерного льда в процессе его образования. Какие секреты сокрыты в этом на первый взгляд простом физическом процессе, как ученым удалось их раскрыть и чем полезны их находки? Об этом нам поведает доклад исследовательской группы. Поехали.
Читать дальше →
Всего голосов 24: ↑21 и ↓3 +18
Комментарии 13

Разделяй и властвуй: совершенствование электролиза воды

Время на прочтение 14 мин
Количество просмотров 26K
Блог компании ua-hosting.company Научно-популярное Энергия и элементы питания Химия Экология


Одной из самых известных химических формул, которые нам известны еще со школьной скамьи, является H2O — оксид водорода, т.е вода. Без этого простого на первый взгляд вещества жизнь на нашей планете была бы совершенно иной, если вообще была бы. Помимо своих животворящих функций у воды имеется масса других применений, среди которых стоит выделить получение водорода (H). Одним из методов достижения этого является электролиз воды, когда ее разделяют на составляющие, т.е. на кислород и водород. Это достаточно сложный, затратный, но эффективный метод. Тем не менее, нет в мире такого, что ученые не хотели бы улучшить. Команда исследователей из университета штата Вашингтон и Лос-Аламосской национальной лаборатории нашли способ усовершенствовать электролиз воды, значительно снизив себестоимость его проведения без снижения результата. Какие изменения пришлось внедрить в электролиз воды, почему были использованы те или иные вещества, и какие результаты показывает обновленный метод добычи водорода? Об этом нам поведает доклад ученых. Поехали.
Читать дальше →
Всего голосов 28: ↑27 и ↓1 +26
Комментарии 4

Искра жизни: теория зарождения первой органики

Время на прочтение 13 мин
Количество просмотров 12K
Блог компании ua-hosting.company Научно-популярное Биотехнологии Химия Экология


Жизнь человека по меркам Вселенной — всего лишь мгновение, а по меркам мухи-однодневки — целая вечность. Для нас же оценка продолжительности нашего собственного жизненного пути осложнена событиями, которые происходят в процессе, людьми, которых мы встречаем и с которыми расстаемся, эмоциями, которые испытываем. Ведь чем сложнее мозг существа, тем сложнее его самосознание. Однако любой путь определяется не только его насыщенностью, но и фактом того, что он рано или поздно заканчивается. Люди многие века пытаются ответить на вопрос, что лежит за гранью жизни, и четкого безапелляционного ответа нет ни у кого. Тем не менее «до» остается не менее таинственным и загадочным, чем «после». Ученые из Американского музея естественной истории (Нью-Йорк, США) провели исследование, в котором описывается возможный вариант зарождения органических молекул миллиарды лет тому назад. Что могло послужить началом жизни на планете, где это произошло, и как эти знания могут помочь в понимание нашего мира здесь и сейчас? Ответы на эти вопросы сокрыты в докладе ученых. Поехали.
Читать дальше →
Всего голосов 26: ↑25 и ↓1 +24
Комментарии 9

Такая разная вода: два жидких агрегатных состояния H2O

Время на прочтение 11 мин
Количество просмотров 17K
Блог компании ua-hosting.company Читальный зал Научно-популярное Физика Химия


Как нам всем известно в природе существует четыре основных агрегатных состояния вещества: твердое, жидкое, газообразное и плазма. Вода, будучи неотъемлемой составляющей и движущей силой жизни на планете, может при разных условиях пребывать в трех состояниях: в жидком, твердом (лед) и газообразном (пар). Однако ученые из Стокгольмского университета (Швеция) выяснили, что у воды имеется два разных жидких состояния. Первое мы наблюдаем на постоянной основе, а вот второе проявляется при температуре -63 °C. Как ученым удалось сделать это открытие, какими свойствами обладает вода во втором жидком состоянии, и какова его роль? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.
Читать дальше →
Всего голосов 28: ↑26 и ↓2 +24
Комментарии 15