Представляю вашему вниманию очередной выпуск обзора наиболее интересных материалов, посвященных теме анализа данных и машинного обучения. В данном выпуске достаточно много практических примеров кода на языках программирования R и Python. Также в данном обзоре есть достаточно много статей, которые будут интересны новичкам. Несколько статей посвящено онлайн-курсам. Как обычно много материалов посвящено алгоритмам машинного обучения.

Решение программиста сделать свое жилище «умным» способно надолго занять творческим поиском, опустошить бюджет приобретением интересных устройств и подарить немало увлекательных минут, проведенных с паяльником в клубах дыма канифоли. Ведь мы смотрим на идею умного дома сквозь призму и пользователя, и разработчика. Разработчика, с определенным опытом создания информационных систем за плечами, будь то простые сайты или системы искусственного интеллекта, промышленная электроника или разработка игр.

Проект, начавшийся в формате «для души», удивительным образом вышел за рамки хобби, и вырос серьезную разработку. В основе лежало желание создать систему, интересную как в плане технического творчества и программирования, так и удобную для повседневного использования. Хотя работа еще в разгаре, уже отчетливо видны контуры задуманного: распределенная система, высокотехнологичный «конструктор» для реализации всевозможных идей умного дома, с хорошей масштабируемостью.

TYPO3 — отличное решение для веб-сайтов любых размеров, от небольших до корпоративных. Эта CMS позволяет с легкостью создавать и управлять многоязычными корпоративными сайтами для больших организаций. Такие веб-сайты могут масштабироваться и адаптироваться к любым возникающим потребностям.

Jelastic дает возможность сделать ваш сайт на TYPO3 не только очень гибким и доступным, но также стабильным и высокопроизводительным. Для достижения такого результата необходимо настроить высокодоступный кластера с двумя серверами приложений Apache, балансером NGINX, нодой Memcached и двумя реплицированными базами данных MySQL.

Данная статья предназначена для тех, у кого есть не слишком сильно посещаемые, красиво оформленные сайты на Wordpress, и кто хочет их ускорить. И при этом нет ни времени, ни желания углубляться в дебри оптимизации, надо просто сделать так, чтобы сайт загружался быстро и стабильно.

О том, что, ускорение загрузки сайта даже на полсекунды важно уже много написано и известно всем.



Область применения — сайты небольшого бизнеса — фотографы, психологи, юристы и много других сфер деятельности, где нужны красивые сайты и их посещение невелико. Довольно часто эти сайты создаются на Wordpress и ставится готовая красивая тема с фотографиями, которая содержит много скриптов, мелких картинок и стилей. Как ускорить его загрузку такого сайта быстро, просто и дешево?

Для этого мы будем использовать Microsoft Azure, который на месяц дает бесплатный аккаунт и 7000руб. на счет, что позволяет не рискуя понять сколько вы будете тратить в месяц на ускорение своего сайт.
Для примера, по расчету для 10 сайтов с настройками из статьи, с общим количеством просмотров около 10 000 в день, я буду платить около 100руб.м. в месяц (грубая прикидка, скорее всего меньше).

Библиотека Simple Azure позволяет управлять облачными ресурсами, в том числе созданием, управлением и удалением виртуальных машин в облачном окружении. Вы можете использовать данную библиотеку для любых целей: от развертывания песочницы для целей Dev&Test до размещения и управления решениями в промышленной эксплуатации.

С помощью Simple Azure вы можете легко поднять ipython notebook и кластеры ipython в облачном окружении, развернуть готовые виртуальные машины на выбор из сотен представленных в каталоге VMDepot.

Ниже представлено краткое введение и примеры использования Simple Azure для простых задач и задачи развертывания кластера IPython в облаке.

Привет Хабр!
Сегодня у нас очень много новостей. Это и Tizen Developer Summit Russia в Москве, и Tizen Hackathon сразу после этого, и Tizen TV SDK.



Но… обо всём по порядку.

Здравствуйте, хаброжители!
В этой серии статей мы с вами приоткроем крышку квадрокоптера чуть больше, чем этого требует хобби, а также напишем, настроим и запустим в воздух собственную программу для полетного контроллера, которым будет являться обычная плата Arduino Mega 2560.

У нас впереди:

1. Базовые понятия (для начинающих коптероводов).
2. PID-регуляторы с интерактивной web-демонстрацией работы на виртуальном квадрокоптере.
3. Собственно программа для Arduino и настроечная программа на Qt.
4. Опасные тесты квадрокоптера на веревке. Первые полёты.
5. Крушение и потеря в поле. Автоматический поиск с воздуха средствами Qt и OpenCV.
6. Окончательные успешные тесты. Подведение итогов. Куда дальше?

Материал объемный, но постараюсь уложиться в 2-3 статьи.
Сегодня нас ожидает: спойлер с видео, как наш квадрокоптер полетел; базовые понятия; PID-регуляторы и практика подбора их коэффициентов.

Данный выпуск дайджеста наиболее интересных материалов, посвященных теме анализа данных содержит достаточно много статей, которые рассматривают теоретические аспекты вопросов, связанных с Data Science. Есть несколько статей, которые будут интересны новичкам. Также представлены ссылки на серию интересных статей о работе со схемами данных в MongoDb. Есть несколько ссылок на материалы, в которых рассматривается важная проблема переобучения (overfitting) в процессе машинного обучения. Некоторые статьи посвящены литературе, рекомендуемой к прочтению для тех кому интересна тема анализа данных.

«Раньше это был просто значок, который при желании могла получить любая ITSM-система, лишь бы соответствовала процессам ИТИЛ» (цитата с одного форума)

Да, именно такие расхожие мнения можно услышать при обсуждении новости о получении сертификата производителем программного обеспечения или всего процесса сертификации ПО в целом. Хочется надеяться, что со временем таких реплик станет меньше, а ценность международного признания качества ПО в нашей стране возрастет. Этот небольшой рассказ об уникальном проекте международной сертификации нашего ПО: о его предпосылках и ключевых этапах с цифрами, о некоторых сложностях и итоговых результатах.

У меня сложилось впечатление, что в России есть стереотип, что зарабатывать на 3d-принтерах можно только двумя способами:
1) стать дилером международной компании/создать производство собственных 3d-принтеров
2) купить несколько 3d-принтеров и принимать заказы от архитекторов/врачей/военных

Этот пост будет посвящен тому, что возможностей намного больше, «цена входа» на этот рынок для отдельного дизайнера человека ниже, чем кажется, а будущее, которое распределено/распространено неравномерно и не совсем в России, уже здесь.

Под катом вас ждет краткий обзор трёх гигантов европейской и американской отрасли 3d-печати, которые не специализируются на выпуске собственных 3d-принтеров, а развивают сообщества, создают "marketplace", выступают площадками для стартапов, дизайнеров и тд. После обзора «большой тройки» следует обзор наиболее интересных проектов, созданных вокруг этих гигантов.

К некоторым проектам есть комментарии Константина Иванова (consst), который побывал на европейской(3DPrintShow) и американской(Inside 3D Printing) конференциях.

Сотрудник Microsoft Алекс Горишек (биолог по образованию) выложил на Vimeo любопытное видео, в котором он демонстрирует работу основных логических вентилей компьютера (NOT, AND, OR, XOR, NAND и т.д.) с помощью системы тросиков и противовесов. В качестве стенда для своей демонстрации он использовал шахматную доску. Слева расположены входы вентилей, справа — выход. Получилось весьма наглядно, такой стенд не помешал бы в школе на уроках информатики:

Доброго времени суток уважаемые Хабровчани! Решил поделиться с вами своей маленькой слабостью, с детства люблю все знать и за всеми наблюдать! Именно эта идея и привела меня к желанию построить свою собственную систему видеонаблюдения в рамках квартиры. Мой путь оказался несколько тернист, но обо всем по порядку.

Частенько читаю Хабр и заметил что в последнее время появились Дайджесты новостей по многим тематикам, таким как веб-разработка на php, разработка на Python, мобильные приложения, но не встретил ни одного подборки по популярному сейчас направлению, а именно анализу данных и big data.

Ниже я решил собрать небольшую подборку материалов по данной теме. Т.к. на русском материалов не так много, в данный дайджест попали в основном англоязычные статьи.

Кого заинтересовала данная тема прошу подкат. А также жду замечаний, пожеланий и дополнений, буду очень рад обратной связи.

Этот пост про относительно новый метод обработки сигналов, описанный в статье Adaptive data analysis via sparse time-frequency representation, а также про крохотную, но сбившую лично меня с толку, ошибку. Сию статью опубликовали в 2011 году профессора прикладной математики Калифорнийского Технологического института Томас И. Хоу и Ши Цзоцян, и, вероятно, к моменту, как вы это читаете, они уже её поправили.
На эту статью я наткнулся в поиске различных методов частотно-временного анализа нелинейных и нестационарных сигналов — в моем случае ультразвуковых сигналов от передвигающихся форменных элементов крови в сосудах человека. Суть такого анализа состоит в отслеживании изменений характеристик сигнала, иначе говоря, мы хотим знать зависимость составляющих сигнал частот от времени. За исключением широко распространенных методов — спектрального и вейвлет-анализа, были найдены такие методы как EMD (разложение на эмпирические моды) и синусоидальное моделирование, о котором далее пойдет здесь речь.
Метод эмпирических мод довольно прост в применении, однако не особо развит с точки зрения обоснованности полученных результатов. Томас Хоу и Ши Цзоцян пошли дальше в развитии математического аппарата и предложили свой метод синусоидального моделирования сигнала. Его идея заключается в разреженной декомпозиции сигнала на гармоники с гладкими амплитудами. Какой результат мы ожидаем получить — на картинке выше. В данном случае раскладывался сигнал, полученный функцией f(t) = 6t + cos(8πt) + 0.5 cos(40πt). Разложение сигнала, естественно, не уникально, поэтому был введен критерий минимума составляющих гармоник, и задача сформировалась следующим образом:

Не так давно мы проводили опрос по проблемам в проектах для нашей новой программы “Формула управления проектами”. Получили более 600 ответов, которые распределились в темы работы с заказчиком, оценок работ, сроков, коммуникаций и прочих безусловно нужных проектных вещей.

Интересным оказался эмоциональный настрой многих комментариев. Возникло четкое ощущение, что многие коллеги недовольны своей действительностью. Но при этом не знают, как ее изменить в лучшую сторону — и крайне недовольны этим. Отчего текущая действительность описывается достаточно красочными эпитетами. Эту же картину косвенно подтвердил и недавний опрос по методологиям.

Мы пригласили в студию нашего эксперта по управлению проектами Ивана Селиховкина (selikhovkin) и попросили поделиться историей наведения порядка. В итоге Иван рассказал историю о том, как он с коллегами по шагам за 90 дней привел компанию от хаоса к работающему проектному офису. Находясь при этом не на должности ТОП-менеджера. Все изменения шли СНИЗУ.



37 минут о том, как по шагам шла небольшая команда энтузиастов своего дела, чтобы увеличить число успешных проектов компании и сделать свою жизнь (и жизнь коллег) проще, успешнее, управляемей и правильней.

Если это видео придаст правильный заряд, будем категорически рады. Хороших выходных!

P.S. Если поможете нам с опросом по проблемам проектов — будем отдельно благодарны.

P.P.S. Краткое содержание истории по шагам — под катом:

В последнее время на слуху феномен «муков» (MOOC) – массовых открытых онлайн курсов. Платформ для них создано большое множество.

Есть мнение, что MOOC – это книги нового поколения (с видео, интерактивными задачами и социальной составляющей), которые одновременно «читают» десятки тысяч человек. Можно долго сравнивать «муки» с классическим образованием и спорить об их эффективности, но полезно воспринимать их как совершенно другой формат, очевидно со своими плюсами и минусами.

При этом у онлайн образования есть большое концептуальное отличие от оффлайн образования – его проще измерить. А всё, что можно измерить, можно улучшить.

В этом посте я поделюсь личными соображениями о том, куда движется онлайн образование на примере MOOC-ов, в том числе по мотивам посещения Coursera Partners' Conference, прошедшей 4 недели назад в Лондоне.

Сортировка последовательности данных — один из столпов компьютерной науки. Проблема в том, как делать сортировку наиболее эффективным образом, и эта задача стоит перед исследователями чуть ли не с первого дня после изобретения компьютера. На сайте sorting.at различные алгоритмы сортировки проиллюстрированы в виде пошаговой анимации, для лучшего понимания принципов их работы.

Пирамидальная сортировка (она же сортировка кучей) – классический алгоритм который, пожалуй, должен знать любой программист. Старая добрая «пирамидка» примечательна тем, что в независимости от набора данных у неё одна и та же сложность по времени (причём, очень пристойная) – O(n log n). Лучших и вырожденных случаев для неё нет.

С момента изобретения метода (а в этом году алгоритм празднует свой полувековой юбилей) было немало охочих кардинально оптимизировать процесс накладывания сортирующих куч. Тернарная пирамидальная сортировка, плавная сортировка, сортировка декартовым деревом – вот неполный список инноваций. Перечисленные алгоритмы хотя при тестировании и опережают оригинал по абсолютной скорости кто на 12, а кто и на 25%, в оценке временной сложности всё равно крутятся вокруг O(n log n). При этом данные методы весьма изощрённо реализованы.

Своё видение пирамидальной сортировки предложил и скромный труженик Университета Манитобы Джейсон Моррисон. При этом способ в некоторых случаях по скорости приближается к O(n).

Не так давно облачная платформа Microsoft Windows Azure была переименована в Microsoft Azure. Эта небольшое по сути, но очень важное по факту событие, которое отражает стремление Microsoft предложить Azure как открытую публичную облачную платформу для всех пользователей.



Это переименование давно напрашивалось, ведь платформа является открытой для всех технологий, предлагая строить решения на любых инструментах от Windows, SQL и .NET и до Python, Ruby, Node.js, Java, Hadoop, Linux и Oracle. В этой статье мы посмотрим какие возможности предлагает Azure для пользователей Linux, разных языков и opensource-инструментов:

• поддержка Linux в качестве ОС в виртуальных машинах
  
  • 1000+ готовых образов VM
  • использование любимого дистрибутива Linux
  • opensource-партнеры Azure
• поддержка Oracle и Java
  
  • поддержка OpenJDK, разработки Java и Eclipse
• поддержка Java, PHP, Python, Node.JS, Ruby в качестве PaaS
  
  • Visual Studio, Azure и Python, Node.js
  • WebMatrix, Azure и PHP
  • интеграция с Git, Mercurial, GitHub и другими системами
• поддержка Android, iOS, Xamarin, HTML5/JS, PhoneGap единым мобильным бэкендом
• Hadoop как сервис в облаке Azure
• администрирование Azure
  
  • работа с Azure из командной строки в Linux, OSX, Windows
  • интеграция с Puppet и Chef
• MongoDB, Redis и MySQL по запросу из Azure Store

В очередной раз понадобилось примерно прикинуть стоимость серверов при переносе проекта в облако Amazon. Не удалось найти толкового инструмента, а то, что предлагает сам Amazon слишком сложно для моего понимания. Заодно сделал возможность сравнивать и подбирать сервера на Digital Ocean, RackSpace, Google Compute Engine и Microsoft Azure.

http://jagermesh.github.io/cloudhostingcalculator/



Проект на гитхабе — https://github.com/jagermesh/cloudhostingcalculator. Желающие могут дополнить ценами и типами инстансов. Все данные в data/instances.json.

Планирую добавить расчет стоимости Storage, сервисов (Load Balancing, etc...) и трафика. Когда-нибудь. Позже…

Надеюсь пригодится и сэкономит немного времени.