Визуализация данных *

Как известно, мировым лидером среди стран по внедрению ИТ-инфраструктуры является США. Именно в Северной Америке сейчас находится наибольшее количество дата-центров, немало из которых являются настоящими гигантами. В тоже время Азия берет количеством, при этом показывая феноменальные темпы роста в регионе как вычислительных мощностей ИТ-инфраструктуры, так и числа пользователей сети. Что же в этом контексте происходит с Европой, скатывание на периферию? Несколько пролить свет на этот вопрос помог опубликованный исследовательской компанией Global Web Index статистический отчет «Европейский цифровой ландшафт 2014» (European Digital Landscape 2014). Исследование затронуло 40 стран Европы. Хотя данные исследования свежие, но даже во время их сбора уже отмечалось, что они претерпевают изменения в сторону количественного и качественного увеличения, и эту тенденцию стоит учитывать для максимально корректного восприятия приведенных результатов исследования в одном из наиболее развитых регионов мира.

На протяжении довольно долгого времени я и мои коллеги, участники Русскоязычной поддержки Wolfram Mathematica, занимались разработкой и коллекционированием полностью бесплатных и качественных ресурсов на русском языке, которые позволили бы любому желающему научиться программировать на языке Wolfram Language (Mathematica) самостоятельно.

Думаю, что пришла пора рассказать об этом на Хабрахабре, создав статью о разрабатываемой коллекции ресурсов, которая будет постоянно расширяться и пополняться, и будет служить, по сути, русскоязычным аналогом страницы "Where can I find examples of good Mathematica programming practice?" на сайте Mathematica at StackExchange.com.

Перевод поста Виталия Каурова (Vitaliy Kaurov) "Modeling a Pandemic like Ebola with the Wolfram Language".

Выражаю благодарность за помощь в переводе участникам сообщества ВКонтакте Русскоязычной поддержки Wolfram Mathematica: Еве Фрумен, Курбану Магомедову, Глебу Михновцу, Андрею Кротких.

Скачать перевод в виде документа Mathematica, который содержит весь код использованный в статье, можно здесь (архив, ~100 МБ).

Данные крайне важны для беспристрастного взгляда в будущее, но одни только данные еще не являются прогнозом. Для предсказания развития пандемий, террористических актов, природных катастроф, падений рынков и других сложных явлений нашего мира необходимы научные модели. Один из инструментов борьбы с текущей ужасающей вспышкой лихорадки Эбола — создание компьютерной модели возможного распространения вируса. Понимая, где и как быстро вспышка может проявиться, правительственные структуры смогут организовать эффективные профилактические меры для снижения скорости передачи и, в конечном итоге, остановить эпидемию. Наша цель сейчас: продемонстрировать построение математической модели, описывающей глобальное распространение пандемии на основе реальных данных. Модель применима к любой эпидемии, но мы будем иногда упоминать и использовать данные о текущей вспышке лихорадки Эбола в качестве примера. Результаты не следует рассматривать как реалистичную количественную оценку текущей пандемии вируса Эбола.

Индивидуальный командный центр капсульного типа: анатомическое кресло, панорамный монитор, панель управления, видео- и аудиосвязь, специальное ПО.


Центр принятия решений ОАО «Мосводоканал»

Комцентры или, как их правильно называют, ситуационные центры — это хорошо знакомая вам по фантастическим фильмам комната. Там обычно большая красивая видеостена, на которой можно наблюдать как коммунисты захватывают мир — или как поезда стремятся столкнуться друг с другом. На практике, конечно, использование СЦ намного прозаичнее, но случаются и кадры как в фильмах.

После перехода с Google (Gmail, Контакты, Календарь) на MS Exchange и Outlook мне больше всего не хватало календаря «Дни рождения и мероприятия контактов», в котором автоматически создавались одноименные события из адресной книги. Стандартная функция Outlook создания записи о дне рождения при редактировании контакта меня не устроила, т.к. все новые контакты с датами рождений и юбилеями, как правило, создаются в мобильном телефоне аккаунта, подключенного к Exchange по протоколу ActiveSync. А при таком способе ввода данных никакие записи в календаре не создаются.

Поэтому был написан VBA скрипт (т.к. ни одно бесплатное решение, найденное в интернете, мне не подошло по функционалу), который делает следующее:
— пересохраняет даты рождений и юбилеи всех контактов адресной книги (таким образом, нативной функцией Outlook в основом календаре создаются записи о днях рождениях и юбилеях контактов);
— перемещает все записи о таких событиях из стандартного календаря в указанный пользователем (чтобы не засорять и без того перегруженный записями основной календарь);
— исправляет записи контактов «Хранить как» (как известно, iOS и Android некорректно работают с этим полем в аккаунтах Microsoft Exchange) следующим образом: если поле «Имя» или «Фамилия» содержат какие-то значения, то «Хранить как» примет значение «Имя Фамилия», в противном случае — «Организация» (это особенно полезно, если сохраняешь названия служб и всякого рода контор в поле «Организация», а не «Имя», как, например, «Доставка Пиццы»).

Для того, чтобы заработал такой алгоритм, никакой дополнительный софт не нужно устанавливать.
Нужно выполнить всего-лишь 2 действия: разрешить выполнение неподписанных макросов и скопировать сам скрипт через буфер обмена (CTRL-C, CTRL-V) в Outlook.

Уважаемые дамы и господа, не повторяйте этот способ разбора Heads-up дисплея, так как после, с высокой вероятностью, останется лишь Android устройство без возможности отображения информации.
Ни одной статьи про разбор я не нашел, перед тем как начал разбирать, а жаль! Попытаюсь исправить этот недочет.



Для отважных и любопытных фото вскрытия дисплея, а также больше десятка изображений внутренностей микродисплея под катом…

У Яндекс.Карт давно просили сделать средство для визуализации данных с помощью тепловых карт — и мы наконец его сделали. Если вы — один из тех, кому это было очень нужно, можете переходить сразу к чтению документации на гитхабе. Если же вы ещё не знаете, нужно ли это вам, — можете потратить немного времени, чтобы почитать статью про то, что такое тепловые карты, как они генерируются на клиенте, и как мы совместили генерацию тепловой карты с картой географической.


Отображение географических точек из Википедии

Что такое тепловые карты, и зачем они нужны

Итак, обо всем по порядку. Для начала давайте определимся, что такое тепловые карты и с чем их едят? Как подсказывает мне капитан очевидность википедия, тепловые карты (они же теплокарты, они же heatmap) — это графическое представление данных, где дополнительные переменные отображаются при помощи цвета. Такой вид отображения бывает очень удобным. Например, им часто пользуются веб-аналитики, чтобы увидеть наиболее активные части страниц сайта.

«Новейшие технологии все больше и больше вторгаются в нашу жизнь» – эта фраза давно уже стала избитой, но при этом не потеряла своей справедливости. Когда-то реклама с усатым мачо, напечатанная в дореволюционных газетах, вызывала стойкое стремление что-то купить, а первые каменные «биллборды» появились еще в Древнем Риме. Сейчас видео даже с самым популярным актером и словами «Ну попробуйте, ну правда, это очень вкусно!» никакого впечатления не произведет и на самого непривередливого потребителя. А без рекламы нынешний мир, как бы этого многим не хотелось, существовать уже не может. Поэтому лет десять-пятнадцать назад начали появляться устройства отображения информации, показывающие рекламу не одному конкретному человеку, а всем, кто это устройство может видеть. Простейшими вариантами являются, например, табло отлета-прилета в аэропортах или «электронные очереди». Но этим возможности Digital Signage не ограничиваются. Больше десяти лет назад необходимость такого продукта (а он подразумевает и оборудование, и программное обеспечение, и создание контента, и службы его доставки) стала ясна компании Fujitsu. Сегодня мы расскажем о Fujitsu inStorevision – специализированном портале, позволяющем эффективно управлять любым количеством конечных точек показа визуальной информации.

Есть такие дела, про которые понятно, что они важные и нужные, но руки до которых доходят в последнюю очередь — то есть зачастую никогда. Думаю, у онлайн-версии курса по визуализации данных были все шансы стать таким вот вечно отложенным делом. Если бы не хабр…

В феврале в ответ на комментарий пользователя TyMaH я пообещала, что «до конца этого года мы так или иначе сделаем онлайн». Обещание — есть обещание. Встречайте наш первый (мини) онлайн-курс «Визуализация данных. Основы».



Курс посвящён дизайнерским принципам работы со сложными данными и знакомит слушателей с бибилиотекой D3.js — самым мощным и гибким инструментом создания интерактивных визуализаций. Курс состоит из 6 лекций и 6 практических заданий, каждое из которых позволяет применить и закрепить теоретический материал.

Приветствую вас, сообщество!

Хочу предложить вашему вниманию, все таки доведенную до определенной точки, свою библиотеку для визуализации данных blackHole.js использующую d3.js.
Данная библиотека позволяет создавать визуализации подобного плана:
картинки кликабельные
или

Статья будет посвящена примеру использования blackHole.js совместно с leaflet.js и ей подобными типа mapbox.
Но так же будут рассмотрено использование: google maps, leaflet.heat.

Получится вот так =)

Поведение точки зависит от того где я находился по мнению google в определенный момент времени

Посмотрите, а как перемещались вы?...

Вопрос:
Что будет если соединить и поместить в корпус из березовой фанеры 12 светодиодных блоков, 12 аналоговых датчиков присоединив это все к платформе Arduino с двумя микропроцессорами TI TLC5940?

Ответ:
Система мониторинга серверной нагрузки относительно максимального значения предыдущего дня, с ежесекундным обновлением актуальности данных.

Будучи поклонником научной фантастики, всяких бункеров, атомных электростанций с сотнями всевозможных датчиков, однозначно принял решение создать свой кусочек в стиле старой, советской электростанции, увиденной когда то на снимке, с возможностью в дальнейшем доделывать его все более и более.

На сайте Оксфордского института интернета можно найти солидную коллекцию визуализаций данных об интернете, составленную институтом за последние три года.



Для этого поста я выбрал:

— статистику проникновения интернета по странам,
— глобальную статистику использования Тора,
— статистику активности программистов (на основе распределения пользователей и коммитов Гитхаба),
— схему магистральных кабелей интернета,
— статистику запросов и удалений данных в интернете,
— представления пользователей интернета о разных странах.

Объединенная команда астрофизиков из Франции, Израиля и США создали трехмерную визуализацию локального суперкластера, куда входит и наша Галактика. Сам суперкластер был назван Laniakea, что означает «Неизмеримые небеса» на гавайском (кстати, есть нечто схожее с «Лалангаменой» — есть такой НФ рассказ и сборник НФ произведений, если не читали, рекомендую).

Диаметр сечения суперкластера составляет 160 мегапарсек, это в несколько тысяч раз больше, чем диаметр Млечного пути. А масса такого образования более, чем в сто тысяч раз превышает массу нашей Галактики. «Небеса» включают в себя около 100 тысяч галактик.

Визуализация данных самого разного рода, имеющих некое географическое распределение, в последнее время получает все большее и большее распространение. Тут, на Хабре, статьи с картами встречаются чуть ли не каждую неделю. Карты в статьях очень разные, но роднит их одно: как правило, в них используются всего две картографические проекции, при том — не самые удачные из существующих. Мне бы хотелось дать несколько наглядных примеров проекций, которые выглядят более эстетично и лучше приспособлены для разных видов визуализации. В этой статье будут рассмотрены общемировые проекции и проекции большей части Земли, так как визуализация чего-либо на карте мира, пожалуй, является наиболее распространенной из подобных задач.

Студент Anish Athalye из массачусетского института сделал интересную визуализацию активности GitHub. GitLive позволяет в реальном времени видеть активности пользователей со всего мира.

Ну раз уж пятница, то можно и помечтать, хотя это будущее не так уж далеко, как кажется на первый взгляд. Парижская дизайнерская студия Technicon Design недавно победила в конкурсе Yacht & Aviation Award с их проектом IXION Windowless Jet Concept. Идея заключается в панорамной съемке внешними камерами самолета и отображении этой картинки на мониторах с высоким разрешением, которые вмонтированы в стены и потолок самолета.

Последнее время SVG всё чаще используется в front-end, тут и там известные разработчики пишут хорошие статьи в своих блогах. В общем, SVG, кажется, наконец-то начинает занимать заслуженные позиции в стеке технологий современного веб-разработчика. Так что сегодня предлагаю поговорить о том, как можно использовать SVG в веб-картографии. Мы рассмотрим, как можно использовать возможности SVG и перекочевавшие из него в CSS свойства для достижения различных визуальных эффектов. Использовать будем Leaflet и иногда D3, но ничто не мешает использовать и другие библиотеки. Фильтры, паттерны и другие эффекты ждут вас под катом.

Научные задачи, связанные с обработкой и визуализацией сложных данных, — одни из самых нетривиальных и интересных. В научных экспериментах накапливаются огромные объёмы данных с разнообразными измерения и параметрами, характерными для конкретной области знаний, зачастую взаимосвязанными. При этом удобный и наглядный способ интерпретации этих данных быстро приводит к результату и наглядно демострирует его заинтересованным лицам — а там и до важного открытия рукой подать. Вспомните таблицу Менделеева, диаграммы Фейнмана, спектральные серии веществ, геномные схемы ДНК, карты реликтового излучения.

Я расскажу о научной задаче, с которой нам в Лаборатории данных посчастливилось работать. Мы придумали и реализовали инструмент для сравнения филогенетического расстояния образцов микробиоты и назвали его розой кишечных бактерий:

Все дороги ведут в Рим — так было когда-то. Сейчас дороги ведут во многие места, и люди более-менее свободно путешествуют по миру, с целью обретения либо второй родины, либо просто места для комфортной жизни.

Maximilian Schich, историк из Техасского Университета в Далласе, использовал данные огромной базы данных Freebase для поиска путей миграции 120 тысяч человек, мыслителей, ученых, представителей культуры, с древних времен по наши дни.

Каждый хотя бы раз в своей жизни сталкивался с понятием биржевых индексов или, как минимум, слышал о том, что «индексы РТС и ММВБ обновили максимум с апреля». Но что же скрывается за данным понятием, и зачем вообще нужны фондовые индексы? Сегодня мы подробнее рассмотрим этот вопрос.