Визуализация данных *

Мы сегодня немного переосмыслили роль современной математики — не только финансовой математики, а математики в общем. Её переход от того, что мы извлекаем и выводим из наблюдений за миром, к тому, что начинает формировать — мир вокруг нас и наш внутренний мир. Kevin Slavin «How algorithms shape our world» TED 2011

(на фото/картинке «Амплитудная модуляция» высот гор индексом doy jones 1980-2009, Michael Najjar)

Если алгоритмы выйдут из строя, как мы узнаем об этом?

— что общего между алгоритмами маскировки/локации самолета невидимки и алгоритмической торговлей?
— как хаос помогает Netflix рекомендовать фильмы?
— кто в ответе за "черный вторник" 2010,
— чем отличаются траектории умных пылесосов?
— как оптимально «упаковать» людей в лифты?
— откуда начинается интернет в Нью-Йорке?
— как алгоритмы продавали книгу за 23 млн долларов
— почему чтобы делать деньги из воздуха нужно лезть в воду?
— терраформирование на службе оптимизации алгоритмов

под катом видео с русскими субтитрами Kevin Slavin: How algorithms shape our world (3 000 000+ просмотров)

Это удивительная песочница представляет собой интерактивный инструмент для обучения детей. Создавая своими руками ландшафты из песка, маленькие демиурги сразу же получают горы, ущелья, вулканы, долины и реки.

Этот проект создан командой специалистов по геологии и визуализации. Система построна на основе камеры Microsoft Kinect, работающей в связке с топографическим ПО и 3D-проектором. Немало времени ушло у авторов, чтобы научить своё детище быстро и точно реагировать на действия детей.

Каждый раз, когда подводятся финансовые итоги прошедшего года и готовится соответствующая презентация, люди ломают голову, как бы уместить основные цифры на одной диаграмме. Какова бы ни была сфера деятельности организации, подведение итогов, как правило, начинается с анализа основных финансовых показателей, отдельно по каждому из бизнес-направлений:

• оборот в завершившемся году (фактические цифры);
• установленные ранее планы на завершившийся год (для анализа выполнения);
• оборот годом ранее (для понимания динамики);
• прибыльность.

Стандартная столбчатая диаграмма, которую можно на скорую руку построить в Excel, даёт, мягко говоря, не совсем наглядный результат. К примеру, если у бизнеса четыре направления, то на диаграмме появятся 16 рядом стоящих столбцов, и кто-то может с непривычки спутать передовиков и отстающих.
Специалисты, знакомые с R, могут использовать ggplot2 для программного построения нужной диаграммы, например, такой как здесь. Для примера взяты цифры за 2012 год из годового отчета компании Unilever. Плановые показатели не относятся к публичным данным, поэтому пришлось их выдумать из головы, установив, для определенности, на уровне «прошлый год + 5%».
Исходные цифры находятся в Excel и выглядят так (данные в миллионах евро):

Построенная в RStudio диаграмма выглядит следующим образом:

Проверьте диаграмму на интуитивность, и не глядя на цифры, предположите, какому показателю какой элемент диаграммы соответствует, а объяснения будут далее.

На хабре было несколько статей по преобразованию Фурье и о всяких красивостях типа Цифровой Обработки Сигналов (ЦОС), но неискушённому пользователю совершенно не понятно, зачем всё это нужно и где, а главное как это применить.


АЧХ шума.

Лично мне после прочтения этих статей (например, этой ) не стало понятно, что это и зачем оно нужно в реальной жизни, хотя было интересно и красиво.
Хочется не просто поглядеть красивые картинки, а так сказать, ощутить нутром, что и как работает. И я приведу конкретный пример с генерацией и обработкой звуковых файлов. Можно будет и послушать звук, и поглядеть его спектр, и понять, почему это так.
Статья не будет интересна тем, кто владеет теорией функций комплексной переменной, ЦОС и прочими страшными темами. Она скорее для любопытствующих, школьников, студентов и им сочувствующих :).

D3.js (или просто D3) это JavaScript-библиотека для обработки и визуализации данных. Она предоставляет удобные утилиты для обработки и загрузки массивов данных и создания DOM-элементов. Эта заметка описывает работу с основными методами библиотеки, она подойдёт для изучения основ библиотеки и погружения в её логику и возможности.

Для понимания статьи пригодятся знания JS, HTML и CSS.

Каждому из нас известно, что человечество невероятно загадило свою планету и ежедневно продолжает генерировать невероятное количество мусора. Но немногим известно, что за недолгий период освоения космоса мы успели превратить околоземное пространство в небольшую свалку отработанных спутников. Здесь представлены две интерактивные визуализации, отражающие сложившуюсь ситуацию.

Первая визуализация (автор Alex Rasmussen) отражает все известные и отслеживаемые спутники и обломки:

• Зелёными точками обозначены действующие спутники.
• Серыми — неактивные, но работоспособные.
• Красными — вышедшие из строя спутники и их обломки.

Изображения глубокого космоса Hubble eXtreme Deep Field — одни из наиболее впечатляющих. Собственно, при помощи этой системы человек смог заглянуть очень глубоко в космос. Само собой, все эти изображения отстают от текущей ситуации на миллионы и миллиарды лет. Но для понимания устройства Вселенной и это хорошо.

Так вот на днях в Сеть был выложен небольшой видеоролик, который демонстрирует нам глубины космического пространства (с максимальной «глубиной» в 13 миллиардов световых лет). Пока что это — максимум, на который способно человечество, дальше заглянуть мы пока не в состоянии.

34 ученых из Allen Institute for Brain Science в Сиэтле завершили создание первой всеобъемлющей карты мозга млекопитающих, о чем они объявили 2 апреля в журнале Nature Neuroscience. Карта детально отображает взаимосвязи между клетками мозга мыши – нейроны, которых у нее около 71 миллиона.

Недавно в рубрике «Вопрос-ответ» меня попросили улучшить таблицу личных финансов.

Эта тема оказалась настолько интересной, что я не поленилась выгрузить из своего интернет-банка данные о тратах за последние 2 года, и мы в лаборатории сделали из них интерактивную визуализацию на D3: http://budget.datalaboratory.ru

Визуализация показывает каждую отдельную транзакцию и общее распределение трат во времени, по категориям, дням недели и времени суток. При наведении всплывает подсказка с суммой, категорией и конкретным товаром (если его удалось вспомнить). Расходы в иностранной валюте показаны флагами стран внизу графика и иллюстрируют мои перемещения.

О мозге, человеческом мозге, ученые знают уже очень много. В то же время, подробное объяснение процесса мышления, работы нашего «вычислительного центра», пока невозможно — уж слишком много всяких нюансов, отдельных фактов, которые достаточно сложно объединить в стройную систему, модель мышления человека.

Тем не менее, за работой мозга можно следить благодаря постоянной электрической активности этого органа и отдельных его частей.

На днях специалисты Neuroscape Lab создали 3D-визуализацию работы мозга. Видео получено следующим образом: вначале мозг добровольца сканировался на MRI, затем подключаются электроды электроэнцефалографа, и проводится мониторинг работы мозга, визуализация чего накладывается на ранее отсканированную модель мозга.

Наверное, в Нью-Йорке самый большой таксопарк в мире, или один из самых больших. За последний год, по данным MIT, 13500 такси перевезли более 17 миллионов пассажиров. Это, сами понимаете, очень много.

Благодаря современным технологиям специалистам удалось перевести все данные по перемещениям такси (использовались GPS-координаты) за последний год в графику. И результат получился достаточно интересным.

Не секрет, что задачи тестирования, как ручного, так и автоматизированного, постоянно требуют создания новых тестовых стендов.
Для того чтобы автотесты Поиска Mail.Ru выполнялись быстро и во всех необходимых окружениях, нам потребовалось научиться быстро разворачивать новые виртуальные машины с определенной конфигурацией.
Большое количество виртуальных машин в нашем облаке используется браузерной фермой WebDriver, масштабируя её, мы ускоряем выполнение тестов web-интерфейса Поиска.
Кроме этого, на виртуалках мы запускаем инструменты для сбора метрик качества кода и измерения покрытия, а также инструменты для тестирования Поиска, разработанные нами.

Источник: Nature

Некоторое время назад на Хабре была опубликована заметка о возможностях 3D SEM-микроскопии применительно к исследованию структуры человеческого мозга в рамках европейского мегапроекта «The Human Brain Project». Под катом мы постарались максимально подробно – а это значит будет много текста – ответить на заданные вопросы, но начнём по традиции с некоторого введения.
Attention! Впереди очень много текста

25 и 26 января Лаборатория данных провела первый учебный курс «Визуализация данных». Мы чувствовали себя первопроходцами, аналогов нашей программы в России пока нет. Я расскажу, как мы построили учебный план, как организовали процесс и каких результатов достигли.



Материала для двухдневного курса у нас было достаточно, пожалуй, даже слишком много. Мои работы и проекты лаборатории, крутые визуализации из интернета и книг Тафти, множество примеров галереи D3. Нужно было не просто «вывалить» на слушателей всю информацию, а помочь им извлечь важные и полезные знания из каждого примера.

22 февраля во всём мире пройдет Open Data Day посвященный открытым данным и организованный Open Knowledge Foundation при поддержке многих межгосударственных и международных организаций таких как ООН и Всемирный банк.

Подробнее о том как он будет проходить можно прочитать на сайте http://opendataday.org/

Open Data Day — это совершенно некоммерческая нефинансируемая никем движуха, эдакий такой большой митап для пользы дела.

Вы можете помочь нам следующим образом:

• накидав идеи для разработчиков
• пригласив разработчиков что-нибудь славное на открытых данных поделать;
• предложить какие-нибудь свои данные интересные на которых можно вытворять что-то интересное;
• предложить выступление по тому что вы делаете по открытым данным;
• предложить какие-нибудь прикольные неденежные призы;

Формат будет простой:

Автор хочет поделится своим опытом организации быстрой перерисовки графиков (точнее сказать, изображений,) в Матлабе на примере организации радиолокационного индикатора кругового обзора

25 и 26 января лаборатория проводит практический учебный курс по визуализации данных.



Весь прошлый год мы в лаборатории решали задачи по визуализации и придумывали новые форматы представления данных, я вела обычные и живые советы, читала лекции и проводила практические занятия со студентам МАИ, МГУ и участниками питерского «Дизайн-трека». Мы собрали огромное количество материала, которым не трепится поделиться, и подготовили двухдневный практический курс для тех, кто хочет перейти «на ты» со сложными данными и с головой погрузиться в тему.

На курсе участники учатся работать с данными с помощью дизайнерских инструментов. В первый день мы разберём хорошие и плохие примеры, по-новому взглянем на привычные таблицы, графики и диаграммы, познакомимся с необычными форматами — удавом, слоёным пирогом, мозаикой, домограммой. Во второй день Дима Тихвинский devgru, веб-технолог лаборатории, покажет как применить эти навыки при работе с библиотекой D3.js — самым современным и гибким инструментом интерактивных визуализаций. Все участники курса получат раздаточные материалы с кратким конспектом лекций:


Курс будет полезен дизайнерам, аналитикам, менеджерам, программистам, журналистам и редакторам онлайн-изданий. Предварительного знакомства с D3.js не требуется, опыт работы с HTML, CSS и JavaScript полезен, но не обязателен.

Чтобы заинтересовать хабровчан, я приготовила полезный и приятный сюрпризы. В этой заметке я поделюсь рецептами грамотной работы со сложными данными, которым мы учим на курсе, и расскажу, как получить скидку.

Думаю многие видели обзоры игровых консолей нового поколения от Polygon (Vox Media). Это те, где консоли отрисовывались в стиле blueprint'ов:


Обзоры выглядели круто, довольно необычно и ново. О том как реализована основная фишка обзоров — SVG анимация, как сделать нечто подобное самому, и какие ещё «секретные» возможности скрывает старый добрый SVG в плане анимации элемента path — можно узнать под катом.

В продолжение марафонской истории я расскажу, как мы создавали визуализацию. Работа над проектом шла поэтапно: идея, дизайн, реализация и наполнение данными.

Идея

Идея показать результаты забега пришла ко мне после участия в «Весеннем громе». Скучные официальные таблицы никак не отражали настроение забега, при этом данные были в открытом доступе — сложные и интересные. Лаборатория только открылась, и в качестве тестового задания для вакансии дизайнера я выбрала задачу о визуализации результатов «Весеннего грома». Из десятка вариантов мне больше всего понравилась идея Сергея Долинина svetosil — показать распределение участников в момент первого финиша:



Мы взяли за основую эту идею и оживили её временным слайдером. Визуализация марафона стала первым проектом Серёжи в лаборатории.

Всем привет!
По наводке из статьи «pChart — строим графики и диаграммы на PHP» реализовал у себя построение графиков. Вот так выглядит:

Примеры это, конечно, хорошо, но практическая реализация может помочь в понимании. Моё применение под катом.