Визуализация данных *

Если Вы уже слышали о D3 и Three.js, эта статья может показаться Вам интересной. В ней речь пойдёт о том, как заставить эти библиотеки работать вместе для создания динамических трёхмерных сцен, на примере этой простой гистограммы:

Сложные данные всегда были моей страстью. В 2007 году с подачи Артёма Горбунова я прочитала все книги Тафти и открыла для себя информационный дизайн. Первая визуализация — пассажиропотоки в метро — стала для меня счастливым билетиком в бюро, тогда же появился псевдоним Инфотанька. С тех пор я работала над тигриным календарём и бюрошными инфограммами, мобильным приложением «Веб-наблюдатель» со статистикой нарушений и информативным логотипом, умными маркетинговыми графиками для Зептолаба, интерфейсами Oh my stats!.



В июне этого года я, наконец, решила посвятить себя тому, что умею делать лучше всего, — визуализации данных. Так появилась лаборатория.

Здравствуйте.

В последнем посте из R-хаба «Визуализация двумерного гауссиана на плоскости» был описан алгоритм построения доверительного эллипса по ковариационной матрице. Алгоритм сопровождался примером и R-скриптом.

Возможно, автору поста о «Визуализации гауссианы» mephistopheies и читателям R-хаба будет полезной следующая информация. В репозитории R есть пакет ellipse. Этот пакет содержит различные процедуры для построения эллипсов доверительных областей.

Рассмотрим пример.

Хочу поделиться с хабром своим картографическим экспериментом, а именно анимацией перехода от Ортографической проекции (глобус) к Равнопромежуточной (одна из проекций обычных двумерных карт). Также этот способ подойдёт и для любых других проекций. Результатом экспериментов стала вот такая анимация:



Как и прежде будем использовать библиотеку d3.js, как и прежде сделаем несколько реализаций: SVG и Canvas. Оба варианта можно будет эффектно использовать для интерактивной инфографики. Ну что, начнём?

Я полагаю что все в общих чертах знают о существовании такого замечательного математического инструмента как преобразование Фурье. Однако в ВУЗах его почему-то преподают настолько плохо, что понимают как это преобразование работает и как им правильно следует пользоваться сравнительно немного людей. Между тем математика данного преобразования на удивление красива, проста и изящна. Я предлагаю всем желающим узнать немного больше о преобразовании Фурье и близкой ему теме того как аналоговые сигналы удается эффективно превращать для вычислительной обработки в цифровые.

(с) xkcd

Без использования сложных формул и матлаба я постараюсь ответить на следующие вопросы:

• FT, DTF, DTFT — в чем отличия и как совершенно разные казалось бы формулы дают столь концептуально похожие результаты?
• Как правильно интерпретировать результаты быстрого преобразования Фурье (FFT)
• Что делать если дан сигнал из 179 сэмплов а БПФ требует на вход последовательность по длине равную степени двойки
• Почему при попытке получить с помощью Фурье спектр синусоиды вместо ожидаемой одиночной “палки” на графике вылезает странная загогулина и что с этим можно сделать
• Зачем перед АЦП и после ЦАП ставят аналоговые фильтры
• Можно ли оцифровать АЦП сигнал с частотой выше половины частоты дискретизации (школьный ответ неверен, правильный ответ — можно)
• Как по цифровой последовательности восстанавливают исходный сигнал

Я буду исходить из предположения что читатель понимает что такое интеграл, комплексное число (а так же его модуль и аргумент), свертка функций, плюс хотя бы “на пальцах” представляет себе что такое дельта-функция Дирака. Не знаете — не беда, прочитайте вышеприведенные ссылки. Под “произведением функций” в данном тексте я везде буду понимать “поточечное умножение”

Предисловие

Как-то в гостях мне в руки попалась головоломка, в которой из 25 одинаковых фигурок требовалось собрать куб. Я провозился с ней почти весь вечер, и как можно догадаться, абсолютно безрезультатно. Тем не менее, я не мог сдаться просто так.

Не можешь сам — заставь компьютер. Сказано — сделано. В результате написанному по наитию алгоритму пришлось работать всю ночь, чтобы найти все 4 уникальных решения. В процессе гугления решений для сравнения, я нашёл программу Burr Tools, которая справилась с этой задачей за 3 минуты на моём ноутбуке.

Такая разница в скорости заставила меня разобраться, как решается эта задача и ещё целый класс подобных.

Приветствую вас, хаброжители! Сегодня я расскажу вам как сделать интерактивную SVG картограмму при помощи d3js.org, о возможностях этой JavaScript библиотеки в общем, а также придётся немного разобраться в том как и где лучше хранить геоинформацию для веба. В финале мы получим следующее:


Начать сие увлекательное путешествие можно под катом.

Это логическое продолжение статьи "Построение графа социальной сети с помощью Drupal и Feeds"

Я в составе группы занимался собором информации из блогосферы. Задачей было оценить напряженность, активность политических дискуссий в период избирательной кампании выборов в Государственную Думу. Забегая вперед скажу, что исследование позволило выдвинуть гипотезы, которые позже подтвердились. В частности, по результатам, о которых вы прочтете ниже можно понять, кто же будет выходить на площади и выводить за собой людей. И главное, за кем они пойдут.

Подведём итоги ушедшего года.



Красивая анимация показывает все дополнения и изменения точек (белые вспышки) и общие правки (жёлтые), которые сделали тысячи участников OpenStreetMap в 2011 году.

Эта анимация сделана Derick Rethans полностью с помощью FOSS.

Другие визуализации:

• Лондон (видно процесс создания карты города с абсолютного нуля)
• Берлин
• землетрясение на Гаити
• правки 2008 года на глобусе

Среднее месячное количество просмотров страниц Википедии на пользователя Интернета в течении июля, августа и сентября 2009 года.
Например, для России (из этой таблицы):
≈163 019 000 просмотров за месяц / 45 250 000 юзеров = 3.6 просмотра делает российский юзер в месяц.

Зеленым цветом показаны страны, где средний пользователь Интернета просматривает по крайней мере 10 страниц в месяц.
Красным показаны страны, где средний пользователь Интернета просматривает менее, чем одну страницу в месяц.

^{Использованы данные из списка стран по числу пользователей Интернета, которые устарели (нет данных за 2009) для нескольких стран (например, Индии, Бразилии, Польши, Гренландии), поэтому для них результат может получиться приукрашенным.}

Ещё одна визуализация OpenStreetMap, но не Гаити, а всего мира, правда за 2008 год, зато под музыку.
^{Видео было выложено год назад, но узнал я о нём только сейчас. Возможно, вы тоже его не видели.}


Лучше смотреть на сайте в HD — обалденно красиво (если не развернёте на весь экран, Россию увидите плохо).

Кстати, стоит ли в связи с последними событиями ждать какого-либо улучшения карт Чили?

Интересное видео из блога opengeodata.org. Карту до и после можно посмотреть в этом посте.



См. также ещё более красивое видео с правками всего мира.

Gizmodo

Я думаю, большинство хабралюдей должно быть знакомо с такой вещью, как майндмэпы, они же карты разума, они же диаграммы связей. Для тех, кто не в курсе, поясню: майндмэп — это иерархическая диаграмма, отображающая множество взаимосвязанных мыслей.

У диаграмм связей существует много возможных применений. Например, с их помощью можно разрабатывать базы данных и абстрактные структуры классов, проводить мозговой штурм или планировать личные расходы. Расскажу, как я применяю их в учебе.

Так уж получилось, что время от времени мне приходится работать со статистикой, а следовательно задаваться вопросом «В каком виде ее лучше представить другим людям?» Поэтому, сегодня я расскажу вам о некоторых весьма оригинальных способах визуализации разного рода статистических данных.

Для начала приведу пример одной визуализации, сделанной с помощью Processing.
В ее основу входит ежегодная статистика наиболее освещаемых газетой New York Times людей и организаций, а связи между ними показаны линиями.

По ссылке можно посмотреть визуализации за каждый год с 1984.