Как стать автором
Обновить
59.75

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Период
Уровень сложности

Визуализация информации и статистики

Время на прочтение2 мин
Количество просмотров1.6K
Так уж получилось, что время от времени мне приходится работать со статистикой, а следовательно задаваться вопросом «В каком виде ее лучше представить другим людям?» Поэтому, сегодня я расскажу вам о некоторых весьма оригинальных способах визуализации разного рода статистических данных.

Для начала приведу пример одной визуализации, сделанной с помощью Processing.
В ее основу входит ежегодная статистика наиболее освещаемых газетой New York Times людей и организаций, а связи между ними показаны линиями.
image
По ссылке можно посмотреть визуализации за каждый год с 1984.
Читать дальше →

Как я делал систему сбора данных на провинциальном заводе и что из этого вышло

Уровень сложностиПростой
Время на прочтение23 мин
Количество просмотров12K

Привет, Хабр!

Меня зовут Валерий, и я проработал инженером на заводе шесть лет. Звучит как начало занятий по групповой психотерапии для выгоревших сотрудников, но о моём выгорании и причинах этого я расскажу как-нибудь в другой раз. В данной статье хочу поделиться историей о том, как я воплощал свой Pet-проект в рамках промышленного предприятия и что из этого вышло. Впереди много картинок, так что добро пожаловать под кат!
Читать дальше →

Как зарождалось «компьютерное искусство»

Время на прочтение8 мин
Количество просмотров4.1K

В 1956 году анонимный сотрудник IBM воспроизвел даму со страниц Esquire на экране военного компьютера стоимостью 238 миллионов долларов. В то время вычислительная мощность была настолько скудной, что для ее финансирования требовался государственный оборонный бюджет. Но молодой человек использовал оборудование для защиты от ядерного апокалипсиса, чтобы вывести изображение соблазнительной женщины на экране электронно-лучевой трубки. Это было одним из первых цифровых изображений человека в истории.
Читать дальше →

Два часа и 3.5 доллара. Как я сделал простой сайт с визуализацией распространения коронавируса

Время на прочтение2 мин
Количество просмотров43K
Все началось с того, что я не смог найти нормальной визуализации данных о распространении коронавируса. Вернее, был один сайт, показывающий динамику на карте и метрики по Китаю, но это как раз то, что меня меньше всего интересовало, мне интересна глобальная картина. Скажу честно, этот вирус меня пугает.
Читать дальше →

Визуализация дерева приматов

Время на прочтение4 мин
Количество просмотров9.7K

Визуализация дерева приматов


Станислав Дробышевский в начале года опубликовал подробное дерево происхождения приматов. Версия в ПДФ


Комментаторы во «Вконтакте» просили интерактивную версию (1, 2, 3, 4), потому что её удобнее изучать и проще обновлять при появлении новых данных.


Мы с Олей Моховой решили помочь палеоприматологии и сделали прототип на d3js.

Читать дальше →

Введение в D3

Время на прочтение6 мин
Количество просмотров140K

D3.js (или просто D3) это JavaScript-библиотека для обработки и визуализации данных. Она предоставляет удобные утилиты для обработки и загрузки массивов данных и создания DOM-элементов. Эта заметка описывает работу с основными методами библиотеки, она подойдёт для изучения основ библиотеки и погружения в её логику и возможности.

Для понимания статьи пригодятся знания JS, HTML и CSS.

Читать дальше →

Сравнительный обзор портативных СВЧ приборов Arinst vs Anritsu

Время на прочтение19 мин
Количество просмотров28K
image

На независимый тест-обзор поступила пара приборов российского разработчика «Kroks». Это довольно миниатюрные радиочастотные измерители, а именно: анализатор спектра со встроенным генератором сигналов, и векторный анализатор цепей (рефлектометр). Оба устройства по верхней частоте имеют диапазон до 6,2 ГГц.

Появился интерес понять, это очередные карманные «показометры» (игрушки), или действительно достойные внимания приборы, потому как производитель их позиционирует: -«Прибор предназначен для радиолюбительского применения, так как не является профессиональным средством измерения.»

Вниманию читателей! Данные тесты проводились любительские, ни в коей мере не претендующие на метрологические исследования средств измерений, на основании стандартов государственного реестра и всего прочего с этим связанного. Радиолюбителям интересно посмотреть на сравнительные измерения часто применяемых на практике устройств (антенны, фильтры, аттенюаторы), а не теоретические «абстракции», как это принято в метрологии, например: рассогласованные нагрузки, неоднородные линии передачи, или отрезки короткозамкнутых линий, в данном тесте не применялись.
Читать дальше →

Тематическое моделирование на пути к разведочному информационному поиску. Лекция в Яндексе

Время на прочтение19 мин
Количество просмотров17K
Недавно в Москве прошла конференция Data Fest, организованная сообществом Open Data Science и Яндексом. Этой публикацией мы открываем серию расшировок докладов с Data Fest. Автор первого доклада — доктор наук, признанный специалист по машинному обучению и преподаватель Школы анализа данных Константин Вячеславович Воронцов.


Всякую ли поисковую функцию выполняет Яндекс или Google? К сожалению, пока нет. Существуют такие типы поиска, при которых никакая выдача не будет считаться правильной. И дело даже не в релевантности, а в том, что нужен другой поиск — помимо привычного нам всем. Под катом вы найдете расшифровку лекции о разведочном поиске, а также большинство слайдов.

Доллар

Время на прочтение5 мин
Количество просмотров82K


Последние два года вся страна пристально следит за курсом доллара. Новостные выпуски пестрят громкими репортажами о долларе. Все говорят о долларе. А что, если мы на фоне горячего интереса, разберемся с тем, как формируется цена доллара, посмотрим кто и как торгует валютой?! Все результаты, представленные в данной статье, получены на основе официальных торговых данных full orders log (полный журнал заявок), купленные на Московской Бирже. Мы покажем реальные торги изнутри. Параллельно, познакомимся со стандартными методами анализа рынка. Такая аналитика стоит не малых денег и её могут позволить ограниченное число «компаний».

Инструментом для анализа данных будет Java. Анализируемый биржевой инструмент — USDRUB_TOM. Наша задача вытащить любопытные детали из имеющихся данных и попробовать сделать определенные выводы.
Читать дальше →

DICOM Viewer изнутри. Воксельный рендер

Время на прочтение9 мин
Количество просмотров94K
Добрый день, уважаемое хабра-сообщество!

Сегодня мне бы хотелось пролить свет на одну из самых неосвещённых тематик на хабре. Речь пойдёт о визуализаторе медицинских радиологических изображений или DICOM Viewer'е. Планируется написать несколько статей, в которых поговорим об основных возможностях DICOM Viewer'а — в том числе возможности воксельного рендера, 3D, 4D, рассмотрим его устройство, поддержку протокола DICOM и др. В этой статье я расскажу о воксельном рендере и его устройстве. Всем заинтересовавшимся добро пожаловать под кат.


Читать дальше →

api2app — быстрое создание графического интерфейса для API

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров19K

Хочу рассказать о своём небольшом проекте с открытым исходным кодом, который создал для своих нужд. Возможно, кому-то он тоже будет полезен или найдутся люди, желающие помочь в его развитии.

При помощи api2app можно быстро создать графический интерфейс для API. Его можно использовать для тестирования или демонстрации работы вашего API. Созданным приложением можно поделиться со всеми желающими или использовать по приватной ссылке.

Читать далее

Как ГЛОНАСС испортил мне кровь и причем тут BI

Время на прочтение6 мин
Количество просмотров8.7K

Привет, Хабр! Этот будет пост о том, как тяжело может идти принятие решения об импортозамещении популярной западной системы. Речь пойдет о замене для PowerBI, который мы только-только начали использовать. Под катом — история с самого начала (в кратком изложении), а также много моих личных страданий и размышлений. Если вы тоже меняли BI, поделитесь своим опытом — может быть он поможет мне или кому-то еще.

Меня зовут Антон, и, если честно, я давно хотел что-то написать здесь. Но никак не доходили руки, не хватало времени или мотивации. Но вот свершилось! Я окончательно замучался с выбором российской BI-платформы. Это и сподвигло написать пост. Я даже нарисовал несколько картинок, чтобы все это было веселее, так что не судите строго за кустарное творчество. 

Читать далее

Ближайшие события

Жуки атакуют

Время на прочтение6 мин
Количество просмотров16K
Я уже делал на Хабре пост про поражения сибирских лесов опасным вредителем — уссурийским полиграфом. Этот чрезвычайно плодовитый и опасный жук способен за короткое время уничтожить огромные площади пихтовых лесов и, к сожалению, это получается у него куда лучше, нежели усилия людей по борьбе с опасным насекомым. Основной проблемой мониторинга лесов в зоне поражения жуком является нехватка специалистов и современных методик быстрого и точного анализа состояния пораженного леса. Однако, некоторые позитивные моменты всё же есть. На схватку с опасным вредителем выходят беспилотные летательные аппараты. БПЛА. Вернее сказать вылетают…
Читать дальше →

Чем занимались пиарщики РПЦ в день встречи Путина и Трампа на G20?

Время на прочтение2 мин
Количество просмотров32K


В рамках данной статьи мы будем проводить замеры динамики пульсации сущностей в информационном пространстве.
Читать дальше →

Немного про кино или как делать интерактивные визуализации в python

Время на прочтение5 мин
Количество просмотров71K


Введение


В этой заметке я хочу рассказать о том, как можно достаточно легко строить интерактивные графики в Jupyter Notebook'e с помощью библиотеки plotly. Более того, для их построения не нужно поднимать свой сервер и писать код на javascript. Еще один большой плюс предлагаемого подхода — визуализации будут работать и в NBViewer'e, т.е. можно будет легко поделиться своими результатами с коллегами. Вот, например, мой код для этой заметки.


Для примеров я взяла скаченные в апреле данные о фильмах (год выпуска, оценки на КиноПоиске и IMDb, жанры и т.д.). Я выгрузила данные по всем фильмам, у которых было хотя бы 100 оценок — всего 36417 фильмов. Про то, как скачать и распарсить данные КиноПоиска, я рассказывала в предыдущем посте.


Читать дальше →

Байесовская собака: анализ пёсьего компаса

Уровень сложностиСредний
Время на прочтение23 мин
Количество просмотров6.6K

Ориентируются ли собаки по компасу, когда делают свои грязные дела? Оказывается — да! Если вам интересно, как можно это подтвердить в домашних условиях, используя компас, Байесовскую статистику и собаку (собака не включена), то добро пожаловать под кат. 

Читать далее

Главные отличия PCA от UMAP и t-SNE

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров8.2K

Здесь будет рассказано о главных отличиях самого старого и базового алгоритма снижения размерности - PCA от его популярных современных коллег - UMAP и t-SNE. Предполагается, что читатель уже предварительно что-то слышал про эти алгоритмы, поэтому подробного объяснения каждого из них в отдельности приведено не будет. Вместо этого будут объяснены самые важные для практики свойства этих алгоритмов и то, на какие связанные с ними подводные камни можно налететь при неосторожности. Все особенности будут описаны на примерах, с минимумом теории; те пытливые умы, что почувствуют в процессе чтения жажду математической строгости, смогут удовлетворить её в литературе, ссылки на которую будут даны по ходу дела и в конце статьи.

Читать далее

Восстановление утраченных текстов с помощью современных технологий. Железо

Время на прочтение17 мин
Количество просмотров12K
Для начала немного новостей.

Как вы можете помнить, в 2018 году я опубликовал статью Как нам удалось прочитать рукопись, найденную в 80-х возле третьего крематория в Аушвице-Биркенау. Так же можете почитать интервью со мной в новой газете.

image

После совместной работы новая  информация заставила зашевелиться как и сам музей Биркенау так и историков. Впервые у Павла Поляна вышли «Свитки из Пепла» на немецком языке. 

В январе 2020 года мы получаем письмо от нашего друга историка Андреаса Киллиана из Франкфурта со ссылкой на магазин музея Аушвиц Биркенау.

Алгорейв: как программисты устраивают вечеринки

Время на прочтение5 мин
Количество просмотров15K

Источник

Разработчики будущего пишут не просто код — они создают алгоритмический рейв. Алгорейв — это написание и использование алгоритмов, генерирующих танцевальную музыку в режиме реального времени перед физически присутствующей аудиторией.

Генеративная музыка — явление не новое. Известно, что даже нейросеть способна создавать музыку, которую сложно отличить от творчества талантливого композитора. Однако алгорейв имеет свои отличительные особенности.

Если работа традиционного диджея строится вокруг правильного сведения треков (конечно, если он не крутит с флешки готовый микс), то алгорейверы импровизируют, допускают и исправляют ошибки прямо во время представления. При этом лайвкодеры транслируют происходящее на экране ноутбука.