Обновить
48.28

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Восстановление утраченных текстов с помощью современных алгоритмов. Софт

Время на прочтение12 мин
Охват и читатели19K
image

В первой части мы с вами поговорили о научном оборудовании, которое используется для прочтения, казалось бы, утраченных навсегда текстов. А теперь мы поговорим о том, как обрабатывать эти данные. Мы рассмотрим интересные цветовые пространства, алгоритмы, фильтры и методы статистического анализа. Но перед этим еще раз вернемся к их извлечению. Нам, простым смертным, доступны два варианта — сканеры и фотоаппараты. 

Визуализация при помощи генеративных алгоритмов: дифференциальная сетка (2D и 3D) и трещины

Время на прочтение6 мин
Охват и читатели4.9K
image

Это развитие идей из публикации Визуализация при помощи генеративных алгоритмов: гифа, деревья, повторяющиеся и дифференциальные линии (на Python), однако вам необязательно читать ее — все проекты, описанные здесь самодостаточны.

Все что вам необходимо знать: последнее время автору были особенно интересны биологические образы и дифференциальный рост. В посте есть результаты экспериментов с различными биологическими и физическими закономерностями, в частности дифференциальной сеткой, в том числе в 3D, и трещинами.
Осторожно, тяжелые красивые картинки

Восстановление утраченных текстов с помощью современных технологий. Железо

Время на прочтение17 мин
Охват и читатели14K
Для начала немного новостей.

Как вы можете помнить, в 2018 году я опубликовал статью Как нам удалось прочитать рукопись, найденную в 80-х возле третьего крематория в Аушвице-Биркенау. Так же можете почитать интервью со мной в новой газете.

image

После совместной работы новая  информация заставила зашевелиться как и сам музей Биркенау так и историков. Впервые у Павла Поляна вышли «Свитки из Пепла» на немецком языке. 

В январе 2020 года мы получаем письмо от нашего друга историка Андреаса Киллиана из Франкфурта со ссылкой на магазин музея Аушвиц Биркенау.

Сила дашбордов

Время на прочтение10 мин
Охват и читатели16K

Всем привет! Меня зовут Егор Иванов, и я специалист по автоматизации тестирования. Довольно долгое время до этого я проработал в различных компаниях из сферы BI. Я обожаю визуализацию данных и считаю, что без нее невозможно строить рабочие процессы и уж тем более процессы в тестировании. Поэтому хочу, чтобы ее использовали как можно больше людей, так как визуализация данных очень важна, а в виде дашбордов она еще и прекрасна.

Надеюсь, материал будет полезен и для тех, кто уже использует дашборд, —  возможно, вы увидите новое применение для этого инструмента. А те, кто незнаком с ним, познакомятся и, возможно, также начнут его использовать.

Читать о дашбордах

Статистика Product Hunt: разрушаем (и подтверждаем) мифы о запуске

Время на прочтение4 мин
Охват и читатели2.3K

Когда лучше всего публиковаться? Какие категории набирают больше голосов? Имеет ли смысл обращаться к раскрученным «хантерам»? В какое время пользователи проявляют максимальную активность?

Под катом — ответы на эти (и не только) вопросы, накопленные за 3 месяца автоматического сбора статистики о топовый продуктах на Product Hunt. Ну и красивые графики, конечно.

Смотреть статистику

Кому на Руси жить хорошо? Как мы искали самый “зеленый” город с помощью OpenStreetMap и Overpass API

Время на прочтение9 мин
Охват и читатели5.2K
У каждой карты есть легенда: именно она говорит читателю о том, что и каким образом на ней обозначено. Домам соответствуют многоугольники серого цвета, дорогам — отрезки и кривые, территории парков и скверов заливаются светло-зеленым и украшаются пиктограммой дерева. А к некоторым картам добавляют полезное приложение — список этих самых дорог с протяженностью, количество парков, лавочек и мусорных урн.

Когда мы готовились к автоматизации работы местных муниципальных служб, мы обратили внимание на использование картографии, которое мы сочли действительно мощным и эффективным инструментом для решения широкого кластера задач. На карте можно отображать актуальную информацию о местоположении объектов, маршруты движения уборочной техники, транспорта, план работы и тепловую карту с проблемными и “здоровыми” участками.

Использование картографии в целом помогает ускорить время реакции и принятия решений по экстренным вопросам, упрощает процесс планирования и прогнозирования, а главное — вся информация доступна в максимально наглядном виде.

В ходе работы с одним из заказчиков перед нами возникла интересная задача — подсчитать количество объектов на карте по категориям.

Найти


Определить самый “зеленый” город в ЦФО по совокупности следующих данных: количество лавочек, урн и парков.

Дано


Картография. В качестве плацдарма мы выбрали OpenStreetMap (далее — OSM) по весьма простой причине — Open Source.

Решение


Существует несколько подходов к решению поставленной задачи. К примеру, мы можем использовать PostgreSQL для осуществление запросов к базе данных OSM и получения необходимых данных, или использовать QGIS — систему для создания, анализа и публикации геопространственной информации. Однако, мы нашли более элегантный и эффективный способ — Overpass API.
Читать дальше →

Yandex Scale 2020: обсуждаем главные запуски и события в прямом эфире

Время на прочтение1 мин
Охват и читатели18K
Вторая ежегодная конференция Yandex Scale начнётся сегодня, 23 сентября, в 18.00 по Москве. В этот раз она пройдёт онлайн, а мы проведем текстовую трансляцию на Хабре.

image

Развитие облачных технологий в этом году позволило компаниям и разработчикам стать мобильнее, быстрее реагировать на изменения и создавать новые качественные продукты. Мы в Yandex.Cloud, в свою очередь, проделали большую работу по развитию платформы, реализовали крупные проекты и сегодня представим новые возможности и сервисы нашего облака.

Вести трансляцию будет редактор Yandex.Cloud Евгений Левашов levashove и руководитель направления архитектуры облачных решений Григорий Атрепьев farlol.
Читать дальше →

Сим-сим, откройся! — Как мы запустили проект «Открытые данные»

Время на прочтение6 мин
Охват и читатели3.6K

Всем привет! Меня зовут Сергей Фолимонов, в ДомКлик я отвечаю за direct marketing и коммуникации с клиентами. С недавних пор я выступаю еще в роли PO проекта «Открытые данные», и хочу рассказать об истории создания этого продукта, сделав акцент на проблемах, с которыми нам пришлось столкнуться, на ошибках, которые были нами допущены, и на итоговом результате и вариантах его использования.
Читать дальше →

Анализ расписания и загрузки в Tableau

Время на прочтение4 мин
Охват и читатели3.1K
Многие виды бизнеса имеют фиксированную пропускную способность: кол-во клиентов, которых они могут обслужить в определенный период времени. Салон красоты ограничен кол-вом оборудованных мест, ресторан — кол-вом столиков, клиника — оборудованными кабинетами и доступными врачами.

Базовая проблема загрузки для таких компаний — это простой в моменты низкого спроса и невозможность обслужить всех клиентов в момент высокого спроса.



Рассмотрим проблему и подходы к аналитике загрузки на примере сети косметологических клиник. Директор по развитию сети Дэйв недавно занял свой пост. Перед ним поставили амбициозную задачу увеличить выручку без масштабных капитальных затрат (открытия новых филиалов, реконструкции существующих, закупки оборудования для новых процедур).
Читать дальше →

SCADA «BortX» с поддержкой языка управления в рамках ANSI /ISA-88 для ESP8266

Время на прочтение4 мин
Охват и читатели7K
Признаюсь честно — очень люблю cовременные микроконтроллеры. В частности, производства китайского производителя Espressif Systems с интерфейсом Wi-Fi. Речь, естественно, идет о ESP8266 и ESP32, которые обладают большим потенциалом в образовательном контексте.

image

Конечно, у них есть свои недостатки. Но цена. Это чудо. В частности, если покупаешь условный «Witty Cloud» за три доллара, в котором даже не надо мучаться вопросами питания и программирования. Сфера применения в IoT позволяет создать собственные проекты автоматизации различными путями — классическим образом: путем написания кода и работы в IDE. Или через тот же FLProg. Однако, как всегда, есть нюансы, несколько тормозящие репрезентацию работы в рамках типового применения ESP8266 как аппаратной основы. И проблема вовсе не в сетевом подключении, осуществляемой к домашней/офисной локальной сети с выходом в Internet через роутер.
Читать дальше →

VictoriaMetrics и мониторинг приватных облаков. Павел Колобаев

Время на прочтение9 мин
Охват и читатели58K


VictoriaMetrics — быстрая и масштабируемая СУБД для хранения и обработки данных в форме временного ряда (запись образует время и набор соответствующих этому времени значений, например, полученных через периодический опрос состояния датчиков или сбор метрик).

Красиво? Очень! Как мы написали приложение для визуализации аттракторов

Время на прочтение8 мин
Охват и читатели13K
Странные аттракторы — это области, которые часто возникают в различных физических системах. Можно сказать, что это область притяжения, к которой стремятся траектории из некоторой окрестности. В отличие от каких-нибудь предельных циклов или от точки равновесия в затухающих колебаниях, они не периодичны. В таких системах проявляется эффект бабочки: минимальные отклонения исходных положений экспоненциально растут со временем.

Некоторые аттракторы завораживают своей красотой даже на статических картинках. Мы захотели сделать приложение, которое сможет визуализировать большинство аттракторов в динамике, в 3D и без лагов.


Читать дальше →

PostgreSQL Query Profiler: как сопоставить план и запрос

Время на прочтение6 мин
Охват и читатели17K
Многие, кто уже пользуется explain.tensor.ru — нашим сервисом визуализации планов PostgreSQL, возможно, не в курсе одной из его суперсособностей — превращать сложно читаемый кусок лога сервера…


… в красиво оформленный запрос с контекстными подсказками по соответствующим узлам плана:


В этой расшифровке второй части своего доклада на PGConf.Russia 2020 я расскажу, как нам удалось это сделать.
С транскриптом первой части, посвященной типовым проблемам производительности запросов и их решениям, можно ознакомиться в статье «Рецепты для хворающих SQL-запросов».

Ближайшие события

Gnuplot и с чем его едят

Время на прочтение11 мин
Охват и читатели74K

Наверняка многие из вас листая западные научные издания видели красивые и простые графики. Возможно некоторые из вас задумывались в чём же эти учёные мужи визуализируют свою данные. И вот есть шикарный и очень простой инструмент для построения графиков, который есть практически везде: Windows, linux, android, и прочих, уверен даже есть под ДОС. Он надёжен, прост и позволяет представить в виде красивых графиков любые текстовые-табличные данные.

Обновления в Chipmunk

Время на прочтение2 мин
Охват и читатели1.7K
Рад представить Вашему вниманию некоторые обновления «смотрелки» для логов chipmunk. Где-то стало удобнее, где-то практичнее, но обо всем по порядку… Под катом будет коротко, но интересно.
Читать дальше →

Интерактивная визуализация алгоритмов на базе Jupyter

Время на прочтение15 мин
Охват и читатели16K
Jupyter уже давно зарекомендовал себя как удобную платформу для работы в различных областях на стыке программирования, анализа данных, машинного обучения, математики и других. Вот например очень известная книга по анализу данных, состоящая из Jupyter блокнотов. Поддержка $\TeX$, markdown, html дает возможность использовать использовать Jupyter в качестве платформы для удобного оформления научного-технического материала. Преимущество таких блокнотов заключается в интерактивности, возможности сопровождать сухой материал примерами программ, при этом эта интерактивность очень естественна и проста в использовании. В этой статье хотелось бы рассказать про возможность создания в Jupyter анимированных примеров работы различных алгоритмов и привести несколько из них с исходным кодом. В качестве кликбейта алгоритм Дейкстры.


Читать дальше →

Визуализация хаоса: как представляют аттракторы динамических систем

Время на прочтение4 мин
Охват и читатели29K

(с)

Среди ученых ходит байка о нетривиальном способе сделать свой доклад интересным и увлекательным. Во время выступления нужно выбрать в зале самого недоумевающего, самого потерянного слушателя, и рассказывать персонально ему, да так, чтобы зажечь в глазах огонек интереса.

Еще известен афоризм, приписываемый физику Ричарду Фейнману: «Если вы ученый, квантовый физик, и не можете в двух словах объяснить пятилетнему ребенку, чем вы занимаетесь, — вы шарлатан».

Доступно объяснять устройство сложных вещей — великий навык, однако бывают истории, о которые сломает язык даже самый искусный оратор. Теория динамических систем – вот та область, где без визуализации чувствуешь себя слепым садовником в окружении колючих, увенчанных шипами растений.

Сложные непериодические режимы поведения динамических систем можно описать непериодическими траекториями — так называемыми странными аттракторами, имеющими фрактальную структуру. Сегодня покажем, как визуализируют поведение странных и некоторых других аттракторов.

Tableau Hyper API – BI-команда скажет вам спасибо

Время на прочтение11 мин
Охват и читатели5.2K
Мы хотим рассказать вам о том, как мы помогли нашей BI-команде организовать автоматический процесс доставления данных на Tableau-сервер из MongoDB, используя таблошный формат хранения данных ”hyper”, а сам процесс настройки формирования данных осуществляется через простой веб-интерфейс.

В начале коротко расскажем, как выглядел процесс до и после того, как мы научили наш внутренний продукт А1 программно собирать датасорсы и публиковать их на Tableau Server. Затем подробнее разберем проблему BI-команды и найденное решение, а также заглянем под капот (здесь о создании .hyper файла, публикации файла на tableau-сервере и обновлении хайпера). Добро пожаловать под кат!

Tableau Hyper API – BI-команда скажет вам спасибо

Читать дальше →

Grafana+Zabbix: Визуализация работы производственной линии

Время на прочтение6 мин
Охват и читатели103K

В этой статья я хочу поделиться опытом использования open source систем Zabbix и Grafana для визуализации работы производственных линий. Информация может быть полезна тем, кто ищет быстрый способ визуального отображения или аналитики собранных данных в проектах промышленной автоматизации или IoT. Статья не является подробным руководством, это скорее концепция системы мониторинга, основанная на открытом программном обеспечении для производственного предприятия.

Читать дальше →

Волны московской реновации

Время на прочтение9 мин
Охват и читатели42K


Доброго времени суток дорогие читатели хабра, 12 августа 2020 года были опубликованы этапы переезда по программе реновации (ознакомиться можно здесь) и мне стало интересно, а как это будет выглядеть, если эти этапы визуализировать. Тут нужно уточнить, что я никак ни связан с правительством Москвы, но являюсь счастливым обладателем квартиры в доме под реновацию, поэтому мне было интересно посмотреть, может даже с некоторой точностью предположить, куда возможно будет двигаться волна реновации в моём случае (а может быть и в вашем, если вас дорогой читатель это заинтересует). Конечно точного прогноза не получится, но хотя-бы можно будет увидеть картину под новым углом.


UPD 28 августа 2020
Получилась полная карта реновации с отмеченными на ней волнами реновации и стартовыми площадками.

Читать дальше →