3D-сканирование зубов – это прогрессивный и очень четкий способ диагностики, который разрешает дантисту увидеть челюсти и зубы больного под разными углами. При этом сканирование зубов проводится особым устройством — внутриротовым (интраоральным) 3D-сканером..

По мере развития мировых технологий развивается и стоматологическая технология. Уже практически повсеместно вводятся новые возможности диагностики и формирования "слепков зубов", которые значительно сокращает время, необходимое для протезирования и всесте с ним и качество протезирования. Я имею ввиду интраоральные сканеры или, их еще называют, 3D-сканеры.

В этой небольшой обзорной статье я хочу поделиться с вами своим проектом, посвящённый дизайну биосенсоров при помощи ИИ. У меня практически нулевой опыт в работе с данными, да и работа в этой сфере для меня в новинку. В ходе своей работы я смог разобраться в основах проектирования баз данных, чем и хочу поделиться.

Данный материал будет помощником, кратким справочником для тех, кто, как и я – ничего не смыслит в данных, их сборе, анализе и работе с ними; не знает с чего необходимо начинать, но хочет приобщиться к тематике.

С развитием Data-driven подхода к принятию управленческих решений в современных организациях, возросла роль BI-инструментов как основного инструмента внедрения такого подхода. На сегодняшний день выбор BI-продуктов на рынке сводится к трем большим категориям:

- Лидеры (Power BI, Tableau, Qlik).
- Отечественные BI (Модус, Luxms, Yandex Lens, Visiology).
- Open-sourse (Apache Superset, Metabase, Plotly Dash).

Использование BI с открытым исходным кодом имеет ряд преимуществ и в условиях ухода западных игроков с российского рынка, такой выбор дает пользователю свободу и независимость от конкретного вендора.

«Мы сделаем вас счастливыми! Вы будете счастливыми!»
«Отроки во Вселенной» (1974)

Менеджеры в большинстве компаний хотят примерно одного и того же. Чтобы сложные вещи объяснялись простым языком, а все можно было свести к спидометрам, градусникам и светофорам.

Аллегория вполне понятная, пытаться объяснять что-либо — в 99% случаев процедура бессмысленная и энергозатратная. Поэтому ниже пример, как двумя экранами кода можно быстренько превратить временные ряды, которые почти всегда встречаются в больших количествах, в светофор.

Все предыдущие публикации.

Для устойчивого развития бизнеса важно иметь актуальную информацию об операционных метриках и их динамике и иметь инструменты для агрегирования необходимых сведений из существующих источников данных (баз данных, аналитических систем, систем финансового учета и обратной связи от пользователей). Наряду с коммерческими системами анализа бизнес-показателей (PowerBI, Tableau, Datalens) для аналитиков доступны несколько open sourсe решений, которые ориентированы на извлечение и преобразование данных из различных источников (Extract-Transform-Load или ETL) и визуализацию данных в виде гистограмм, диаграмм, таблиц, графиков и в других представлениях. В этой статье мы рассмотрим пример использования Open Source решения Metabase и Singer для получения данных из внешнего источника.

Привет, друзья! После нового года на нас обрушилась очередная лавина запросов о возможности миграции на Visiology 3 c Microsoft PowerBI. Конечно, это связано с тем что уже закупленные лицензии на PBI подходят к концу, а приобретение новых не стало со временем проще. Поэтому сегодня я хочу наглядно показать, как будет происходить перенос несложного дашборда из Power BI в Visiology 3.0.

Современный мир требует активной интеграции информационных технологий в повседневную жизнь. Жители города Москвы уже не помнят, как стоять в очереди в регистратуру больницы и забыли внешний вид своей медицинской карты. Чтобы попасть ко врачу, пациенту необходимо только записаться на примем через компьютер или личный девайс. Врач больше не записывает жалобы пациента на бумаге, все данные сохраняются в базе данных пациентов и уже никогда не потеряются. За всеми этими удобствами стоит Единая медицинская информационно-аналитическая система (ЕМИАС), одним из основных разработчиков которой является наша компания Solit Clouds.

За каждым успешным решением стоит аналитика. Для таких целей, на базе ЕМИАС, созданы аналитические подсистемы, которые формируют данные в виде отчетов. В дальнейшем данные, предоставленные аналитической подсистемой (в дальнейшем АП), используются медицинскими организациями города Москвы для комплексного анализа и дальнейшего принятия решений. Большинство АП сформированы на базе продуктов платформы iDVP, куда входят: iDVP Analytics – универсальный инструмент для создания интерактивных отчётов и анализа данных, покрывает все требования, необходимые для отображения данных из различных источников и манипуляция ими. Речь идет о фильтрах, графиках, диаграммах, детализациях, выгрузке данных в Excel, PDF, CSV и многое другое.

За время работы над аналитическими отчетами по рынку отечественных BI-систем, о которых я уже рассказывал, мы поняли, что есть потребность в обзоре еще одного компонента – а вернее, даже двух связанных с BI. Речь про ETL и коннекторы. Им и посвящено наше новое исследование ETL-круг Громова.

Зачем?

Сейчас есть насущная необходимость в агрегированной информации о российских решениях. Да, в какой-то степени этот вопрос может закрыть всем известный реестр отечественного софта. Но, во-первых, там есть далеко не все решения. А во-вторых, информация о ПО там далеко не полная. Ведь кроме технических параметров нужно разобраться со многими другими, причем желательно в сравнении – реестр этого не позволяет сделать.

Вторая причина запуска исследования в том, что не все BI-платформы имеют собственные встроенные ETL, а значит, выбор ETL тесно связан с выбором BI-платформы. И раз уж последние мы регулярно изучаем, то и первым необходимо уделить определенное внимание.

Ну и третье: рынок российских ETL и коннекторов хоть, на наш взгляд, пока недостаточно развит, но он уже сформировался. Есть ряд сильных и сравнительно известных продуктов, но есть и быстро развивающиеся и весьма перспективные, потенциально способные изменить расклад на рынке. И сейчас, когда многим приходится искать замены для ранее используемых решений, информация о наличии российских предложений весьма актуальна.

Всем добрый день, хабровчане!

В предыдущей статье про QoS я рассказал о том, что такое политика приоритезации трафика и что это крайне полезная вещь при ограниченном емкостном ресурсе в телеком сетях операторов связи. Сегодня я хочу более детально рассказать с примерами, на что влияет корректная настройка QoS.

QoS занятный предмет - вроде он есть и вроде его нет. Обычно в сетях телеком операторов все сводится к шаблонным настройкам на том или ином сегменте сети, и если все настроено по шаблону, то приоритезация настроена - считается так. На самом деле это далеко не так. И как раз в момент созревания сомнений рождается вопрос - а как измерить то чего не видно? На помощь приходят измерительные комплексы и визуализация потока данных. В своем примере я покажу два инструмента - всем привычный Zabbix для визуализации очередей и измерительный комплекс IPProbe (ныне SkyLight) компании Accedian, который с помощью протокола TWAMP может создавать измерительные сессии в той или иной очереди и с высокой точность показывать ключевые показатели транспортной сети, такие как delay, jitter, packet loss, variance delay/jitter в направлении UL/DL по отдельности.

Итак начнем с проблемы. В одном из филиалов одного оператора связи пожаловались мобильщики на "транспорт". У них как только просаживаются KPI по радио, то во всем виноваты транспортники, корщики, но только не они. Жаловались на то, что страдает "голос". Т.е. недозвоны, колл-дропы, неразборчивая речь и прочие прелести жизни. После недолгого анализа и разворачивания систем визуализации, предположения подтвердились - не настроен QoS. При этом нужно сразу уточнить, что проблемы на транспортной сети действительно были в виде потерь пакетов (discards). Эти потери были связаны с не оптимально настроенными размерами буферов для той или иной очереди. Плюс к этому некорректная маркировка могла ремапить высокоприоритетный голосовой трафик CP/UP в более низкую очередь - отсюда и проблемы с соединениями, неразборчивой речью и т.д.

Возникла необходимость изобразить на интерактивной карте актуальное предложение вакансий в сфере Data Science с агрегацией по городам.

Действовать будем в 3 этапа:

1. Парсинг вакансий с hh API
2. Актуализация геолокаций каждой вакансии с точностью до населенного пункта
3. Построение heatmap по количеству вакансий и по средней предлагаемой зарплате с помощью folium

Приветствую, уважаемые читатели Хабра. Меня зовут Николай Французов, я digital-аналитик в компании Tele2, занимаюсь сбором и анализом данных, построением дашбордов и проведением А/В-тестов.

Я хотел бы рассказать вам о том, как мы проводим тесты в нашем проекте, и поделиться опытом, возможно, логикой проведения и приведенными процессами вы сможете воспользоваться в ваших проектах, а python-фишечки по расчету fixed horizon и анализу результатов пригодятся в ваших исследованиях.

Структура

- Кратко про А/В-тесты

- Процесс проведения —  первая часть, работа аналитика данных. Расчет fixed horizon и формирование ТЗ;

- Процесс проведения —  вторая часть, работа аналитика стрима проекта. Настройка;

- Процесс проведения —  третья  часть, сбор данных, анализ результатов и выводы.

Данные и информация — это и ценность, и риск одновременно. На основе данных принимаются разного рода управленческие решения, и если данных мало, они недостоверные или в них множество ошибок, то возникает вопрос: какой вектор развития будет лежать на основе анализа таких данных?

Эксперт-аналитик направления сервисов для работы с большими данными Группы «Иннотех» Владимир Ловцов поделился своим мнением о том, как организовать корректную работу с данными.

В большинстве случаев, когда речь заходит об использовании Go, вспоминается backend или DevOps и в самую последнюю очередь можно подумать об использовании Go для создания мобильных или десктопных приложений. Но в действительности, благодаря возможностям интеграции с нативными библиотеками (в том числе, OpenGL и OpenAL для пространственного звука) Go может использоваться и для создания игр (в том числе для мобильной платформы).

В этой статье мы обсудим несколько библиотек, которые могут помочь в создании 3D-графики на Go и обсудим вопросы портирования приложений на мобильные платформы.

В пост включены библиотеки, которые были запущены или приобрели популярность в этом году, хорошо поддерживаются, а также просто классные и достойные внимания. Подборка в значительной степени ориентирована на библиотеки по ИИ и науке о данных, но сюда так же включен ряд библиотек, которые могут быть полезны для целей, не связанных с наукой о данных.

Всем добрый день.

В своей предыдущей статье я уже упомянул о разрабатываемой нами системе, которая решает, казалось бы, не решаемую задачу - а именно автодискавери сетевых элементов в сетях телеком операторов, построение топологий, поиск путей прохождения трафика на основе информации, полученной из самих сетевых элементов. При этом стоит уточнить, что система не нуждается в интеграции со сторонними системами управления, такими как NCE (бывший Huawei u2000 TN), SoEM (СУ Ericsson), Aviat Provision, NFM-P (Nokia), и любыми другими. Т.е. система самодостаточна и способна работать в полностью автономном режиме.

Начну с той проблемы, которая возникла много десятилетий тому назад - и название этой проблемы - актуальная информация о состоянии сетей в режиме он-лайн. Дело в том, что мультисервисные сети давно стали мультивендорными - т.е. в каком-то филиале N любого провайдера связи, с течением времени скопилось множество разновендорного оборудования - сети MEN построены на Cisco, Huawei, Nokia. РРЛ - NEC, Huawei, Nokia и т.д. до бесконечности и в разных последовательностях. И т.к. каждый вендор не стремится создать универсальную СУ, которая могла хотя бы нарисовать топологию мультивендорной сети, приходится изобретать велосипед раз за разом.

Чаще всего велосипеды получались не далеко едущими, одноколесными, неудобными, без сидения или колес. Даже в системах управления крупных вендоров, функциональность не блистала. Более менее вменяемое я увидел в СУ Huawei - NCE. Но опять таки - каждый домен типов оборудования на своих вкладках, и единую топологию не получить - т.е. нельзя отобразить единовременно и на одной подложке сеть MBH (MEN+RRL). Не говоря уже о единовременном отображении специфических проблем, за которыми следят операторы связи - высокая утилизация интерфейсов, BBE/ES/SES/UAS, FCS, RSL Low, QoS Drop по очередям и пр.

Они носят множество имен: Data Analyst, Data Scientist, Business Analyst и т. д., но всех их объединяет одна основная черта — эти люди занимаются анализом данных. Итак, начнем с главного. Сколько получают аналитики?

Завтра финал Чемпионата мира по футболу. Самое время для рассказа о футбольных прогнозах.

Если ты интересуешься футболом и умеешь работать с данными, кажется, неизбежно в твоей жизни настанет момент, когда тебе захочется предсказывать результаты любимой команды, а лучше вообще все.

Такой день наступил и в моей жизни. И пусть я больше интересуюсь спортивным "Что? Где? Когда?", футбол - это классно. И это классно и с точки зрения прогнозов - и много данных, и много инересующихся, кому можно показать результаты. Давайте попробуем!

И раз за дело взялись зануды, будет много теорий, ещё больше таблиц и графиков.

Визуализация одномерных данных в Python

Построение графика одной переменной кажется простой задачей. Но насколько это просто в действительности — эффективно отобразить данные со всего одним измерением? Долгое время я обходился стандартной гистограммой, которая показывает расположение значений, разброс и форму распределения данных (нормальное, скошенное, двухпиковое и др). Но недавно я столкнулся со случаем, когда гистограмма не помогла. И тогда понял, что настало время узнать больше о построении графиков. Я нашёл в сети отличную бесплатную книгу о визуализации данных и попробовал некоторые методы. Я решил, что (и мне, и другим людям) будет полезно, если я поделюсь этими знаниями и составлю руководство по построению на Python гистограмм и их крайне полезной альтернативы — графиков распределения плотности (density plots). Подробности — к старту нашего курса по анализу данных.

• NetworkX для общего анализа графов;
• PyVis для интерактивной визуализации графов прямо в браузере;
• PyG и DGL для решения различных задач в области машинного обучения на графах.