Pull to refresh

4 бесплатных онлайн тренинга по MATLAB: Электропривод, ЦОС, нейросети и моделирование временных рядов

ЦИТМ Экспонента corporate blog Programming *System Analysis and Design *Algorithms *Matlab *
Добрый день,

Предистория. В условиях самоизоляции мы решили попробовать провести онлайн тренинг по анализу данных и машинному обучению в MATLAB, состоящий из 3х последовательных стримов с периодичностью раз в неделю. Более 1200 регистраций и много положительных отзывов. Однако, взаимодействие преподаватель-слушатель стало затруднительным в привычном виде, потому эту часть мы вывели в оффлайн.

Подумав малость, мы решили провести еще 4 таких обучения по другим популярным тематикам:
Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 2.9K
Comments 3

Теория информации в задаче проверки гипотезы о независимости значений, принимаемых случайной переменной, на примере индекса DJI

Data Mining *
Sandbox
Попробуем проверить гипотезу о том, являются ли приращения значений индекса DJI статистически независимыми. При этом в качестве референсного источника данных, с которым будем проводить сравнение, возьмем искусственный временной ряд, сгенерированный из собственно приращений исходного ряда, но при этом случайно перемешанных. В качестве меры статистической независимости воспользуемся статистикой взаимной информации.

Читать дальше →
Total votes 37: ↑34 and ↓3 +31
Views 6.5K
Comments 25

Калман, Матлаб, и State Space Models

Programming *Data Mining *Algorithms *
Недавно kuznetsovin опубликовал пост об использовании Питона для анализа временных рядов в экономике. В качестве модели была выбрана «рабочая лошадка» эконометрики — ARIMA, пожалуй, одна из наиболее распространенных моделей для временных данных. В то же время, главный недостаток АRIMA-подобных моделей в том, что они не приспособлены для работы с нестационарными рядами. Например, если в данных присутствует тренд или сезонность, то математическое ожидание будет иметь разное значение в разных участках серии — , что не есть хорошо. Для избежания этого, АRIMA предполагает работать не с исходными данными, а с их разностью (так называемое дифференцирование — от «taking a difference»). Все бы хорошо, но тут возникают две проблемы — (а) мы возможно теряем значимую информацию беря разницу ряда, и (б) упускается возможность разложить ряд данных на составляющие компоненты — тренд, цикл, и т.п. Поэтому, в данной статье я хотел бы привести альтернативный метод анализа — State Space Modeling (SSM), в русском переводе — Модель Пространства Состояний.
Читать дальше →
Total votes 21: ↑21 and ↓0 +21
Views 24K
Comments 7

Kale — open source-инструмент для обнаружения и корреляции аномалий

System administration *
Для мониторинга IT-инфраструктуры мы используем множество инструментов, в том числе:
  • Zabbix — о нем написано немало статей здесь на хабре. Нам очень нравятся его возможности низкоуровневого обнаружения, но его возможности визуализации данных оставляют желать лучшего.
  • Graphite — система, которая хранит данные и имеет удобный интерфейс для их отображения. Сейчас мы импортируем в нее метрики из Zabbix и храним историю.
  • Shinken — система мониторинга, которая основана на Nagios и написана на языке Python. Сейчас мы присматриваемся к ней. Нам нравится то, что в нее очень просто импортировать данные из системы документации сети Netdot (о ней я уже писал ранее), а также она легко интегрируется с Graphite.

Можно долго обсуждать преимущества/недостатки тех или иных систем мониторинга, но я хочу остановиться только на одном вопросе — выявлении аномалий. Когда в вашей системе мониторинга количество метрик измеряется сотнями, отследить аномальное поведение одной или нескольких из них не составляет труда. Но когда количество метрик измеряется десятками или сотнями тысяч, вопрос автоматического выявления аномалий становится актуальным. Ни один администратор или группа администраторов не в состоянии вручную отследить поведение сложной системы, состоящей из сотен устройств.
Инженеры из Etsy в свое время столкнулись с этой проблемой и разработали свой инструмент для обнаружения и корреляции аномалий. Называется он Kale и состоит из двух частей:

Читать дальше →
Total votes 32: ↑29 and ↓3 +26
Views 16K
Comments 7

Нефтяные ряды в R

Data Mining *Big Data *Mathematics *R *Machine learning *
«Графики цен великолепны, чтобы предсказывать прошлое»
Питер Линч



С временными рядами мне как-то не доводилось иметь дело на практике. Я, конечно, читал о них и имел некоторое представление в рамках учебного курса о том, как в общих чертах проводится анализ, но хорошо известно, что то, о чем рассказывают в учебниках по статистике и машинному обучению, не всегда отражает реальное положение дел.
Читать дальше →
Total votes 27: ↑25 and ↓2 +23
Views 42K
Comments 30

Агрегация данных временных рядов

Tibbo corporate blog SCADA *


В этой статье мы открываем серию публикаций о конкретных задачах, решаемых в рамках внедрения AggreGate, которые, мы надеемся, смогут помочь вам в ваших реальных проектах.

Некоторое время назад к нашим партнёрам, занимающимся изготовлением и обслуживанием комплексных систем энергоснабжения базовых станций, обратился оператор сотовой связи в Африке. Проект был рассчитан на 1000-2000 базовых станций. В рамках этого проекта AggreGate использовался для мониторинга, управления, визуализации и построения отчётов. Входе эксплуатации системы потребовались отчёты, с помощью которых можно быстро посмотреть основные параметры оборудования. Эти отчёты в дальнейшем использовались для формирования KPI работы системы энергоснабжения, подбора оптимальных параметров, определения графика обслуживания и построения маршрута для команды инженеров.

Мы создали гибкий инструмент для AggreGate, позволяющий удобно формировать эту таблицу, используя как исторические данные, так и статистические данные. Функцию summary(). В данной статье мы рассмотрим, как получить таблицу данных по историческим значениям.
Читать дальше →
Total votes 10: ↑8 and ↓2 +6
Views 5.7K
Comments 0

Обзор новых возможностей Mathematica 11 и языка Wolfram Language

Wolfram Research corporate blog Programming *Mathematics *Data visualization *Machine learning *
Translation
Tutorial

Перевод поста Стивен Вольфрам (Stephen Wolfram) "Today We Launch Version 11!".
Выражаю огромную благодарность Полине Сологуб за помощь в переводе и подготовке публикации




Содержание


Первое, что вы отметите...
3D печать
Машинное обучение и нейронные сети
Аудио
Встроенные данные о чем угодно: от скелетной структуры и продуктов питания до сведений о нашей Вселенной
Вычисления с реальными объектами
Передовые возможности географических вычислений и визуализаций
Не забудем про сложные задачи математического анализа и теоретической физики...
Образование
Совмещение всех функций в одно целое
Визуализация
От строк к тексту
Современный подход к программированию систем
Работа в интернете
Облачные данные
Подключайтесь к любым внешним сервисам: Facebook, Twitter, Instagram, ArXiv, Reddit и многим другим...
WolframScript
Новое в ядре языка Wolfram Language
И еще много нового...



Я рад объявить о выходе новой версии системы Mathematica и 11-й версии языка Wolfram Language, доступной как для Desktop-компьютеров, так и в облачном виде. В течение последних двух лет сотни человек упорно трудились над ее созданием, а несколько тысяч часов и я лично. Я очень взволнован; это важный шаг вперед, имеющий важное значение для многих крупнейших технологических областей.
Узнайте больше о Mathematica 11...
Total votes 52: ↑50 and ↓2 +48
Views 24K
Comments 23

Как остановить отток людей с онлайн-курса и заодно попасть на хакатон

Проектная школа программирования GoTo corporate blog Python *Programming *Data Mining *Machine learning *

Онлайн-курсы, кроме своей удобности и доступности, славятся тем, что на них необычайно легко забивать, что с успехом и делают многие слушатели. Забивать слушателям случается по самым разным причинам — непонятен курс, пропущен дедлайн, не успел набрать баллы, вышел Fallout 4 – у всех свои оправдания. А вот у нас оправданий быть не может: если человек покидает курс, мир теряет потенциального разработчика или специалиста по анализу данных, а ещё киловатт-часы и затраченное нашим героем время.


Самая сложная задача здесь — определить, кто из пользователей убежит, а зная их, уже намного проще предотвратить потери: “предупрежден, значит вооружен”.


В конце статьи вы узнаете, как с помощью решения проблемы попасть на хакатон по анализу данных


image


Читать дальше →
Total votes 16: ↑14 and ↓2 +12
Views 5.4K
Comments 3

Порождение и выбор моделей машинного обучения. Лекция в Яндексе

Яндекс corporate blog Entertaining tasks Algorithms *Mathematics *Machine learning *
Применение машинного обучения может включать работу с данными, тонкую настройку уже обученного алгоритма и т. д. Но масштабная математическая подготовка нужна и на более раннем этапе: когда вы только выбираете модель для дальнейшего использования. Можно выбирать «вручную», применяя разные модели, а можно и этот процесс попробовать автоматизировать.


Под катом — лекция ведущего научного сотрудника РАН, доктора наук и главного редактора журнала «Машинное обучение и анализ данных» Вадима Стрижова, а также большинство слайдов.

Total votes 50: ↑49 and ↓1 +48
Views 21K
Comments 1

О линейной регрессии: байесовский подход к курсу рубля

Data Mining *Algorithms *Mathematics *R *Machine learning *


Не секрет, что курс рубля напрямую зависит от стоимости нефти (и от кое-чего еще). Этот факт позволяет строить довольно интересные модели. В своей статье о линейной регрессии я коснулся некоторых вопросов, посвященных диагностике модели, а за кадром остался такой вопрос: есть ли более эффективная, но не слишком сложная альтернатива линейной регрессии? Традиционно используемый метод наименьших квадратов прост и понятен, но есть и другие подходы (не такие понятные).

Читать дальше →
Total votes 34: ↑33 and ↓1 +32
Views 22K
Comments 24

Выбираем СУБД для хранения временных рядов

Конференции Олега Бунина (Онтико) corporate blog High performance *Website development *System Analysis and Design *NoSQL *


Павел Филонов (Лаборатория Касперского)


Сегодня будем говорить о хранении временных рядов. Я постараюсь рассказать, какие подходы я применял для того, чтобы попытаться как можно больше своего субъективизма выкинуть, заменить его чем-то более объективным, а субъективный взгляд оставить где-нибудь в самом конце.
Total votes 21: ↑19 and ↓2 +17
Views 21K
Comments 11

Модель полиномиальной регрессии

Mathematics *
Tutorial

Выражаясь простым языком, модель регрессии в математической статистике строится на основе известных данных, в роли которых выступают пары чисел. Количество таких пар заранее определено. Если представить себе, что первое число в паре – это значение координаты $x$, а второе – $y$, то множество таких пар чисел можно представить на плоскости в декартовой системе координат в виде множества точек. Данные пары чисел берутся не случайно. На практике, как правило, второе число зависит от первого. Построить регрессию – это значит подобрать такую линию (точнее, функцию), которая как можно точнее приближает к себе (аппроксимирует) множество вышесказанных точек.


Читать дальше →
Total votes 20: ↑15 and ↓5 +10
Views 37K
Comments 9

Физика и экономика. Гносеологическая разница и ее проявление в IT

Business Models *Physics
Sandbox

В мир IT я пришел из теоретической физики. Занимался, в основном, экономическими задачами. Занимался – это: анализ, ТЗ, постановка, проектирование, программирование. Естественно, я все время сопоставлял физический и экономический подходы к познанию законов природы и экономики соответственно. По этой теме созрела некая точка зрения. О ней и будет речь.

Читать дальше →
Total votes 25: ↑25 and ↓0 +25
Views 8.2K
Comments 23

Time series данные в реляционной СУБД. Расширения TimescaleDB и PipelineDB для PostgreSQL

Конференции Олега Бунина (Онтико) corporate blog PostgreSQL *Database Administration *Data visualization *Data storage *
Time series данные или временные ряды — это данные, которые изменяются во времени. Котировки валют, телеметрия перемещения транспорта, статистика обращения к серверу или нагрузки на CPU — это time series данные. Чтобы их хранить требуются специфичные инструменты — темпоральные базы данных. Инструментов — десятки, например, InfluxDB или ClickHouse. Но даже у самых лучших решений для хранения временных рядов есть недостатки. Все time series хранилища низкоуровневые, подходят только для time series данных, а обкатка и внедрение в текущий стек — дорого и больно.



Но, если у вас стек PostgreSQL, то можете забыть о InfluxDB и всех остальных темпоральных БД. Ставите себе два расширения TimescaleDB и PipelineDB и храните, обрабатываете и проводите аналитику time series данных прямо в экосистеме PostgreSQL. Без внедрения сторонних решений, без недостатков темпоральных хранилищ и без проблем их обкатки. Что это за расширения, в чем их преимущества и возможности, расскажет Иван Муратов (binakot) — руководитель отдела разработки в «Первой Мониторинговой Компании».
Total votes 50: ↑48 and ↓2 +46
Views 40K
Comments 14

Работа с датами на языке R (базовые возможности, а также пакеты lubridate и timeperiodsR)

Data Mining *R *
Tutorial

Получить текущую дату в любом языке программирования, операция эквивалентная "Hello world!". Язык R не является исключением.


В этой статье мы разберёмся с тем, как устроена работа с датами в базовом синтаксисе языка R, а также рассмотрим несколько полезных пакетов, расширяющих его возможности при работе с датами:


  • lubridate — пакет позволяющий производить арифметические вычисления между датами;
  • timeperiodsR — пакет для работы с временными интервалами и их компонентами.

Читать дальше →
Total votes 11: ↑11 and ↓0 +11
Views 13K
Comments 14

Машинное обучение в энергетике, или не только лишь все могут смотреть в завтрашний день

ГК ЛАНИТ corporate blog Programming *Algorithms *Machine learning *Artificial Intelligence
Точное предсказание будущих событий — перспективная и интересная задача во многих сферах: от прогноза погоды до финтеха (котировки акций, курсы валют). Машинное обучение уже сегодня позволяет значительно сократить время и трудозатраты на принятие управленческих решений. 

Наша Data Science команда в НОРБИТ около полугода экспериментировала с использованием различных моделей машинного обучения для решения задач по классификации и регрессии, и по оптимизации бизнес-процессов в сфере b2b. Но когда появилась задача по предсказанию временных рядов, оказалось, что доступных материалов на эту тема в сети недостаточно для разработки быстрого решения.

Читать дальше →
Total votes 33: ↑32 and ↓1 +31
Views 11K
Comments 15

Создание торгового бота используя машинное обучение в анализе временных рядов

Python *Programming *Algorithms *Machine learning *Artificial Intelligence
Sandbox
Это не техническая статья, в ней нет подробного анализа методов и теории. Просто как-то я увлекся машинным обучением и как и многие начинающие в этой теме люди, решил сделать торгового бота. Однако это выросло в нечто большее, чем просто тренировочный проект. Вот обо всем этом я и хочу рассказать.
Читать дальше →
Total votes 18: ↑13 and ↓5 +8
Views 9.5K
Comments 7

Немного про периодограммы временных рядов

Data Mining *Mathematics *R *
🔥 Technotext 2020

Привет, Хабр!


Сегодня хочу рассказать о периодограмме и одном из ее возможных применений в области анализа временных рядов. С ее помощью можно определять, насколько хорошо выделилась постоянная, сезонная и случайная составляющая, а также делать общие выводы о структуре временного ряда. В статье предлагаю посмотреть, как строится периодограмма и разобрать модельные и реальные примеры. Всем заинтересованным — добро пожаловать под кат.

Читать дальше →
Total votes 21: ↑20 and ↓1 +19
Views 6.4K
Comments 4

Пользовательский интерфейс масштабирования временных рядов на графиках

Data visualization *
Sandbox
Задача построения временных рядов на графиках решалась человеком уже в средневековье. Разработчики современных программных систем визуализации данных уделяют ей довольно много внимания. Сегодня для конкретного практического случая обработки временных рядов можно выбрать из десятков подходящих инструментов наиболее подходящий. Тем не менее, остаются случаи, для которых в наиболее популярных продуктах не хватает некоторых возможностей.
Читать дальше →
Total votes 1: ↑1 and ↓0 +1
Views 1.9K
Comments 0

Распознавание потребителей электричества в сети

Миландр corporate blog Algorithms *Machine learning *Smart House

Что мы думаем, когда видим показания счетчика электроэнергии? Наверное, большинство из нас сразу переводят набежавшее за последний месяц число в рубли. Некоторые задумываются о том, как сократить потребление из заботы о нашей планете.

Какой бы ни была мотивация, хочется потреблять поменьше электроэнергии. Но трудно понять, что для этого можно сделать, просто глядя на счетчик. Но если посмотреть на то, какие устройства ответственны за "поедание" электричества у нас дома, то можно выделить наименее полезные из них.

Наши пожелания привели нас задаче распознавания потребителей в сети. Давайте посмотрим, какие подходы используются для ее решения.

Читать далее
Total votes 52: ↑50 and ↓2 +48
Views 18K
Comments 67
1