На вебинаре Михаил Кобик расскажет о своём опыте создания Data Lake на ~80 ТБ с помощью Apache Kafka. Разберет, какие подводные камни могут возникать, если Retention выкручен в 9999999, и как жить, если Apache Kafka — единственный источник данных в информационной системе. 

Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает образовательную программу по визуализации данных и введению в BI-инструменты. Авторы курса рассказывают, чем будут заниматься студенты в процессе обучения и какие навыки они освоят.

GreenPlum помогает компаниям с разными объёмами бизнеса извлекать реальную пользу из накопленных данных. Благодаря масштабируемости и скорости работы с данными он позволяет быстрее принимать бизнес-решения и повышает их качество.

19 сентября у нас стартует «DWH на основе GreenPlum» — авторский курс Ивана Чувашова, администратора баз данных в Southbridge и ведущего инженера компании Data Driven Lab. На нём Иван поделится знаниями в области хранилищ данных, которые собирал на протяжении 10 лет. Мы разберём основы устройства DWH и углубимся в GreenPlum — поломаем и починим его. А ещё поговорим об архитектуре и способах хранения данных, оптимизации запросов.

Сегодня стартовал первый поток «DWH на основе GreenPlum». Для тех, кто хотел, но не успел присоединиться, хорошие новости. Вы можете купить его в формате видеокурса с доступом к урокам на 2 года. 

«DWH на основе GreenPlum» — полностью авторский курс. Мы подготовили его по инициативе спикера Ивана Чувашова, администратора баз данных Southbridge и ведущего инженера Data Driven Lab. Все материалы он собирал на протяжении 10 лет, мы просто доработали их с методистом и подготовили стенды под практические задания.  

15 февраля начинается поток курса «Визуализация данных: от скучных графиков к интерактивным дашбордам». 

Курс подойдёт тем, кто хочет научиться работать с инструментами визуализации данных и принимать по ним важные для бизнеса решения. Всего 6 занятий, из которых 4 — практических. За две недели вы сможете примерить на себя роль аналитика в крупной ритейл-компании и решить 4 реальных задачи бизнеса.

Аннотация

Итак, мои коллеги-ученые, не спрашивайте, что вы можете сделать для воспроизводимости — спросите, что воспроизводимость может сделать для вас!

Здесь я перечислю пять причин, по которым возможность воспроизводимости данных окупается в долгосрочной перспективе и представляет личный интерес для каждого амбициозного, ориентированного на карьеру ученого.

Сложное уравнение в левой половине черной доски, еще более сложное уравнение — в правой. Краткое предложение связывает два уравнения: «Здесь происходит чудо». Два математика, в глубоких раздумьях. «Я думаю, Вы должны быть более конкретны на втором шаге», — говорит один другому.

Примерно так выглядит ситуация, когда вы пытаетесь понять, как автор перешел от большого и сложного набора данных к плотной статье с множеством сложных графиков. Без доступа к данным и аналитическому коду такой переход можно объяснить разве что чудом. А в науке не должно быть чудес.

Поскольку львиная доля бизнес информации храниться в базах данных. На каком бы языке программирования вы не писали, вам придётся производить различные действия с ними.

В этой статье я расскажу о двух интерфейса для работы с базами данных в R. Большая часть примеров демонстрируют работу с Microsoft SQL Server, тем не менее все примеры кода будут работать и с другими базами данных, такими как: MySQL, PostgreSQL, SQLite, ClickHouse, Google BigQuery и др.

В статье приведён код по формированию регулярных отчётов по состоянию дисков СХД EMC VNX с альтернативными подходами и историей создания.

Старался писать код с максимально подробными комментариями и одним файлом. Только пароли свои подставить. Формат исходных данных также указан, так что буду рад, если кто-то попробует применить у себя.