Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье речь пойдёт о том, как создать FREE и SPONSORED репозитории данных, а так же в чем их отличия.

Данными можно делиться так же просто и удобно, как с постами в социальных сетях.

Что такое структурированные данные?

Я неоднократно буду упоминать в статьях про структурированные и неструктурированные данные, поэтому предлагаю договориться о том, что мы будем под этими терминами подразумевать.

Структурированные данные - у данных есть четкая структура, которую можно описать, например, сущность "Пользователь" с полями "Имя", "Фамилия", "Номер телефона", "Адрес" можно отнести к такого рода данным - структурированным.

Неструктурированные данные - у данных может быть, на первый взгляд, некая структура, но её затруднительно описать для всех объектов одного множества. К неструктурированным данным я чаще всего буду относить NoSQL-форматы, которые позволяют не описывать четкую структуру и связи между сущностями.

Регистрация

Работа в DataHub начинается с регистрации на сервисе - только авторизованные пользователи могут создавать репозитории с данными, заявки на сбор и парсинг данных, а так же приобретать наборы данных в коммерческих репозиториях предварительно пополнив баланс в личном кабинете.

Регистрация доступна по ссылке и требует лишь наличия email и пароля.

Типы репозиториев данных

Создание нового репозитория доступно по этой ссылке и находится в левой части меню - кнопка "+" пункта меню "My Repositories".

FREE;
SPONSORED;
COMMERCIAL;

В этой статье мы рассматриваем только первые два - FREE и SPONSORED. COMMERCIAL тип репозитория данных потребует отдельной статьи и внимания.

Основное и единственное отличие репозиториев данных типа FREE и SPONSORED в возможности получать донаты за поддержку и развитие репозитория.

COMMERCIAL тип отличается несколькими деталями:

Отсутствует возможно делать data fork репозитория;
Доступ к данным в любом виде платный;
Visual Query Builder поддерживает формат оплаты;
Платные predefined queries;
Различные условия формирования стоимости;

Создаём репозиторий данных

Открываем страницу создания нового репозитория данных:

Заполняем поля - описываем наш репозиторий с данными так, как если бы мы писали в README.md файле на GitHub. Я буду создавать демо-репозиторий со списком стран, поэтому моё описание выглядит следующим образом:

После - нажимаем кнопку публикации (Publish).

Наш репозиторий данных создан, но он ещё пуст. В том, что он создан можно убедиться перейдя в раздел "My Repositories":

А сам публичный репозиторий будет иметь следующий вид:

Ссылка на демо репозиторий с данными.

Вернёмся к редактированию репозитория с данными и в правом блоке меню переключимся на вкладку Storages (Хранилища):

В созданном репозитории никакие хранилища не создаются по-умолчанию, а на момент написания заметки доступен один тип хранилища - MySQL 8.0

Создадим его:

После создания хранилища экран обновится и мы увидим следующее:

У нас в репозитории появилось новое хранилище типа MySQL 8.0 и пока оно пустое - не содержит таблиц и данных. Давайте это исправим!

Чтобы перейти в режим работы с хранилищем MySQL можно воспользоваться кнопкой с шестеренкой и пунктом меню Wizard:

... либо просто кликнуть на название хранилища - откроется Wizard (помощник по работе с типом хранилища MySQL, который похож на MySQL Workbench).

Подробно о возможностях MySQL Wizard я расскажу в другой статье, а сейчас остановимся на том, что мы хотели - создании соответствующей таблицы для списка наших стран.

Я создам 4 поля в таблице countries, a затем добавлю в таблицу несколько тестовых значений с которыми мы будем в дальнейшем экспериментировать:

Нажимаю кнопку выполнения запросов и получаю результат выполнения каждого запроса в отдельной таблице:

Наша таблица countries успешно создана и в неё добавлены данные, чтобы в этом убедиться - закройте MySQL Wizard и обновите страницу:

Поздравляю, вместе с вами создали первый репозиторий с данными, которые стали уже доступны через визуальный редактор запросов:

Обратите внимание, что вкладки Builder, Raw Query и Share стали активными, а это значит, что мы с вами, как и другие пользователи, теперь можем работать с этими данными - получать, связывать, фильтровать, скачивать.

Отдельная статья будет про то, как работать с визуальным конструктором запросов, какие возможности он предоставляет и какие есть ограничения.

SPONSORED репозиторий - как?

Теперь, когда наш первый репозиторий с данными создан и мы можем делиться структурированными данными с другими разработчиками, настала пора посмотреть, как же работает SPONSORED репозиторий данных.

Для изменения типа репозитория данных необходимо вернуться в режим редактирования репозитория и изменить его тип на SPONSORED, а затем сохранить.

Перейдём на главную страницу репозитория, чтобы посмотреть на произошедшие изменения:

Под блоком с автором появилась кнопка SPONSOR, по клику на которую у авторизованного пользователя будет возможность сделать донат - указать сумму и комментарий:

Деньги будут перечислены на баланс автора репозитория, а вывести он их сможет по клику на баланс под блоком с профилем в левой части экрана.

На этом завершим с вами работы с FREE и SPONSORED репозиториями данных.

Если вам понравилась статья - ставьте лайк и оставляйте комментарий. Подписывайтесь на мой блог про DataHub на Хабре, а так же на Телеграм канал поддержки сервиса.

Мой публичный профиль на DataHub - @aashmig.

Буду рад ответить на ваши вопросы и дополнить статью.

DataHub: как делиться структурированными данными и получать за них донаты?