fiftin 5 мар 2018 в 17:49

MyDataSpace — сервис публикации данных

3 мин

7.3K

Открытые данные*

+34

Комментарии 37

KYuri 5 мар 2018 в 18:20

MyDataSpace – это сервис публикации данных. Любой может опубликовать данные и любой же может получить доступ к ним через веб-интерфейс или API.

Допустим, «любой может опубликовать данные». У меня сразу возникают вопросы, на которые в статье не дано ответов:

На каких условиях (за деньги/бесплатно)?
Если за деньги, то сколько это стоит и чем это лучше покупки своего/своих VPS?
Если бесплатно, то какие гарантии сохранности данных?

fiftin 5 мар 2018 в 18:27

Бесплатно. О монетизации ещё не думал. Задумка — GitHub для данных.

KYuri 5 мар 2018 в 18:40

Соответственно второй вопрос: «какие гарантии сохранности данных?»
Ну и сразу вытекает третий, более технический и ближе к тематике «хабра» — «как будете от меня защищаться, если я начну Вам свои зашифрованные бакапы выкладывать?»)

fiftin 5 мар 2018 в 18:47

Сохранности с технической точки зрения (репликация, бекапы) или какие гарантии того что завтра сервис не перестанет существовать?

Скорость заливки достаточно низкая, размер поля ограничен) Пока такого не было, но думаю будет что-то типа модерации.

KYuri 5 мар 2018 в 19:29

Сохранности с технической точки зрения (репликация, бекапы) или какие гарантии того что завтра сервис не перестанет существовать?

Хотя бы с технической — мы же на «хабре» :)
Допустим, кто-то на самом деле хочет поделиться какими-то своими данными. Если он отдаёт эти данные стороннему сервису для распространения, и не уверен в его надёжности, то он будет вынужден хранить эти данные и у себя. А если он и так хранит эти данные у себя, то почему бы и не отдавать их всем желающим самостоятельно? (Лично я вижу две причины: во-первых, отдав данные внешнему сервису, можно переложить часть проблем, например ограничения трафика, ширины канала, защиты от DDOS и прочих атак на этот сервис, а во-вторых, если этот внешний сервис «раскручен», то пользователи эти данные с большей вероятностью будут искать там, а не на малоизвестном сайте этого человека).

Пока такого не было, но думаю будет что-то типа модерации.

Как это защитит от стеганографии? ;)

PS. Если что, я не пытаюсь «очернить» идею. Идея — хорошая. Но вопросы по реализации есть.

fiftin 5 мар 2018 в 19:42

Сейчас данные которые есть, загружены мной, по-этому бекапа базы вполне хватает)
Сервис распределенный, хостится в Public Cloud OVH и Scaleway. Репликация MySQL и бекапы.

Ваше видение причин использования сервиса совпадает с моим:) Содержать свой сервер который не приностит денег (хотя бы в перспективе), сомнительная идея.

Не вижу ничего плохого в стеганографии :-) Пусть хранится)

OlvinKSA 5 мар 2018 в 20:30

Меня вот тоже волнует сохранность: с экономико-социально-политической точки зрения :) Где гарантия, что:

1. сервис будет существовать достаточно долго? Это про то, кто оплачивает банкет. Ресурсы и время не бесплатны в нашем мире. А ещё и вообще про желание его поддерживать.

2. сервис не перестанет предоставлять данные по желанию администрации? Но вопрос, скорее, риторический :)

3. сервис не прикроют (не заблокируют) из-за того, что кто-то залил противоправный контент? (пока не будем определять юрисдикцию)

4. не захлебнётся со временем от наплыва пользователей? Перекликается с п.1.

fiftin 5 мар 2018 в 20:42

1) На данный момент нельзя сказать как долго будет существовать сервис. Пока он интересен, об будет работать. Но в любом случае данные не пропадут. В случае остановки работы бекапы данных и исходный код проекта будут доступны.
3) Противоправный контент будет удален
4) Наплыв пользователей, это то, чего хотелось бы добиться)

OlvinKSA 5 мар 2018 в 20:51

1. Это радует :)

3. Весь вопрос в том, как быстро? Не окажется ли слишком поздно? Это, наверное, к вопросу о модераторах и подобных им людях. А также о технологиях автоматической фильтрации/обнаружения.

4. Не пожалели бы ;)

Archey 6 мар 2018 в 16:19

3) Противоправный контент будет удален

А адалт разрешен? :)

fiftin 6 мар 2018 в 17:11

Если это законно)

fiftin 6 мар 2018 в 22:11

Есть такой датесет, myda.space/vk_for_men, только тссс

rumkin 5 мар 2018 в 18:42

Приветствую, коллега. Делаю "в гараже" похожий проект. Удивительно насколько совпадают решения)

Каким образом реализовано версионирование? Есть совместное редактирование CRDT или CoachDB/PouchDB?

fiftin 5 мар 2018 в 18:55

Версионирование простое, ручное) т.е. пользователь вручную создает новую версию и заливает данные.

fiftin 5 мар 2018 в 19:50

Нет, совместного редактирования нет.

fiftin 6 мар 2018 в 08:46

А где-то можно посмотреть на ваш проект?

rumkin 6 мар 2018 в 14:56

В течение месяца опубликую.

mouze1976 5 мар 2018 в 19:50

Не планируется свою реализацию выложить на github?

fiftin 5 мар 2018 в 19:56

Возможно. Раскпутка Open Source проекта не проще чем проприетарного. А мативации меньше. Не охото чтоб он лежал никому ненужный с 5 лайками.

rumkin 6 мар 2018 в 23:57

Если подтянуть UI, то можно собрать достаточную аудиторию для привлечения финансирования на Product Hunt и т.п.

tvl 5 мар 2018 в 21:02

… Надежный доступ к данных…
Последнее слово исправьте )

old_bear 5 мар 2018 в 21:37

Присоединяюсь к предыдущим ораторам по вопросу контроля содержания данных. В случае, если данных будет много, ваши ресурсы могут в итоге полностью уйти на выявление и удаление «противоправного контента». В идеальном интернете ничего такого не надо, а в реальном, на базе ваше проекта начнут клепать приложения с телефонами борделей Москвы и прочее такое. И пока вы будете в очередной раз чистить базу, вас уже торжественно внесут в зал славы имени Роскомнадзора…
Я это всё к тому, что заранее продумать подобные вопросы не менее важно, чем запилить движок базы. Потому что речь не про фабричную линию по выпуску галош, а про нечто, что будет напрямую соприкасаться с большим количеством людей.
Думаю, что тут нужна масштабируемая система контроля к доступу «на запись». Приглашения, рекомендации, совет модераторов, или что-то подобное, что позволит существовать системе в случае внезапного роста популярности.
P.S. Ещё интересная мысль в голову пришла. Вы думали, как защититься от ситуации, когда плодами вашего (и единомышленников) труда по структурированию информации начнут пользоваться наши госструктуры, на халяву получая готовый продукт, за который им будут немалые деньги из бюджета платить?

fiftin 6 мар 2018 в 09:34

Думаю, что тут нужна масштабируемая система контроля к доступу «на запись».

Будем решать проблемы по мере их поступления :)

Вы думали, как защититься от ситуации, когда плодами вашего (и единомышленников) труда по структурированию информации начнут пользоваться наши госструктуры, на халяву получая готовый продукт, за который им будут немалые деньги из бюджета платить?

Для каждого набора данных можно указать лицензию (Public Domain, Creative Commons,… или свою). Если лицензия позволяет пользоваться, пусть пользуются, на то они и открытые данные.

jackfrostfromcuba 6 мар 2018 в 07:32

Сейчас бы держать данные у третьего лица.

artalar 6 мар 2018 в 08:07

Да это же круто! Спасибо огромное, успехов!

ruslan399 6 мар 2018 в 16:20

удалите 3 основных бага которые раздражают:
— периодически меняется язык, сделайте привязку к одному источнику временных настроек
— при нажатии поиск сверху выпадающую ерунду никак не закрыт и приходится перезагружать страницу
— сделайте простой приход в 1-2 клика для перехода из личного кабинета в публичный кабинет

и, в идеале, дополнительные доки всех фишечек, а то я у меня лыжи все не едут :(