Понятие публичного трансфера данных позволяет дополнить понятие открытых данных ещё двумя категориями: разделяемые и делегируемые данные.

При рассмотрении такой темы как «открытые данные» следует взглянуть несколько шире и оценить их не только с точки зрения данных открываемых государством. Бизнес ничуть не меньше заинтересован в свободном раскрытии данных, но у него есть свои исключительные задачи и интересы. В то же время, цифровой мир требует от каждого участника предоставить личную информацию и персональные данные. И все эти открыто публикуемые сведения не стоит поспешно перемешивать в единой «куче» – по одной простой причине: каждый из этих видов данных управляется по-разному.

Продолжаем рассматривать область свободно распространяемых и бесплатных данных. Попробуем сделать акцент на субъектах, которые выступают в роли владельцев и поставщиков публичных данных.

Предложенная в настоящей публикации точка зрения не совсем обычна для тематики открытых данных. Но не стоит воспринимать её, как настырную попытку пересмотреть термины из области открытых данных. Нет. Это всего лишь стремление добавить понимания в свободно и бесплатно распространяемые данные с точки зрения экономических и управленческих особенностей их возникновения и использования, которые несомненно отражаются и на технической реализации систем сбора и анализа цифровых наборов данных.

Две модели

Встречая открытые данные в сети, мы вынуждено полагаем, что они размещены добросовестным поставщиком.

Иными словами, возможность полноценно отвечать на вопросы подобные следующим у большинства пользователей таких данных почти отсутствует:

зачем на самом деле опубликованы данные;
кто заинтересован в публикации данных;
какие скрытые мотивы преследовал издатель;
насколько корректны и правдоподобны данные;
какова вероятность «подтасовки» данных;
являются ли данные по-настоящему первичными или они прошли серьезную фильтрацию и обработку.

Выяснить все реальные движущие мотивы и сплошным методом проверить большие наборы невозможно (иногда агрегированные, деперсонифицированные и пересчитанные).

Приходится брать открытые данные «как есть» и работать с ними в рамках понимания заданной предметной области и процедур их первичного генерирования и последующих обработок.

Но вот скажем, если некий крупный банк публикует данные...

… если некий крупный банк публикует данные по средней сумме заявки на потребительский кредит. Насколько можно доверять таким данным и не присутствует ли в стремлении обнародовать подобные сведения скрытый мотив, связанный с конкурентной борьбой на рынке потребительского кредитования.
Или, если некий производитель молочной продукции публикует данные по выпуску молока. Не является ли это скрытой рекламой отдельного предприятия с целью привлечения очередной инвестиционной «дозы».
И вот ведь не случайно оба приведенных примера связаны с публикацией свободно-распространяемых, но коммерчески значимых для отдельных выгодоприобретателей.

Так что же, абсолютно не доверять «цифре», которую открывают коммерческие организации?

Но ведь они даже иногда больше заинтересованы в системном поиске новых знаний основываясь на массивах накопленных данных (мотивация рассматривалась в начале публикации) и готовы активно взаимодействовать со сторонними аналитиками. Доверять можно, но осмотрительность не помешает – просто надо отделить и рассматривать отдельно от открытых данные другой их вид – разделяемые данные.

Давайте разберемся по порядку.

Простая модель свободной публикации данных выглядит следующим образом.

Владелец данных из некоторого внутреннего хранилища выбирает наборы для публикации. Далее, выступая самостоятельно поставщиком (или передавая на аутсорсинг роль технического поставщика), он удостоверяет данные и публикует их в открытом доступе.

Здесь имеется ввиду удостоверение данных как необходимый элемент публикации, который позволяет понять суть данных, идентифицировать их поставщика (владельца) и продекларировать их открытость. Это вовсе и не исключительно способ технической защиты целостности наборов данных, хотя может это и включать.

Опубликованные данные доступны пользователям, которые создают новые решения, производят новые знания и возвращают «полезный эффект» владельцу (напрямую или через поставщика), в том числе по каналам обратной связи заданных владельцем/поставщиком.

Но модель можно несколько усложнить, добавив нескольких владельцев данных.

Сложная модель свободной публикации данных несколькими экономическими субъектами через одного поставщика выглядит несколько иначе.

Владельцы данных, по договорённости (или в силу закона) передают свои внутренние данные по защищенной схеме трансфера данных специальному экономическому субъекту, наделенному полномочиями поставщика. Последний в свою очередь удостоверяет данные от своего имени и публикует их в открытом доступе. Причем теперь, поставщик удостоверяет данные не только от своего имени, но и от имени некоторого сообщества субъектов, которые передали ему свои данные для свободного распространения. Опубликованные данные также становятся доступны пользователям, которые создают новые решения, производят новые знания и возвращают «полезный эффект» непосредственному поставщику или группе экономических субъектов, в том числе по каналам обратной связи заданных владельцами/поставщиком. Но в сложной модели выгодоприобретателями становятся все участники такого сообщества, совместно публикующего данные.

Казалось бы, почти одинаковые модели, за одним лишь небольшим исключением: в первом случае — один владелец данных публикуется через одного поставщика, во втором — несколько владельцев публикуются через одного поставщика-посредника.

С технической стороны разница не существенна, но с экономической она определенно важна. Это связано прежде всего с тем, что в сложной модели появляется устойчивое саморегулируемое сообщество, которое договорилось совместно публиковать данные на общепринятых или нормативно заданных условиях. Тем самым, кроме того, что поставщик-посредник является неким удостоверяющим субъектом, внутри такой группы из нескольких владельцев данных устанавливается взаимный сдерживающий конкурентный контроль. Получается, что уже не один субъект гарантирует качество публикуемых данных, а несколько пристально приглядывающих друг за другом субъектов, которых в добавок ещё и мониторит поставщик-посредник.

К тому же, если такая модель реализуется не на простой договоренности нескольких экономических субъектов, а на законодательном государственном уровне, то доверие к данным повышается. В принципе, немаловажную роль в сложной модели играет представительность владельцев данных, объединенных в группу и авторитет поставщика-посредника, который агрегирует данные, приводит их к требуемому виду, удостоверяет и непосредственно издает.

Рассматривая две такие модели (простую и сложную) стоит принципиально разделить публикуемые данные.

Открытые (open) данные – это данные передаваемые в рамках публичного трансфера, которые созданы одними субъектами, а собраны, удостоверены и опубликованы в соответствии с совместно установленными и принятыми правилами иным субъектом и/или повторно опубликованные другими субъектами без изменений.

Открытые государственные (open government) данные – это данные передаваемые в рамках публичного трансфера, которые созданы одними субъектами, а собраны, удостоверены и опубликованы в соответствии с законодательством иным субъектом, которого государство наделило функциями поставщика, и/или повторно опубликованные другими субъектами без изменений.

Разделяемые (shared) данные – это данные передаваемые в рамках публичного трансфера, которые созданы одним субъектом, удостоверены и опубликованы им же и/или повторно опубликованные другими субъектами без изменения.

Как бы нам не хотелось, но указанные две модели принципиально отличаются по уровню доверия к публикуемым данным.

И если в сложном случае речь действительно может идти об открытии данных – то есть о предоставлении несколькими независимыми экономическими субъектами через уполномоченного посредника данных о своей (или об известной им) деятельности в соответствии с согласованными условиями открыто, квалифицировано, контролируемо, полно.

То в простом варианте больше подходит слово «разделяемые» данные – то есть данные, которые опубликовал один экономический субъект о своей (или об известной ему) деятельности в соответствии с собственными правилами и целями, при этом лишь условно и самостоятельно продекларировал их открытость, полноту, достоверность. Владелец поделился данными с другими, или иными словами, предложил использовать их другим лицами одновременно с ним, но он не снимает с себя прав и обязанностей в отношении опубликованных данных.

Небольшое замечание. Случай публикации, данных ограниченной группой аффилированных экономических лиц...

… НЕ является публикацией открытых данных, А всё-таки остается моделью поставки разделяемых данных.

Но есть ещё одно существенное отличие по представленным моделям.

Оно проявляется при обратном получении поставщиком (владельцами) полезного эффекта в виде новых решений или знаний.

В простой модели, где данные были распространены одним субъектом доверие к полученным на их основе результатам, по умолчанию, следует ожидать только от этого же субъекта.

В сложной модели – наоборот, ожидается, что все субъекты открывшие данные в рамках некоторой объединенной группы будут доверительно относиться к создаваемому полезному эффекту на основе таких данных. Это общие принципы, которые на практике могут иметь ряд нюансов. Например, даже единолично открывший данные субъект может пользоваться настолько большим авторитетом и доверием со стороны иных субъектов, что ни качество его данных, ни результаты, полученные на их основе, не вызовут значительных сомнений и возражений.

Открытые данные

Открытые данные – это всегда внешне вторичные данные от первичного поставщика. И это данные которые такой поставщик так или иначе получает, проверяет, обрабатывает, контролирует. Он в какой-то степени гарантирует их качество. В отношении открытых данных можно говорить, что коммерческий успех или некоммерческий интерес непосредственного поставщика (регулирующий посредник между владельцами и пользователями) не зависит от их содержимого, формата и способа передачи.

Фактически, подобное определение исключает из категории «открытые данные», те из них, которые создаются одним экономическим субъектом и им же обособлено публикуются.
Это может быть, как частный или государственный бизнес, так и социальные некоммерческие организации.

Круг поставщиков открытых данных намеренно и осознанно ограничивается добросовестными (опять же) государственными структурами, негосударственными ассоциациями и неформальными сообществами, целью которых при публикации не является скрытое улучшение собственных позиций на рынке за счет информационно влияния. Первые осуществляют сбор данных в силу закона, а вторые в соответствии с добровольным соглашением членов сообщества. В подавляющем большинстве случаев, открытые данные получены от множества физических и юридических лиц и собраны в общий массив. Простейший пример – государственная статистика.

Не исключен сговор коммерческой структуры с государственной организацией для опосредованной публикации якобы «открытых» данных от имени независимого издателя. Однако это отдельный случай, рассмотрение которого связано прежде всего с постоянным контролем релевантности, целостности и объективности открытых данных «на входе». Кроме того, нельзя исключать и намеренного изменения открытых данных для тех или иных не коммерческих целей. Но тогда речь уже должна вестись о недобросовестности поставщика.

Основное назначение открытых данных, публикуемых государственными уполномоченными организациями и добровольными ассоциациями:

Информирование заинтересованных лиц.
Стабилизация рынков (сообществ).
Развитие общественных институтов.

Потребителями открытых данных выступают граждане, бизнес и иные государственные структуры, но опосредованно через «третьих лиц», способных на основе таких данных получить новые ценные знания (решения).

Поскольку открытые государственные данные напрямую касаются функционирования государственной системы и агрегируются от множества физических и юридических лиц, они регулируются и контролируются на уровне федерального и регионального законодательства.
Основная концепция, которая развивается через расширение и углубление содержания и технологий открытых данных – это открытая экономика.

Здесь надо бы сделать одно замечание

Для развития открытого правительства, как одной из частей открытой экономики требуются не только дать свободный доступ к массивам данных, но и сформировать некоммерческие структуры, бизнесы и привлечь отдельных экспертов, которые «переработают» данные от государства, гражданского или делового сообщества. Но это не зависит от количества опубликованных наборов открытых государственных данных, а напрямую зависит от активности использования опубликованных сведений. Ну и конечно же, вопросы качества данных и квалификации аналитиков остаются всегда актуальными. Если же интенсивность публикации открытых данных не будет успевать за усилиями «аналитиков», то весьма вероятен эффект «замусоривания сети госданными».

Разделяемые данные

Чуть выше были отделены данные обособлено создаваемые и свободно публикуемые организациями в отдельную категорию – разделяемые данные. Термин «разделяемые» должен показать, что поставщик может и не обязан полностью раскрывать созданные им, имеющиеся в его распоряжении значимые цифровые данные. При этом с одной стороны он позволяет воспользоваться накопленной им информацией сторонним лицам, но с другой стороны оставляет за собой право активно её использовать и управлять ею. Кстати для этого у него множество способов, которые не сводятся только к ограничениям в рамках авторских прав. Он может, например, объявить их недействительными или некорректными, перестать поддерживать их актуальность и целостность. Очевидно, что заинтересованный поставщик делится данными в которые он инвестировал, но при этом предлагает совместно с ним использовать их без какой-либо оплаты, надеясь (а иногда настаивая), что пользователи в последующем поделятся новыми интересными решениями и знаниями.

Разделяемые данные – это всегда внутренние данные для первичного поставщика или внешние, но обработанные на его усмотрение. В отношении разделяемых данных можно говорить, что коммерческий успех (для бизнеса) или оценка деятельности (для некоммерческих организаций) их поставщика могут зависеть от их содержимого, формата и способа передачи. Проверка и подтверждение качества разделяемых данных остаются в ведении поставщика, а значит внешнего контроля и удостоверения они не получают.

Из чего следует, что к разделяемым данным следует присматриваться с большей критичностью в части содержимого, чем к открытым данным.

И кроме того, для разделяемых данных важно понимать, что они отбираются для публикации и публикуются прямо заинтересованным в их содержании лицом.

Даже результат обработки и анализа открытых данных, представленный в виде вторичных наборов, с этой точки зрения, представляется как разделяемые данные со всеми вытекающими последствиями.

Ответственный издатель разделяемых данных всегда тщательно (и даже более тщательно, чем поставщик открытых данных) оговорит условия и контекст передаваемых данных, а также обозначит введенные им ограничения и критерии выборки. Но пользователь всё равно вынужден искать и обращать особое внимание на условия раскрытия данных «мелким шрифтом».

Основное назначение разделяемых данных, создаваемых и публикуемых бизнесами и некоммерческими (социально-ориентированными) организациями:

Информационная открытость перед государством и обществом.
Улучшение конъюнктуры целевых рынков (социальных пространств).
Поддержка клиентов и партнеров.

Потребителями разделяемых данных выступают граждане, другой бизнес и некоторые государственные структуры, но, опять-таки, опосредованно через «третьих лиц», способных на основе данных получить новые ценные знания (решения). Регулирование разделяемых данных – это задача сообществ, которая должна быть реализована через стандарты, понятные правила и процедуры. Разработка каждой организацией своих принципов и функций трансфера разделяемых данных полезна, но будет обескураживать пользователей своим многообразием.

Если открытые данные призваны упрочить принципы открытой экономики, то разделяемые данные постепенно, но уверенно двигают рынки и сообщества к открытому партнерству. Его основная миссия – взаимный обмен значимыми данными с участниками экономической деятельности для обеспечения устойчивого развития на региональном, государственном и глобальном уровне с заданным уровнем доверия и репутационной ответственности. Это реализуется и проявляется через своевременное уведомление контрагентов, просчет и минимизацию рисков, оптимизацию ресурсных альтернативных издержек, выравнивание информационно-ёмких бизнес-процессов, быстрое обоснованное урегулирование разногласий и т.д.

Делегируемые данные

В стороне от государственных, социальных и коммерческих данных осталась особая категория – данные открыто публикуемые физическими лицами. Это не только персональные данные, применение которых активно регулируется государством, а «утечка» становится предметом «горячего» обсуждения. Но это, например, огромные массивы цифровых данных личного характера доступные для получения в социальных сетях или извлекаемые из них.

Данные (да и любая информация) публикуемые физическим лицом о себе всегда остаются авторскими и имеют очевидную персональную принадлежность.

Такие данные всегда ассоциируются гражданином как собственные, принадлежащие исключительно ему и в отношении которых он считает правомерным свободно распоряжаться как на этапе публикации, так и в последующем. Это почти как право на собственное личное мнение, которое к тому же может быть изменено в любой момент в силу тех или иных обстоятельств. Физическое лицо имеет право на отзыв опубликованных о себе данных, потому что оно имеет бесспорное базовое право на изменение собственного мнения и предпочтений. Человек может передумать и поэтому в целях защиты его права свободы совести он получает в той или иной мере поддержку от государства.

Кстати фундаментальное право на «изменение мнения» или в иной трактовке «право на раскаяние, исправление и возмещение ущерба» реализуется в государственной системе административного и уголовного права

Вот что по этому поводу содержит, например, статья 1 части 1 Уголовно-исполнительного кодекса РФ: «Уголовно-исполнительное законодательство Российской Федерации имеет своими целями исправление осужденных и предупреждение совершения новых преступлений как осужденными, так и иными лицами».

Данные публикуемые физическим лицом открыто для свободного использования никогда полностью не являются в прямом смысле безвозвратно открытыми и окончательно переданными другим лицам. Лицо, их опубликовавшее, имеет и всегда должно иметь право их отозвать/опровергнуть. На этом построен ряд нормативно-правовых актов. В том числе и пресловутое право на забвение. Поэтому говорить о таких данных как об открытых или как о разделяемых не совсем корректно, особенно с точки зрения использования в бизнес анализе.

Придется вводить дополнительную категорию – делегируемые данные. Здесь слово «делегируемые» указывает на возможность поставщика (физического лица) ограничить во времени предоставление данных сторонним пользователям. Почему правом делегировать данные не могут обладать государственные структуры или бизнес? Потому что являются юридическими лицами и не располагают информацией личного характера, которая требует особой защиты со стороны гражданского общества. А при транслировании делегируемых данных, любой экономический субъект реализует ряд особых мер предусмотренных на законодательном уровне или на уровне практики или обычаев делового оборота.

Делегируемые (delegated) данные – это публичный трансфер данных, при котором физическое лицо, предоставляет цифровые данные о себе, подразумевая свое право и гипотетическую возможность их изменить или отозвать в последующем.

Соответственно, в отношении делегируемых данных следует выстраивать специальные бизнес-процессы с учетом их характерных особенностей, а также с учетом специфики законодательства о персональных данных. Что вовсе не значит, что нет никакой пользы и нет никакой возможности активно пользоваться делегируемыми данными. Известны примеры успешных программных сервисов, построенных на обработке данных из социальных сетей, как профессионального, так и общего назначения.

Основное назначение делегируемых данных, публикуемых физическими лицами:

Ожидание персонализации предложений рынка.
Личная социализация и объединение в группы.
Общественное влияние и контроль.

Потребителями делегируемых данных выступают другие граждане, бизнес и государственные структуры, опосредованно через неких «третьих лиц» или напрямую. Регулирование делегируемых данных возможно только со стороны государства на законодательном уровне. Бизнес может выработать собственные принципы работы с ними, а в ряде случаев даже обязан сделать это, например, в отношении персональных данных. Но всё-таки основная работа в этой части выполняется государством при участии общественных и негосударственных специальных организаций. Гипотетически также существует возможность объединения физических лиц в некие социальные группы, которые будут предлагать особые условия распространения делегируемых данных, но это скорее специальный уровень некоммерческих социальных организаций и фондов.

Интересным развитием будущего делегируемых данных является концепция открытой гражданской позиции. По аналогии, когда обществу открывается государство, противоходом гражданское общество становится более открытым и понятным не только государственным социальным и коммерческим структурам, но и, прежде всего, самому себе. Результатом открытой гражданской позиции должно стать существенное повышение безопасности, повышение эффективности общественных институтов, вовлеченность граждан в социальные процессы, заинтересованность в получении достоверной информации и т.д.

Итого = публичные данные

Общий массив свободно публикуемых цифровых данных в итоге получился разграниченным на три категории:

открытые,
разделяемые и
делегируемые данные.

Для правильного выбора и оценки качества источников, инструментов, технологий, ресурсов, важно четко понимать и контролировать плюсы и минусы каждой из категорий данных.
Особенно если это осуществляется с целью получения значимого результата в таком процессе. И не пытайтесь убедить менеджмент, что всеми тремя категориями можно управлять одинаково.
Обрабатывать – да, но не управлять.

В дальнейшем при развитии таких мощных инструментов как распределенные реестры различие между выделенными категориями свободно и бесплатно распространяемых данных будет проявляться всё больше, особенно на информационно-технологическом уровне.

В целом, указанные три категории данных можно объединить под более общим термином – публичные данные.

О данных открытых, разделяемых и делегируемых