Открытые данные *

^{Давно хотел перевести, но сейчас как раз подходящее время в связи со сменой лицензии у OpenStreetMap.}

Главная потенциальная ценность данных для всего общества в целом — это то, что большее количество данных потенциально способствует расширяющемуся научному сотрудничеству и воспроизводимости, более эффективным рынкам, увеличивающейся правительственной и корпоративной прозрачности и, в целом, ускорению нахождения и понимания решений глобальных и социальных потребностей.

Большая часть потенциальной ценности данных, в частности их ценность для всего общества, реализовывается за счёт использования без организационных преград. Как это происходит (юридически)? Многие сайты дают узкое разрешение на использование данных с помощью условий предоставления услуг. Активно обмен специальными данными происходит среди исследователей. И всё чаще открытые данные освобождаются посредством распространения на публичных условиях (например, лицензий CC или передачи в общественное достояние CC0) для преодоления ограничений авторского права, которые в противном случае способны ограничить распространение или повторное использование данных.

Многие организации, учреждения и правительства используют инструменты CC для данных.

Лицензии CC используются для баз данных следующими организациями (подробнее):
^{Australia Federal Government, Australia Queensland State Government, ChEMBL, DBpedia, Finnish Libraries, Freebase, Geocommons, Google, Greece Government, Italian Government, MusicBrainz, Mydosis Portal, New Zealand Government, Open Directory Project (dmoz), OpenStreetMap, Powerhouse Museum, Spain (Basque) Government — Open Data Euskadi, Stack Overflow, Uniprot, United Kingdom Government.}

Подведём итоги ушедшего года.



Красивая анимация показывает все дополнения и изменения точек (белые вспышки) и общие правки (жёлтые), которые сделали тысячи участников OpenStreetMap в 2011 году.

Эта анимация сделана Derick Rethans полностью с помощью FOSS.

Другие визуализации:

• Лондон (видно процесс создания карты города с абсолютного нуля)
• Берлин
• землетрясение на Гаити
• правки 2008 года на глобусе

Мы достигли отметки в 500 000 зарегистрированных участников OpenStreetMap прошлой ночью. Да. Это полумиллионная армия, которая может редактировать OpenStreetMap!



Этот проект всецело посвящён массовому сотрудничеству. Тысячи людей собираются вместе в Интернете, чтобы построить что-то великое: свободную карту мира. Если вы хотите влиться в эти ряды, зайдите на openstreetmap.org и нажмите по ссылке «зарегистрироваться» в правом верхнем углу. Мы будем рады видеть Вас!

Когда у вас есть аккаунт на OpenStreetMap.org, вы можете редактировать карту и добавлять объекты. Это самое важное. Нам нужно много людей, не просто присоединившихся, а движущихся на пути прогресса к следующему этапу, на котором действительно начинается самое интересное. Увеличьте ваш район и переместитесь на вкладку «редактировать», чтобы войти в интерфейс редактирования карты. Если вы ещё не попробовали это (мы знаем, что таких много), сделайте это сегодня! Свяжитесь с сообществом, если у вас возникли вопросы или проблемы. Дайте нам знать, что вас сдерживает. В последние месяцы мы добились больших успехов в упрощении редактирования карты с потоком инноваций от разработчиков редакторов, а также инициативами по созданию новой документации. Но есть еще много работы, которую предстоит сделать на этом пути, так что OpenStreetMap может достигнуть числа в миллион участников, и (что более важно) что все эти участники могут попробовать редактировать!

Некоторое время назад Правительство Москвы открыло API по которому можно проверить наличие лицензии таксиста. В тот же день, в офисе Яндекса прошел круглый стол на тему раскрытия данных городских служб, в котором мне посчастливилось поучаствовать. На мероприятии развернулась жаркая полемика на тему того какие данные раскрывать и как это делать.

Ура! Наконец-то в OpenStreetMap закончен импорт базы данных от JumpStart Georgia, в создании которой с октября 2009 года участвовали до 1000 волонтёров.

Во время российско-грузинской войны 2008 года многие обратили внимание, что на Google Maps совсем нет карты Грузии и задавались вопросом «почему?».

Максим Дубинин в блоге на сайте GIS-Lab опубликовал свежую статистику по проекту OpenStreetMap в России.

Количество участников, сделавших хотя бы одну правку территории России, уже перевалило за 10 000 человек. По состоянию на 31 августа их число составляет 10 708 участников.

За последние полгода в проекте OpenStreetMap зарегистрировалось столько же людей как за предыдущие 5 лет!!!

График ежемесячного количества новых редакторов и рост их общего количества:



Подробности и исходники в блоге на сайте GIS-Lab.

Сегодня в свободной библиотеке Викитека (что это такое?) опубликован перевод на русский язык лицензии Creative Commons Attribution-ShareAlike 2.0 Generic (CC-BY-SA 2.0 Generic). Пожалуйста:

ru.wikisource.org/wiki/Creative_Commons_Attribution-ShareAlike_2.0_Generic

Оригинал лицензии на английском можно посмотреть здесь:

creativecommons.org/licenses/by-sa/2.0/legalcode

Именно по этой лицензии (обратите внимание это версия номер два; у Википедии, например, номер три — это актуальная версия лицензий, но объявлено о планах создания 4 версии лицензий) распространяется база данных OpenStreetMap, вики OSM и часть фотографий на сайте Flickr. Теперь вы можете лучше понять свои права и условия распространения контента. А в будущем, когда появится адаптированная российская версия 4-ой версии лицензий Creative Commons, любой сможет создать на основе контента под CC-BY-SA 2.0 производное произведение, которое можно будет выпустить уже под этой российской версией.

Фонд Джорджа Сороса «Открытое общество» (Open Society Foundations) поощряет получателей грантов выпускать свои произведения по лицензиям Creative Commons. Подробности в блоге Creative Commons, сайте Фонда и вики-разделе о грантах. А ниже перевод поста «Почему мы поддерживаем Creative Commons» с сайта Фонда.

В Фонде «Открытое общество» мы считаем, что наша миссия является прогрессивной, когда произведение, которое мы поддерживаем и создаем, является широко доступным общественности. Именно поэтому мы приняли новую политику, которая поощряет грантополучателей выпускать своё произведение по лицензиями Creative Commons. Я поговорила с Верой Франц, которая возглавляет Information Policy and Intellectual Property Reform initiatives в Open Society Information Program, о значении этого подхода.

Кратко, что же такое лицензирование по Creative Commons? Почему следует его использовать?

В первую очередь лицензии Creative Commons (CC) это наиболее действенный инструмент для создателей, когда им нужно выбрать лицензию произведения. Традиционное авторское право утверждает – «хочешь использовать мою работу? Тогда получай разрешение». В отличие от этого, Creative Commons считает, что «то-то и то-то с моей работой делать можно». Ты должен сослаться на меня, как на автора, но но ты можешь спеть мою песню, или перерисовать мою картинку в тетрадь. Кроме этого, благодаря Creative Commons стало возможно легализовать большую часть совместной креативности всего интернета

Фонд «Открытое общество» довольно давно пользуется лицензированием по CC. Есть какие-нибудь последствия?

Я считаю, что эта лицензия помогает Фонду достигнуть его миссии. Идея Открытых сообществ зиждется на как можно широком распространении идей — вместо того, чтобы заставлять людей получать наше разрешение на то, чтобы прослушать наш последний подкаст, или прочитать наши последние новости, мы хотим, чтобы люди нас критиковали, дебатировали с нами как можно свободнее. Именно для этого мы и выбрали CC.

Редактировать OpenStreetMap ещё никогда не было так просто! Я бы хотел рассказать о приложении Mapzen POI Collector от компании CloudMade для iPhone и Android, которое позволяет добавлять новые POI в базу данных OpenStreetMap и редактировать уже существующие. То, что нужно помогать OSM, я думаю, всем понятно и даже не обсуждается, поэтому это объяснять не буду. Теперь вы можете помогать ещё проще — вы можете не откладывая добавить объект, находясь прямо в нём и для этого вам не нужен полноценный компьютер с Flash или Java. Например, пока остывает ваш кофе, не поленитесь добавить ваше кафе в OpenStreetMap, если там его ещё нет. Но, конечно, доступно не только добавление кафе, но и десятков других типов POI (и по крайней мере в Android все они точно на русском языке, так что с языком проблем не будет — вам не нужно будет искать название по-английски и запоминать его). Это было бы гораздо полезнее для всего общества, чем играться, например, в foursquare и от этого мне лично гораздо интереснее, чем тот же самый foursquare.

Итак, установите приложение с помощью App Store или Android Market. Mapzen POI Collector впервые появился в App Store 26 ноября 2009 года. Позднее появилась версия для Android.

22 июня в 4 часа утра на сайте dmoze.ru появилась информация, что у легендарного проекта Open Directory Project или dmoz теперь новая лицензия — Creative Commons Attribution 3.0 Unported. Так и вышло оказалось — на странице dmoz.org/license.html указана CC-BY. Но! Ни на одном сайте в Интернете, по которым ищет Google, больше новостей нет. Наверное, все спят. И это не старая новость — в кэше Яндекса старая лицензия.

Open Directory Project принадлежит AOL и поддерживается сообществом добровольных редакторов.

Open Directory Project был основан Ричардом Скрентой и Бобом Труелом. Его запуск состоялся 5 июня 1998 года. После объявления о покупке Каталога корпорацией Netscape 17 ноября (сама покупка была совершена ещё в октябре) 1998 года за 40 050 000 долларов он был переименован и приобрёл своё нынешнее название.

Сейчас в каталоге 4 897 671 сайт, 91 874 редактора, 1 007 233 категории. Раздел для сайтов на русском языке занимает 9-е место среди самых больших языковых разделов в Каталоге.

Один из известных проектов на базе dmoz — Google Directory.

Ранее Open Directory Project распространялся по лицензии Open Directory License (текст), которую Free Software Foundation считает несвободной лицензией.

Несколько раз я уже поднимал эту тему — о том как именно создаются и финансируются различные гражданские и общественные проекты, на сей раз я эту тему разберу подробнее и опишу с примерами то как это происходит в мире и в России.

Как создаются такие проекты и на какие деньги?

Два эти вопроса столь тесно переплетены, что связаны неразрывно. От того как именно проекты создаются, кто является их инициатором сильно зависит то откуда они получают финансирование, если оно вообще оказывается необходимым. Проекты бывают очень разными. Простым и сложными. Созданными одним человеком и сотней волонтеров. Основанные на краудсорсинге и краудфандинге. Конечно, на открытых данных и не только. Однако все они поддаются четкой категоризации.

Проекты можно разделить на следующие группы:

— проекты на гранты некоммерческих организаций (в пределах страны);

— проекты созданные на гранты международных организаций;

— проекты созданные по государственному заказу;

— проекты созданные существующими некоммерческими организациями для поддержки своей деятельности;

— коммерческие проекты;

— персональные «проекты-порывы» от инициативных граждан;

— краудфандинг

— медийные проекты созданные СМИ

А также по каждому из подходов расскажу подробнее.

Некоммерческая организация ГОЛОС занимающаяся мониторингом выборов в России буквально вот только что открыла сайт электоральной статистики в нашей стране — stat.golos.org

Всего в их базе 36 834 записи о выборах на всех уровнях власти — от федерального до местного самоуправления, по всем регионам и начиная с 2003 года.

Огромный объем работы наконец-то доступный онлайн. Данные по весьма чувствительной теме под названием «выборы». Причем данные официальные, наконец-то, извлеченные из сайта Центризбиркома и представленные в форме пригодной для повторного использования как открытые данные.

И у каждого из выборов есть ссылка на CSV файл с описанием. Который можно выгрузить, загрузить в Excel, загрузить в любимую базу данных, построить инфографику, сделать свой региональный проект, сделать проект по собственному муниципалитету и многое другое.

Скриншот главной страницы:

United Nations Foundation, Управление ООН по координации гуманитарных вопросов (United Nations Office for the Coordination of Humanitarian Affairs, OCHA) и другие признали решающую роль, которую играет OpenStreetMap в усилиях по оказанию помощи на Гаити и других местах.

Цитата из UN Foundation Disaster Relief 2.0 Fast Facts:

OpenStreetMap (OSM) — это сообщество примерно 150 000 картографов, нацеленное на создание свободной и открытой карты мира. OSM мобилизовало более 640 добровольцев со всех уголков мира, которые сканировали и исправляли старые атласы и карты и отрисовывали гаитянские дороги, мосты и здания в геопространственную вики OpenStreetMap, используя инструменты, которые требуют только простой веб-браузер и время. В результате этого процесса данное сообщество превратило белое пятно на карте в одну из наиболее точно картографированных стран в мире, создав карту гораздо лучшую, чем любые имеющиеся в ООН. К середине марта, OpenStreetMap стали де-факто источником картографических данных по Гаити в большинстве учреждений ООН и EC Humanitarian Unit.

14 апреля в вики Creative Commons опубликован перевод на русский язык «инструмента» (это не лицензия!) «CC0» (см. краткое описание на русском, см. юридический текст на английском) с помощью которого можно отказаться от своих авторских прав и передать произведение в общественное достояние.

«CC0» был запущен в декабре 2007 года. Раньше вместо «CC0» был простой отказ от авторских прав, но он был создан для работы только по законам США, в то время как «CC0» создан, чтобы работать во всём мире.

Инструмент «CC0» подходит и для контента (текста, звуков, видео, изображений), и для программного обеспечения (Фонд свободного ПО недавно включил «CC0» в свой список свободных лицензий, «CC0» как общественное достояние совместим с лицензией GNU GPL).

«CC0» работает следующим образом: автор отказывается от прав в максимально возможной по закону степени, но в том случае, если это невозможно, то предусмотрена подстраховка — тогда «CC0» превращается в простую публичную лицензию, разрешающую любое использование контента.

«CC0» работает не только для авторских, но и для смежных прав и для прав составителей базы данных, т.е. «CC0» является универсальным инструментом.

Сценарист и известный видеоблоггер Олег Козырев, чей блог одно время входил в топ-30 блогов рунета, выложил видеозаписи выступлений с субботнего митинга Партии народной свободы «За Россию без произвола и коррупции» (между прочим, самый массовый митинг оппозиции за последние годы) по свободной лицензии Creative Commons Attribution-Share Alike 3.0 Unported. Видео можно посмотреть на YouTube и на Викискладе в формате HTML5/Theora.

Но в оппозиции не только Олег Козырев использует Creative Commons. Известный блоггер и борец с коррупцией Алексей Навальный использует лицензию Attribution 3.0 Unported в своём антикоррупционном проекте "РосПил".

Но не только оппозиция использует лицензии. Весь контент сайта kremlin.ru «блоггера №1» Дмитрия Медведева, заодно работающего президентом России, доступен по лицензии Attribution 3.0 Unported. Это очень позитивный сигнал. Также тысячи фотографий и десятки видео с сайта можно посмотреть на Викискладе.

Кроме того, лицензии Creative Commons также используют:

• Интернет-эксперт, создатель ряда сайтов Антон Носик
• Бывший самый популярный блоггер рунета Рустем Адагамов (ЖЖ-юзер «drugoi»)
• Блоггер, фотограф и журналист Алексей Юшенков
• Журналист, телеведущий и блоггер Александр Плющев
• Блоггер и фотограф Илья Варламов (ЖЖ-юзер «zyalt»)
• Интернет-эксперт Антон Меркуров
• Юрист Павел Протасов
• Блоггер и создатель ряда сайтов Иван Бегтин в своём проекте OpenGovData

Ранее я уже писал о том что открытые данные важны и полезны для общества и то что по всему миру они используются.

Однако, упоминая открытые данные раскрываемые государством, нельзя не упомянуть ещё одно важное явление — это раскрытие данных международными организациями такими как ООН и Всемирный банк, а также то зачем они раскрываются.

Я подробнее остановлюсь на раскрытии информации именно Всемирным банком.

Возможно, кто-то из Вас знает — Всемирный банк уже много лет собирает по каждой стране большие объемы информации, в основном, статистической о структуре их экономики, значения и показатели необходимые для оценки уровня экономического развития, данные используемые в рейтингах простоты открытия своего дела и многое другое.

Кроме того, это одна из крупнейших мировых международных финансовых организаций которая осуществляет финансирование десятков и сотен проектов по всему миру.

Сегодня днём прошла конференция «Государство в XXI веке» посвященная электронному государству и информационному обществу.

Подробнее о ней можно прочитать на её сайте http://www.government21.ru/, а также я надеюсь что там вскоре появятся материалы выступлений, я же расскажу собственные впечатления, тем более что я там выступал как докладчик.

1. Игорь Агамирзян из РВК в самом начале выступал про то на каком месте по рейтингу Всемирного экономического форума находимся, с чем это связано и как это менять. В принципе, этот рейтинг/индекс сетевой готовности на конференции упоминался очень часто. Его можно посмотреть здесь — http://www3.weforum.org/docs/WEF_GITR_Report_2011.pdf. Чувствовалось что волновал он многих.

2. Илья Пономарев рассказывал про законы об электронном документе и цифровой подписи. Их важности для граждан и того что наконец-то стал возможен полноценный электронный документооборот.

В том что российское государство декларирует и делает в инициативах по электронному правительству, электронному государству и информационному обществу есть одна большая тема которая и по сей день тщательно избегается.

Эта тема называется «открытые государственные данные» (open government data), которая в Евросоюзе также может называться как public sector information.
Именно развитие этой темы позволяет не просто создать государственные услуги и иные информационные сервисы, но и вовлекать граждан в контроль за государственными органами.

Что такое открытые данные?
Открытые данные — это способ представления общедоступной информации в машиночитаемой форме. В виде в котором разработчики могут загрузить их в базы данных, проанализировать и представить в куда более наглядной и понятной форме чем то как это делается в государственных системах.

Открытые данные ценны не сами по себе, а благодаря тому что они используются гражданами. Это называется «повторное использование информации».

Говоря иначе — информация раскрываемая государством становится ценной не тогда когда она публикуется, а тогда когда она используется повторно и именно это сейчас активно поощряется государственными структурами в Евросоюзе, США и многих других государствахх ОЭСР.

Так, в Европейском союзе открытые данные уже являются частью их программы по построению информационного общества и подробности, отчеты и материалы они публикуют на специальном разделе сайта посвященного этой программе http://ec.europa.eu/information_society/policy/psi/index_en.htm

В США действует несколько десятков проектов созданных как органами власти так и некоммерческими организациями и все они нацелены именно на открытые данные.

Самый известный их проект — это Data.gov. Это огромный по маштабам «склад данных» которые можно использовать в коммерческих и некоммерческих целях.

Я занимаюсь таким явлением в России как открытые данные и веду проект OpenGovData.ru (http://www.opengovdata.ru/). Это некоммерческий проект в виде каталога ссылок на опубликованные в Интернете массивы государственных данных, а также инициатива по переводу этих данных в машиночитаемую форму.

Что такое открытые данные?

Открытые данные — это способ представления общедоступной информации в машиночитаемой форме. В виде в котором разработчики могут загрузить их в базы данных, проанализировать и представить в куда более наглядной и понятной форме чем то как это делается в государственных системах.

Зачем это нужно?
Открытые данные — это то что является основной для большого числа коммерческий проектов, а также проектов нацеленных на общественное благо.
К примеру, без данных о преступности в машиночитаемой форме невозможно нанести их на карту и показать наглядно так как это делают в проекте Crime Mapping — http://www.crimemapping.com/.

Без данных о государственном бюджете которые можно обработать, невозможно их показать наглядно так как это делается в проекте Where Does My Money Go?.

Есть и много других примеров того как открытые данные являются основой-основ. Они помогают разработчикам создавать то что государственные органы по неумению или невозможности создать не могут.

Открытые API
Проект OpenGovData.ru активно развивается и в последних инициативах у него появилось API позволяющее использовать некоторые массивы данных на практике.

В частности появилось API для доступа к данным центрального банка России — подробнее об этом можно прочитать у меня в блоге http://ivbeg.livejournal.com/371247.html, а также API для получения информации об административно-территориальном делении России http://ivbeg.livejournal.com/370987.html.

Эти API можно свободно использовать для любых некоммерческих и коммерческих целей.

Также это не последнее API, а будут и другие. В частности хочется сделать то же что делали ребята из Sunlight Labs и OpenCongress — собрать данные о наших законодателях и подать их в удобной для работы форме.

Неделю назад я упоминал о том, что участники OpenStreetMap впервые устроили «online mapping party» и нарисовали по спутниковым снимкам Bing за одни выходные карту Саранска, столицы Мордовии. Теперь подведём итоги.

Помимо юмористического отчёта (очень рекомендую) и серьёзного отчёта, также был сделан хороший видеоролик о прошедшем мероприятии (спасибо trolleway). На нём виден процесс улучшения карты города, карта-«пирог», где были отмечены зоны ответственности участников, координационная страница, сравнение панорамных фотографий города и трёхмерной картинки на основе данных OpenStreetMap (это выглядит очень эффектно), а также запись работы навигатора. И это всё под хорошую музыку. Смотреть всем:



А затевалось всё это рисование, чтобы помочь сайту мониторинга транспорта bus13.ru, который неожиданно стал использовать карту OpenStreetMap в то время когда она была ещё не очень хорошей. Сайт обнаружил OldIvantey, а предложил нарисовать город osmisto. В итоге мероприятие оказалось не просто помощью bus13.ru, но и хорошей проверкой сил сообщества OpenStreetMap и успехом в рисовании целого города.

Я так понимаю, местные жители от такого были в радостном шоке и теперь уже несколько человек из Саранска (ЖенDos, SVE, x15, p3omat, MIR, TemikNT, JOHN, Nickolay, ArtCore) присоединилось к сообществу OpenStreetMap и они стали отмечать баги, которые допустили понае… «набежавшие» участники, и отмечать POI.

Ещё раз сравнить карту можно здесь: было, стало.