Поскольку я вхожу в Совет по открытым данным при Правительственной комиссии я регулярно присутствую на большом числе мероприятий по открытости данных и открытости вообще.

Не могу похвастаться что там бывает много интересного, чаще всего это много разговоров на языке далеком от простого человека, однако такая работа по «лоббированию открытости» тоже нужна.

И вот сегодняшний день был буквально заполнен такими мероприятиями. Мне довелось побывать утром на Общественном совете при Росстате на заседание которого меня позвали сотрудники Росстата. А вечером на Совете по открытым данным.

Про Совет я ещё напишу отдельно, а вот про Росстат прямо сейчас.

Как всегда есть две новости — хорошая и плохая.

Итак, хорошая новость.

В Росстате лучше всех понимают что такое открытые данные и данные вообще они тоже очень хорошо понимают. Они сразу поняли что такое Semantic Web, SPARQL, Linked Data и другие термины пугающие остальных чиновников. Они очень хорошо понимают что надо сделать чтобы данные преобразовать в машиночитаемые и довести до связанных данных.

В плане понимания — они безусловные лидеры. Вот просто они первые кто понимает так хорошо, на удивление.

Но есть и плохая новость.

Когда мы говорим про открытые данные которые государственные органы должны раскрывать, мы, чаще всего, сталкиваемся с тем что данных в нужной нам форме нет. Или, по крайней мере, так утверждают те кто должен вести базы данных и реестры создаваемые государством.

И действительно, есть данные которых, скорее всего, просто не существует, например данее по границам участков почтовых отделений. В мире, например в переписи открытых данных Open Knowledge Foundation это один из важных наборов данных, но полноценно отсутствующий в России.

Но есть и другая сторона этой медали. Есть уже созданные государственные порталы и проекты в которых собраны большие базы данных недоступные в машиночитаемом виде для граждан. И это именно тот случай когда чиновники не могут сказать что данных нет, вопрос лишь в качестве данных и их доступности в удобном виде.

Далее я буду писать только о тех порталах и проектах что созданы и поддерживаются на государственные деньги. И тех которые содержат немало полезной информации.

ОБД Мемориал

Ссылка: http://obd-memorial.ru


С сайта мы можем узнать что:
На сегодняшний день в ОБД введено 13,7 млн. цифровых копий документов о безвозвратных потерях периода Великой Отечественной войны из 38 тыс. архивных дел ЦА МО РФ, ЦВМА, РГВА, ГА РФ, региональных архивов Росархива и 42,2 тыс. паспортов воинских захоронений существующих мест воинских захоронений в Российской Федерации и за ее пределами.

Дополнительно в ОБД загружено более 1000 томов Книги Памяти.

Всего в ОБД около 29 млн. записей из архивных документов (не путать с общим числом боевых потерь — 8,67 млн. чел.) и около 10 млн. записей из Книги Памяти.

Иначе говоря за государственный счет была проведена маштабнейшая работа по оцифровке данных и переводе их в базу данных онлайн, но при этом не предоставлено ни одного интерфейса для работы с данными — ни дампов базы, ни API с REST+JSON, ничего другого что позволило бы вести аналитическую работу над данными.

Зачем это нужно? То что не сделало государство — могут сделать желающие волонтеры и разработчики проведя геокодирование данных, создавая мобильные приложения и региональные проекты посвященные Великой отечественной войне.

Гитхаб уже много лет как является одним из лидирующих сервисов и сообществ разработчиков работающих с открытым кодом. Не секрет что в последние годы Гитхабом пользуется всё большее число представителей органов власти и гражданских хакеров (civil hackers).

В качестве последней инициативы — на Гитхабе появился специальный проект «Гитхаб для государства» (Github for Government) где были собраны аккаунты многочисленных государственных ведомств с разбивкой по странам.

На сегодняшний день десятки государственных разработчиков и чиновников используют Гитхаб в своей основной работе. Многие проекты разрабатываются полностью открыто с публичными багтрекерами, разработчиками отвечающими на вопросы и публичную экспертизу.

Вы наверняка знаете что сейчас идет, заканчивается и начинается много соревнований по открытым данным и многие проводят хакатоны.

Например, Хакатон Яндекса пройдет завтра-послезавтра и еще не поздно зарегистрироваться, наши друзья в Санкт-Петербурге проводят свой Хакатон 5-6 октября.

Хакатоны — это прекрасный формат чтобы познакомиться с темой, попробовать себя и сделать что-то простое и интересное. На хакатоне, однако, редко получается сделать сложный продукт и даже найти возможность монетизации. Если Вы делаете что-то большое или хотите сделать — мы продляем наш конкурс Apps4Russia до 1 октября и очень ждем ваши заявки.

Идеи

Тем временем, чтобы чуть облегчить поиск идей и, возможно получится, побудить подумать над собственными идеями на открытых данных — я подготовил небольшую подборку собранного нами.

1. Игры и депутаты

   
   Игра Hot or Not по депутатам. Берем список депутатов из API — api.duma.gov.ru — фото с duma.gov.ru и запускаем крутилку со сравнениями. Прогоняем по сотням посетителей сайта и получаем интереснейшую статистику.
   Идеально — виджет для внедрения в сайты СМИ.
   
   

2. Мониторинг качества воды

   
   Взять данные по качеству воды в Москве по районам и сделать приложение для мобильного телефона показывающие качество воды в районе. Данные уже готовы и находятся здесь — http://hubofdata.ru/dataset/moswaterquality-2013
   
   

14 — 15 сентября в Москве пройдёт первый Хакатон Яндекса, участники которого будут два дня и две ночи создавать проекты на основе открытых государственных данных с помощью технологий Яндекса.

Я уже много лет занимаюсь тем, чтобы у российских разработчиков рос интерес к работе с открытыми данными. Именно для этого создан конкурс Apps4Russia, организованный некоммерческим партнерством «Информационная культура». В этом году в нем появилась номинация для тех, кто создает приложения на отрытых данных и технологиях Яндекса. Эти события подтолкнули систематизированно рассказать здесь об истории открытых данных, их источниках, примерах использования и многих других важных вещах.



Это график из ЖЖ eugenyboger. То, что сейчас мы можем узнать подробные результаты выборов по каждому участку, — это норма, а еще совсем недавно это было не так даже в очень развитых странах.

Коллеги,
на днях представители Минэкономразвития разместили проект технических требований на общероссийский портал открытых данных.

И собирают замечания и комментарии к данному документу.
С документом можно ознакомиться вот здесь — docs.google.com/document/d/1_V7zqj_UmSc-OpDuSbfEtzSiuVAIkzr7QfLCWINdZrI/edit
и там же оставить свои комментарии.

Я же сделаю акцент на нескольких слабых моментах:

1. Опытная эксплуатация должна проводиться в течение 2 дней.
…
Сведения должны быть зафиксированы в журнале с указанием даты и ответственного лица. В ходе проведения опытной эксплуатации Исполнителем должны быть извещены все категории пользователей системы о возможности использования новых функциональных модулей системы и обеспечена возможность фиксирования возможных недостатков и замечаний функционирования при помощи инструмента «обратной связи». Опытная эксплуатация должна проводиться в течение 2 дней.
…
Фактически это означает что никакой опытной эксплуатации не будет. 2 дня — это что-то другое.

2. Работы за 14 календарных дней

Вчера Владимир Путин подписал его о чем можно узнать на сайте Кремля тут президент.рф/документы/18302

Главным плюсом принятого закона является то что теперь публикация данных в формате открытых данных является обязательной.

Главным минусом — терминологическая слабость и то что определение открытых данных в законе расходится общепринятым.

У закона была непростая судьба которую можно проследить здесь http://asozd2.duma.gov.ru/main.nsf/(Spravka)?OpenAgent&RN=181992-6

Причем изменения в терминологии появились между первым и вторым чтением закона.

Вот определение из начальной редакции:

размещение государственными органами информации о своей деятельности в сети «Интернет» в форме открытых данных — форма размещения государственными органами информации о своей деятельности в сети «Интернет», при которой указанная информация размещается в сети «Интернет» в виде массивов данных, организованных в формате, обеспечивающем их автоматическую обработку в целях повторного использования без предварительного изменения человеком (машиночитаемый формат), и на условиях ее свободного (бесплатного) использования.»;

И что получилось в итоге:

4. Информация, размещаемая ее обладателями в сети «Интернет» в формате, допускающем автоматизированную обработку без предварительных изменений человеком в целях повторного ее использования, является общедоступной информацией, размещаемой в форме открытых данных.»;

Друзья, мы наконец-то анонсировали конкурс для разработчиков Apps4Russia который мы проводим вот уже 3-й год и в этом году мы пришли к тому чтобы он был куда больше, лучше ещё полезнее для граждан и для разработчиков и для всех кто интересуется открытыми данными. Поскольку я не хочу говорить языком пресс-релизов — расскажу про конкурс как есть.

Что такое Apps4Russia?

Конкурс пропагандирует стандарты работы с open data, способствует созданию и становлению общественных, управленческих и бизнес проектов. Конкурс Apps4Russia проводится ежегодно с 2011 года и уже стал платформой для обмена ценными идеями и содержательного общения между талантливыми российскими разработчиками, ведущими экспертами в области WEB-разработок и инвесторами.

Конкурс Apps4Russia основан на открытых данных раскрываемых органами власти. Вы можете взять любую базу данных или несколько из них, придумать интересную идею, как их показать или использовать, и таким образом создать интересный продукт для общества.

Номинации конкурса:

• Удобный город — инициативы и проекты, направленные на улучшение условий жизни людей в городе, повышение комфорта и пригодности среды для обитания,
• Безопасная страна — проекты, направленные на благо общества, и использующие разносторонний подход в решении вопросов обеспечения безопасности граждан и защиты их прав и свобод,
• Государство в кармане — инициативы и проекты, нацеленные на разработку мобильных приложений, для облегчения доступа граждан к важной и полезной информации о деятельности государства в привычном формате.

Я думал стоит ли писать этот пост или нет, потом решил что всё таки стоит —

Еще до того как я занялся плотно открытыми данными, я довольно много лет занимался и занимаюсь сейчас различными задачами по классификации, анализу текстов, полуструктурированных данных, очистке и обогащению данных.

Например, довольно давно еще я сделал алгоритм автоматического разбора ФИО в любом написании, определения пола и, возможно, этноса. Это не самая сложная задача, я привожу её не как нечто выдающееся, а как нечто рутинное и типовое. Однако решение этой, довольно типовой задачи, Вопрос в том как решать это нечто типовое.

И вот тут то и пригодились открытые данные.

Однако начну с начала.

Вчера вечером, 11 апреля, завершилось заседание совета по открытым данным.

Оно шло весьма насыщенно и активно. Я о многом подробно рассказал вот тут, но, конечно, там не все.

У меня из-за долгого накопленного опыта бодания с различными ведомствами накопилось немало неконструктивного в адрес ряда из них, но неконструктивное делу открытых данных не помогает.

Так что не только ругаем, но и в чем-то хвалим, а если ругаем то с предложениями как и что исправить.

Вначале о самом главном:

1. Открытые данные стали состоявшимся трендом.

Что бы дальше не происходило — ими будут заниматься, их будут раскрывать, регионы будут поднимать их на флагшток, а федеральные ведомства бодаться за возможности, полномочия и то кто и что лучше понимает по этой теме. Это очень важно — когда в какой-то теме появляется конкуренция — значит она живая.

Давайте ка я порассуждаю вслух.

Настоящее Открытое Правительство

Я считаю что самое настоящее Открытое Правительство буквальном значении — это API к сайту government.ru. Сделать его несложно, важно, нужно и можно. Но никто не сделал до сих пор. Идеально — если это сделает аппарат пр-ва, неидеально — это мы сами парсим его и делаем API. Я знаю как сделать второе и вообще-то мне ничто не мешает это сделать. И даже больше я — это сделаю, желательно, причем не своими руками — на все просто рук не хватит. Нужен квалифицированный разработчик желающий это сделать — бесплатно или за деньги.

Задача разбивается на 4 шага:
1. Провести анализ данных на сайте — набросать модели данных и архитектуру решения.
2. Распарсить данные на сайте согласно моделям и настроить регулярное обновление данных. Данные загрузить в NoSQL базу типа MongoDB или CouchDB
3. Сделать API веб-сервиса по предоставлению данных в JSON (возможно и в XML)
4. Сделать описание API.

Что дальше?

А дальше используем этот бесценный ресурс как тренировочного зверька для разработчиков мобильных и любых иных приложений.

Друзья!

Как многие, наверняка, помнят мы каждый год проводим конкурс Apps4Russia с призами, партнерами и классными приложениями которые делают люди на открытых данных и не только — в этому году мы тоже, обязательно его проведем, анонс широкий и большой будет уже вот-вот как скоро. Но я не буду забегать вперед — все будет.

Однако, кроме нашего большого проекта конкурса, мы занимаемся и другими интересными и большими проектами одним из которых является проект «Открытая Полиция» (http://www.openpolice.ru)

И, в рамках этого проекта, мы проводим еще один конкурс — тем кому не терпится сразу идите по ссылке — www.openpolice.ru/contest . Небольшой по времени — всего 2 месяца, отличный по содержанию — у нас очень много открытых данных собрано тут — data.openpolice.ru и доступно через API — api.openpolice.ru

Для всех кто работает с открытыми данными, делает свои проекты для себя, людей, для участия в конкурсах всегда бывает бывает полезен исходный код примеров того как данные собирались и что с ними делалось.

Я предлагаю составить список открытых репозиториев кода нацеленного именно на решение задач по работе с открытыми данными и примеры проектов которые на них основаны.

Вот список репозиториев зарубежных инициатив которые мне известны:
— огромное количество проектов Open Knowledge Foundation — CKAN, расширения к нему, утилиты по преобразованию данных
— репозитории исходного кода Sunlight Labs — очень много примеров того как распарсены многие американские сайты и базы данных, а также библиотеки по работе с данными разного вида
— репозитории OpenGovernment.org — много примеров проектов на Ruby
— репозитории департамента ИТ Оксфорда — их проекты по открытым данным такие как DataVerse;
— открытый код Белого Дома (США) — проекты по петициям, стандартам API и всяким штукам для Drupal
— репозиторий AlphaGov (UK) — материалы проекта www.gov.uk много кода самого проекта и подпроектов

Мы в Информационной Культуре работаем с открытыми данными постоянно и часть того кода что мы производим вполне может быть полезна и другим. Да что уж там, точно будет полезна.

Поэтому мы выложили много материалов в виде публичных репозиториев в которых каждый может найти что-то для себя и свободно использовать.

Многие из Вас знают что в России, власть активно занялась открытыми данными и, кроме уже опубликованных массивов, вроде открытых баз с сайтов zakupki.gov.ru, bus.gov.ru и системы ФИАС (fias.nalog.ru) и сейчас активно идет работа над тем чтобы открытых данных стало бы на порядок больше.

Для тех кто все же не слышал об этом явлении, небольшой экскурс.

Что такое открытые данные?
Открытые данные — это машиночитаемые данные доступные для широкого круга лиц (общественности), пригодные к повторному автоматическому использованию и не имеющие лицензионных, технологических, правовых и иных ограничений на их использование.

В большинстве развитых странах мира открытые данные и, в частности, открытые государственные данные — это часть государственной политики национальных правительств. Правительства публикуют данные онлайн на специальных порталах, например, это такие порталы как data.gov.uk в Великобритании или data.gov.au Австралии и data.govt.nz в Новой Зеландии. Такие порталы есть более чем в 60 странах и общее их число более 150.

Наличие данных позволяет:

— общественным организациям — осуществлять контроль за деятельностью органов власти

— бизнесу — создавать новые и развивать существующие информационные продукты

— программистам — иметь возможность («топливо для идей») в создании новых программ

— гражданам — иметь возможность использовать созданные программы для повышения личного комфорта

— государственным и муниципальным органам власти — привлекать граждан и бизнес к созданию новых продуктов позволяющих экономить государственные средства

Фактически, Открытые данные — это возможность для разработчиков менять и улучшать государство, рассматривать его как платформу для создания собственных сервисов.

Возможно многие помнят что в 2011 году прошел первый конкурс для разработчиков проектов на открытых данных Apps4Russia и вот мы решили повторить его в этом году.

Что такое Apps4Russia?

Apps4Russia – это конкурс для разработчиков приложений и веб-сайтов по созданию проектов основанных на открытых государственных данных и использованию их для общественной пользы и большей прозрачности государства.

Как принять участие?
1. В Вашем проекте должны использоваться открытые данные, создавать данные из неструктурированных источников информации или же должны обеспечивать сбор информации от граждан на решение социальных проблем.

2. Проекты могут быть в виде настольных приложений, веб приложений, приложения использующие платформу Abobe AIR, приложения на Java, приложения для мобильных устройств и вообще любая платформа которая Вам нравится. Для номинации для дизайнеров — это может быть инфографика на Flash, HTML5 или иных продуктах визуализации.

3. Доступный исходный код под лицензиями MIT, New BSD, GPL или аналогичными всячески приветствуется и будет значимым плюсом при оценке Вашего проекта.

4. Ваш проект не должен быть ассоциирован ни с какой политической партией или движением или быть против какой-либо партии или движения. Мы готовы принять проекты посвященные контролю решений политиков, но не политические проекты.

5. Необходимо заполнить форму заявки по адресу — http://www.apps4russia.ru/submit/. Вскоре после анонса конкурса мы начнем публиковать заявки на сайте.

21-22 апреля 2012 года пройдет международный конкурс приложений о космосе и для космоса — International Space Apps Challenge, spaceappschallenge.org конкурс пройдет в формате Хакатона на 2 дня когда участники по всему миру будут решать предложенные им задачи.

Главный организатор и спонсор конкурса — NASA, конкурс проводится в рамках добровольно взятых обязательств США по Open Government Partnership.



Конкурс в довольно популярном именно в США формате — вначале собрать все пожелания и потом объединить команды для их решения.

Во вторник 28 июня 2011 года в 17:00 в городе Москве в клубе Пир О.Г.И. на Сретенке по адресу: улица Сретенка д.26/1 (http://maps.yandex.ru/-/CBQLMOl.) пройдёт анонс конкурса Apps4Russia.

Apps4Russia (www.apps4russia.ru) – это конкурс по созданию проектов на базе открытых данных и данных собираемых от граждан, так называемый краудсорсинг. Проектов создаваемых для общественной пользы, решения различных проблем, обеспечения большей прозрачности государства и организации граждан для решения проблем “всем миром”.

Основа конкурса, открытые данные, является одной из наиболее актуальных и востребованных обществом тем в области открытости государства. Открытые данные раскрываются различными государствами и международными организациями по всему миру. Специальные порталы по открытым данным создаются правительствами США (http://www.data.gov)., Сингапура (http://data.gov.sg/), Великобритании (http://data.gov.uk), Европейского союза (http://publicdata.eu/) и других стран. Порталы по открытым данным есть у ООН и Всемирного банка.

Несколько раз я уже поднимал эту тему — о том как именно создаются и финансируются различные гражданские и общественные проекты, на сей раз я эту тему разберу подробнее и опишу с примерами то как это происходит в мире и в России.

Как создаются такие проекты и на какие деньги?

Два эти вопроса столь тесно переплетены, что связаны неразрывно. От того как именно проекты создаются, кто является их инициатором сильно зависит то откуда они получают финансирование, если оно вообще оказывается необходимым. Проекты бывают очень разными. Простым и сложными. Созданными одним человеком и сотней волонтеров. Основанные на краудсорсинге и краудфандинге. Конечно, на открытых данных и не только. Однако все они поддаются четкой категоризации.

Проекты можно разделить на следующие группы:

— проекты на гранты некоммерческих организаций (в пределах страны);

— проекты созданные на гранты международных организаций;

— проекты созданные по государственному заказу;

— проекты созданные существующими некоммерческими организациями для поддержки своей деятельности;

— коммерческие проекты;

— персональные «проекты-порывы» от инициативных граждан;

— краудфандинг

— медийные проекты созданные СМИ

А также по каждому из подходов расскажу подробнее.

Некоммерческая организация ГОЛОС занимающаяся мониторингом выборов в России буквально вот только что открыла сайт электоральной статистики в нашей стране — stat.golos.org

Всего в их базе 36 834 записи о выборах на всех уровнях власти — от федерального до местного самоуправления, по всем регионам и начиная с 2003 года.

Огромный объем работы наконец-то доступный онлайн. Данные по весьма чувствительной теме под названием «выборы». Причем данные официальные, наконец-то, извлеченные из сайта Центризбиркома и представленные в форме пригодной для повторного использования как открытые данные.

И у каждого из выборов есть ссылка на CSV файл с описанием. Который можно выгрузить, загрузить в Excel, загрузить в любимую базу данных, построить инфографику, сделать свой региональный проект, сделать проект по собственному муниципалитету и многое другое.

Скриншот главной страницы:

Как Вы знаете в Японии на АЭС Фукусима продолжается авария вызвавшая утечку радиации которая сейчас ликвидируется. Однако кроме сообщений новостных агентств, TEPCO и японских госструктур, граждане самоорганизуются и мониторят радиоактивную обстановку, а также извлекают официальные данные радиационного наблюдения и превращают их в наглядные проекты.

Далее я рассмотрю несколько проектов активных прямо сейчас.

1. Pachube

Дословно с их сайта:
Store, share & discover realtime sensor, energy and environment data from objects, devices & buildings around the world. Pachube is a convenient, secure & scalable platform that helps you connect to & build the 'internet of things'.
Фактически — это система различных сенсоров подключенных в Интернет и периодически публикующих различные показатели такие как: уровень радиации, потребление электричества и газа и многих других устройств. Это весьма мощный проект, с большим каталогом приложений, активно развивающийся и, в принципе, производящий впечатление.

Выбрав раздел радиационных сенсоров — http://www.pachube.com/map/tags/sensor:type=radiation можно получить полный их список и, в частности, увидеть сенсоры в Японии вокруг реактора Фукусима.

Ссылка — www.pachube.com

Скриншот главной страницы: