Открытые данные *

14 — 15 сентября в Москве пройдёт первый Хакатон Яндекса, участники которого будут два дня и две ночи создавать проекты на основе открытых государственных данных с помощью технологий Яндекса.

Я уже много лет занимаюсь тем, чтобы у российских разработчиков рос интерес к работе с открытыми данными. Именно для этого создан конкурс Apps4Russia, организованный некоммерческим партнерством «Информационная культура». В этом году в нем появилась номинация для тех, кто создает приложения на отрытых данных и технологиях Яндекса. Эти события подтолкнули систематизированно рассказать здесь об истории открытых данных, их источниках, примерах использования и многих других важных вещах.



Это график из ЖЖ eugenyboger. То, что сейчас мы можем узнать подробные результаты выборов по каждому участку, — это норма, а еще совсем недавно это было не так даже в очень развитых странах.

Какое-то время назад я столкнулся в социальной сети с подобной голосовалкой. Суть ее была в том, что люди, заранее не видя распределения процентов, выбирали тот или иной пункт, но в результате каким-то магическим образом распределение голосов было равно указанному.

С тех пор меня интересует вопрос — была ли это просто накрутка голосов или же тут работает какая-то психология?

В общем, вот вам голосовалка. Голосуйте за любой пункт и смотрите результаты.

PS: Вопрос, ответы и их порядок я скопировал с оригинала.

PPS: Пожалуйста, не публикуйте результаты голосования на видном месте в комментариях. И не смотрите на опубликованные, чтобы эта информация не повлияла на ваш выбор.

Коллеги,
на днях представители Минэкономразвития разместили проект технических требований на общероссийский портал открытых данных.

И собирают замечания и комментарии к данному документу.
С документом можно ознакомиться вот здесь — docs.google.com/document/d/1_V7zqj_UmSc-OpDuSbfEtzSiuVAIkzr7QfLCWINdZrI/edit
и там же оставить свои комментарии.

Я же сделаю акцент на нескольких слабых моментах:

1. Опытная эксплуатация должна проводиться в течение 2 дней.
…
Сведения должны быть зафиксированы в журнале с указанием даты и ответственного лица. В ходе проведения опытной эксплуатации Исполнителем должны быть извещены все категории пользователей системы о возможности использования новых функциональных модулей системы и обеспечена возможность фиксирования возможных недостатков и замечаний функционирования при помощи инструмента «обратной связи». Опытная эксплуатация должна проводиться в течение 2 дней.
…
Фактически это означает что никакой опытной эксплуатации не будет. 2 дня — это что-то другое.

2. Работы за 14 календарных дней

Сегодня, в 13.00 в здании Дома Правительства начнется заседание экспертной рабочей группы федерального уровня, посвященное рассмотрению первой петиции, набравшей необходимые 100 тысяч подписей на портале “РОИ”:

“Запрет чиновникам и сотрудникам компаний с государственным (муниципальным) участием приобретать легковые автомобили стоимостью свыше 1.5 миллионов рублей.”



Данная петиция была подана Алексеем Навальным, недавним кандидатом на пост мэра г.Москвы и еще 10 июля собрала необходимое количество голосов. Но рассмотрена будет в последний день, когда эксперты по регламенту обязаны будут дать решение по сути инициативы. Ведь, в соответствии с Указом Президента РФ от 4 марта 2013 г. N 183 «О рассмотрении общественных инициатив, направленных гражданами Российской Федерации с использованием интернет-ресурса „Российская общественная инициатива“, рабочая группа должна подготовить экспертное заключение в срок, не превышающий 2 месяца со дня окончания сбора подписей.

Таким образом именно сегодня решится судьба первой петиции, прошедшей все необходимые процедуры и регламенты.
Во многом от результата обсуждения и итогового решения экспертов будет зависеть восприятие обществом как самого портала РОИ, так и института общественных инициатив в нашей стране.
Насколько важным и актуальным для государства окажется мнение интернет-общественности, которое высказалось и набрало необходимое число голосов на представленным самим государством площадке?

Я думаю, что на многих сайтах пользователя спросят его физический адрес. Для доставки ли, для отсылки бумажного спама уведомлений ли. И, в общем-то — это мелочь. Вбил индекс, Москва, область, район, село, улица, дом, квартира. Казалось бы, что тут упрощать, каждый вроде помнит свой адрес, трудно ли его вбить? Но дьявол, как всегда, кроется в мелочах: пользователь опечатывается в адресе, посылка уходит не туда, лучи «добра» идут вам в обратную связь и вообще жизнь плохеет.

Приглядитесь к первой части адреса — индексу. В этом наборе из шести цифр уже есть область, район и город/село. Их можно подставить автоматом. Этим мы убъём сразу двух зайцев:

• Убережём пользователя от ошибок (при вводе неверного индекса он сразу заметит, что город-то не его), что, в случае доставки письма (а то и посылки), может здорово её ускорить (пока её по неверному индексу зашлют, да пока разберутся, что не туда заслали, да отправят туда — пользователь вам всю плешь проест)
• пользователю будет приятно, что о нём заботятся :-)

Дело за малым: нам нужна база почтовых индексов.

И она есть! Всамделишняя, электронная и, главное, официальная база индексов от Почты России.

Один из лучших технологических вузов мира опубликовал большинство своих обучающих курсов, лекций и семинаров в интернете на отдельном ресурсе.

Есть аудио и видео-курсы, поиск по каталогу, по номеру курса, по наименованию дисциплины, все предметы и степень сложности разделены в отдельные рубрики.

РИА Новости запустило бета-версию портала открытых данных, которые содержатся в информационных системах агентства.



Открытые данные были выложены на портал opendata.ria.ru. Они структурированы, машиночитаемы и связаны с другими открытыми базами данных. На настоящий момент на портале представлена информация о крупных компаниях, международных организациях, главах государств и бизнесменах, политических партиях, спортивных командах, самых обсуждаемых событиях и продуктах на рынке.

Приглашаем Android-разработчиков к участию в конкурсе городских мобильных приложений на базе Единой мобильной платформы (ЕМП) г. Москвы.

Конкурс на лучшее приложение, решающее городские задачи и делающее будни жителей мегаполиса проще и приятнее, проводится с 17 июля по 20 сентября 2013 года совместно с Департаментом информационных технологий города Москвы.

Тема открытого правительства и открытых данных все больше набирает обороты и приобретает популярность среди многих стран мира, их правительств и организаций. К тому же совсем недавно в России был принят закон об открытых данных, что указывает на растущий интерес к этой теме. В Украине тоже правительство движется в сторону публикации открытых данных. Собственно, раз это популярно, то можно на этом заработать или же принять участие в модном движении. К тому же ежегодно проводятся конкурсы, фестивали и хакатоны по созданию сайтов и приложений для публикации открытых данных.

Открытые данные — это способ представления общедоступной информации в машиночитаемой форме. В виде, в котором разработчики могут загрузить их в базы данных, проанализировать и представить в куда более наглядной и понятной форме чем то, как это делается в государственных системах.

Я бы хотел поделиться личным опытом «создания» (установки) сайта для публикации открытых данных. Я использовал платформу с открытым исходным кодом CKAN. Идти ли подобным путем, использовать другую платформу или написать свой сайт с нуля — Вам решать. Надеюсь, моя статья поможет Вам сделать верный выбор.

CKAN — это система управления данными, которая делает их доступными за счет инструментов, упрощающих их публикацию, распространение, поиск и использование. Более 50 стран, организаций и городов выбрали данную платформу для публикации своих данных. Среди них Великобритания, США, Чехия, Австралия, Бразилия и прочие. Вообщем, список внушительный. Сама платформа написана на python. Здесь подробная статья на английском. Здесь подробная статья на русском.

Вчера Владимир Путин подписал его о чем можно узнать на сайте Кремля тут президент.рф/документы/18302

Главным плюсом принятого закона является то что теперь публикация данных в формате открытых данных является обязательной.

Главным минусом — терминологическая слабость и то что определение открытых данных в законе расходится общепринятым.

У закона была непростая судьба которую можно проследить здесь http://asozd2.duma.gov.ru/main.nsf/(Spravka)?OpenAgent&RN=181992-6

Причем изменения в терминологии появились между первым и вторым чтением закона.

Вот определение из начальной редакции:

размещение государственными органами информации о своей деятельности в сети «Интернет» в форме открытых данных — форма размещения государственными органами информации о своей деятельности в сети «Интернет», при которой указанная информация размещается в сети «Интернет» в виде массивов данных, организованных в формате, обеспечивающем их автоматическую обработку в целях повторного использования без предварительного изменения человеком (машиночитаемый формат), и на условиях ее свободного (бесплатного) использования.»;

И что получилось в итоге:

4. Информация, размещаемая ее обладателями в сети «Интернет» в формате, допускающем автоматизированную обработку без предварительных изменений человеком в целях повторного ее использования, является общедоступной информацией, размещаемой в форме открытых данных.»;

Для одного общественного проекта (визуализация бюджетов поселений и районов) мне потребовались данные об иерархии муниципальных образований и их численности.
Нужные данные я нашел, но форма их представления для корректного использования оставляла желать лучшего.
Все необходимые данные были в одном файле, однако, его форматирование затрудняло извлечение иерархии.

Друзья, мы наконец-то анонсировали конкурс для разработчиков Apps4Russia который мы проводим вот уже 3-й год и в этом году мы пришли к тому чтобы он был куда больше, лучше ещё полезнее для граждан и для разработчиков и для всех кто интересуется открытыми данными. Поскольку я не хочу говорить языком пресс-релизов — расскажу про конкурс как есть.

Что такое Apps4Russia?

Конкурс пропагандирует стандарты работы с open data, способствует созданию и становлению общественных, управленческих и бизнес проектов. Конкурс Apps4Russia проводится ежегодно с 2011 года и уже стал платформой для обмена ценными идеями и содержательного общения между талантливыми российскими разработчиками, ведущими экспертами в области WEB-разработок и инвесторами.

Конкурс Apps4Russia основан на открытых данных раскрываемых органами власти. Вы можете взять любую базу данных или несколько из них, придумать интересную идею, как их показать или использовать, и таким образом создать интересный продукт для общества.

Номинации конкурса:

• Удобный город — инициативы и проекты, направленные на улучшение условий жизни людей в городе, повышение комфорта и пригодности среды для обитания,
• Безопасная страна — проекты, направленные на благо общества, и использующие разносторонний подход в решении вопросов обеспечения безопасности граждан и защиты их прав и свобод,
• Государство в кармане — инициативы и проекты, нацеленные на разработку мобильных приложений, для облегчения доступа граждан к важной и полезной информации о деятельности государства в привычном формате.

Я думал стоит ли писать этот пост или нет, потом решил что всё таки стоит —

Еще до того как я занялся плотно открытыми данными, я довольно много лет занимался и занимаюсь сейчас различными задачами по классификации, анализу текстов, полуструктурированных данных, очистке и обогащению данных.

Например, довольно давно еще я сделал алгоритм автоматического разбора ФИО в любом написании, определения пола и, возможно, этноса. Это не самая сложная задача, я привожу её не как нечто выдающееся, а как нечто рутинное и типовое. Однако решение этой, довольно типовой задачи, Вопрос в том как решать это нечто типовое.

И вот тут то и пригодились открытые данные.

Однако начну с начала.

Вчера вечером, 11 апреля, завершилось заседание совета по открытым данным.

Оно шло весьма насыщенно и активно. Я о многом подробно рассказал вот тут, но, конечно, там не все.

У меня из-за долгого накопленного опыта бодания с различными ведомствами накопилось немало неконструктивного в адрес ряда из них, но неконструктивное делу открытых данных не помогает.

Так что не только ругаем, но и в чем-то хвалим, а если ругаем то с предложениями как и что исправить.

Вначале о самом главном:

1. Открытые данные стали состоявшимся трендом.

Что бы дальше не происходило — ими будут заниматься, их будут раскрывать, регионы будут поднимать их на флагшток, а федеральные ведомства бодаться за возможности, полномочия и то кто и что лучше понимает по этой теме. Это очень важно — когда в какой-то теме появляется конкуренция — значит она живая.

Давайте ка я порассуждаю вслух.

Настоящее Открытое Правительство

Я считаю что самое настоящее Открытое Правительство буквальном значении — это API к сайту government.ru. Сделать его несложно, важно, нужно и можно. Но никто не сделал до сих пор. Идеально — если это сделает аппарат пр-ва, неидеально — это мы сами парсим его и делаем API. Я знаю как сделать второе и вообще-то мне ничто не мешает это сделать. И даже больше я — это сделаю, желательно, причем не своими руками — на все просто рук не хватит. Нужен квалифицированный разработчик желающий это сделать — бесплатно или за деньги.

Задача разбивается на 4 шага:
1. Провести анализ данных на сайте — набросать модели данных и архитектуру решения.
2. Распарсить данные на сайте согласно моделям и настроить регулярное обновление данных. Данные загрузить в NoSQL базу типа MongoDB или CouchDB
3. Сделать API веб-сервиса по предоставлению данных в JSON (возможно и в XML)
4. Сделать описание API.

Что дальше?

А дальше используем этот бесценный ресурс как тренировочного зверька для разработчиков мобильных и любых иных приложений.

Друзья!

Как многие, наверняка, помнят мы каждый год проводим конкурс Apps4Russia с призами, партнерами и классными приложениями которые делают люди на открытых данных и не только — в этому году мы тоже, обязательно его проведем, анонс широкий и большой будет уже вот-вот как скоро. Но я не буду забегать вперед — все будет.

Однако, кроме нашего большого проекта конкурса, мы занимаемся и другими интересными и большими проектами одним из которых является проект «Открытая Полиция» (http://www.openpolice.ru)

И, в рамках этого проекта, мы проводим еще один конкурс — тем кому не терпится сразу идите по ссылке — www.openpolice.ru/contest . Небольшой по времени — всего 2 месяца, отличный по содержанию — у нас очень много открытых данных собрано тут — data.openpolice.ru и доступно через API — api.openpolice.ru

Для всех кто работает с открытыми данными, делает свои проекты для себя, людей, для участия в конкурсах всегда бывает бывает полезен исходный код примеров того как данные собирались и что с ними делалось.

Я предлагаю составить список открытых репозиториев кода нацеленного именно на решение задач по работе с открытыми данными и примеры проектов которые на них основаны.

Вот список репозиториев зарубежных инициатив которые мне известны:
— огромное количество проектов Open Knowledge Foundation — CKAN, расширения к нему, утилиты по преобразованию данных
— репозитории исходного кода Sunlight Labs — очень много примеров того как распарсены многие американские сайты и базы данных, а также библиотеки по работе с данными разного вида
— репозитории OpenGovernment.org — много примеров проектов на Ruby
— репозитории департамента ИТ Оксфорда — их проекты по открытым данным такие как DataVerse;
— открытый код Белого Дома (США) — проекты по петициям, стандартам API и всяким штукам для Drupal
— репозиторий AlphaGov (UK) — материалы проекта www.gov.uk много кода самого проекта и подпроектов

Мы в Информационной Культуре работаем с открытыми данными постоянно и часть того кода что мы производим вполне может быть полезна и другим. Да что уж там, точно будет полезна.

Поэтому мы выложили много материалов в виде публичных репозиториев в которых каждый может найти что-то для себя и свободно использовать.

Для жителей Москвы на сайте www.data.mos.ru есть официальный список камер фото и видео регистрации ПДД. На вкладке «Для разработчиков» находится описание полей. Всю базу можно выгрузить в формате CVS.

www.data.mos.ru/datasets/621_reestr_statsionarnyh_obektov_nablyudeniya_kompleksy_fvf

На портале «Открытые данные» опубликована информация о 600 с лишним стационарных комплексах фото и видео фиксации нарушений ПДД, установленных на дорогах столицы. Данные доступны в виде таблицы, по которой автовладельцы смогут проверить свой обычный маршрут, а также доступны для выгрузки в формате CVS, который могут использовать разработчики для создания приложений, например, предупреждающих водителя о необходимости снизить скорость на определенном участке дороги (эдакие самописные радар-детекторы).

Московское правительство запустило портал открытых данных. На нем размещаются наборы данных в машиночитаемом виде (в формате CSV) для последующего использования и обработки всеми желающими.

Многие из Вас знают что в России, власть активно занялась открытыми данными и, кроме уже опубликованных массивов, вроде открытых баз с сайтов zakupki.gov.ru, bus.gov.ru и системы ФИАС (fias.nalog.ru) и сейчас активно идет работа над тем чтобы открытых данных стало бы на порядок больше.

Для тех кто все же не слышал об этом явлении, небольшой экскурс.

Что такое открытые данные?
Открытые данные — это машиночитаемые данные доступные для широкого круга лиц (общественности), пригодные к повторному автоматическому использованию и не имеющие лицензионных, технологических, правовых и иных ограничений на их использование.

В большинстве развитых странах мира открытые данные и, в частности, открытые государственные данные — это часть государственной политики национальных правительств. Правительства публикуют данные онлайн на специальных порталах, например, это такие порталы как data.gov.uk в Великобритании или data.gov.au Австралии и data.govt.nz в Новой Зеландии. Такие порталы есть более чем в 60 странах и общее их число более 150.

Наличие данных позволяет:

— общественным организациям — осуществлять контроль за деятельностью органов власти

— бизнесу — создавать новые и развивать существующие информационные продукты

— программистам — иметь возможность («топливо для идей») в создании новых программ

— гражданам — иметь возможность использовать созданные программы для повышения личного комфорта

— государственным и муниципальным органам власти — привлекать граждан и бизнес к созданию новых продуктов позволяющих экономить государственные средства

Фактически, Открытые данные — это возможность для разработчиков менять и улучшать государство, рассматривать его как платформу для создания собственных сервисов.