Зачем нам нужен понятный язык? Откуда вообще взялось это явление? Что такое «plain language» в мире и кто поддерживает это движение? На все эти вопросы я постараюсь ответить в этой заметке.

Предысторию вы можете прочитать в прошлой публикации на Хабре, где был рассказ про алгоритмы, используемые для оценки читабельности текстов. Эта заметка должна была быть в вводной к той, о технологиях.

Друзья, под закат уходящего 2014 года и начала 2015 есть отличная новость для всех кто любит работать с открытыми данными, участвовать в конкурсах для разработчиков.

А также, я уверен, что есть и те кто любит историю и исторические данные.

С 23 декабря Минфин России с нашей помощью Информационной культуры открывает конкурс приложений BudgetApps http://budgetapps.ru/contest на открытых данных которые Минфин России публиковал последние несколько лет.



Данные самые разные. Это данные о бюджетах, данные об аудиторских организациях, государственном долге, государственных резервах и многое другое.

Ну и, так оказалось, что меня зовут Иван Бегтин и я член жюри этого конкурса.

Все они есть по ссылке на сайте Минфина — http://minfin.ru/ru/opendata/
И много бюджетных данных есть на Едином портале бюджетной системы — http://budget.gov.ru/data/opendata там есть структура бюджета в CSV формате, сами данные, справочники и многое и многое другое. А также данные по всем официальным учреждениям вот тут http://bus.gov.ru/public/opendata.html. На этот ресурс обратите особое внимание. Там опубликованы индикаторы, бюджеты, уставы и многое другое по каждой государственной организации и муниципальном учреждении в России. Если Вы задумаете любой региональный проект, то эти данные будут просто бесценны.

Это не значит, что нельзя использовать какие-либо другие данные, безусловно можно и нужно, однако поскольку это конкурс Минфина России, то конечно ожидается что другие данные будут использоваться вместе с этими.

Я лично считаю, что не стоит ограничиваться только теми данными которые уже переведены в машиночитаемый вид. Есть также данные которые можно превратить в открытые данные самостоятельно.
Многие умеют писать парсеры, но для тех кто этого не делал раньше, хорошее подпорье может быть ScraperWiki (https://scraperwiki.com/) чтобы собрать информацию со страниц, а также разные библиотеки для разбора Excel файлов, извлечение таблиц из PDF документов — с помощью pdftables.com или сервисов Abbyy или их Abbyy Finereader.

На сайте и других ресурсах Минфина кроме данных есть множество другого интересного что можно превратить в данные. Начиная просто от новостей которые стали особенно актуальны в последние дни, продолжая всем остальным.

Исторические бюджеты

Так сложилось что в последние годы мне лично приходится всё больше и больше сталкиваться с различными государственными текстами, особенно законами и финансовыми документами вроде обоснований к бюджету, а также пытаться их переводить с нечеловеческого канцелярского языка в слова или визуальные схемы которые были бы понятны и мне и тем кому я потом рассказываю о том что это такое.



За всё это время у меня лично сложилось стойкое ощущение того что русский язык разделился на два его подвида — сухой канцелярский юридический официальный язык и «язык Интернета», с ново-образованными словами, жаргонизмами и значительной персонификацией. Вместе с постоянным чувством что «так дальше жизнь нельзя» всё это привело меня, вначале к поискам правильного названия того как это всё называется, а далее к тому что с этим могут делать люди умеющие программировать.

Немного истории

18 января 2011 года, Президент Обама выпустил новый указ, Executive Order, «E.O. 1356 — Improving Regulation and Regulatory Review» («Улучшение регулирования и рассмотрению вопросов регулирования»). В нем говорится, что "[наша система регулирования] должна обеспечить, чтобы правила были доступны, согласованы, написаны простым языком, и легко понимаемы.".

Написанное простым (понятным) языком — это отнюдь не расхожий термин и не оборот речи. Это сформулированные за десятилетия подход по переводу официальных текстов, документов, речей политиков, законов и всего что наполнено официальным смыслом, в форму понятную простым смертным.

Понятный язык — это четкое, краткое написание предназначенное для того чтобы читатель понимал текст, как можно быстрее и как можно полнее. В нем избегаются избыточная подробность, запутанность речи и жаргон.

Так неслучайно сложилось что вот уже 4-й раз, начиная с 2011 года, мы проводим конкурс приложений Apps4Russia.
Мы — это некоммерческое партнерство «Информационная культура» созданное как раз ради этого конкурса и занимающееся продвижением открытых данных, краудсорсинга и открытостью государства как такового.

Краткая история

В 2011 году, насмотревшись на то как в мире возникают один за другим соревнования для разработчиков такие как Code4America, Apps4Berlin, Apps4Finland и многие другие — меня посетила навязчивая мысль что конкурс был бы идеальным способов продвижения темы открытых данных которой я занимался тогда и занимаюсь по сей день. С группой неравнодушных коллег мы на собственные средства провели первое соревнование с одной номинацией, а со второго раза начали привлекать к соревнованию деньги спонсоров и выходить на всё большие масштабы.

И вот, последние 3 года мы проводили соревнование именно на открытых данных. Данных опубликованных государством, бизнесом, в виде больших общественных проектов и даже нами самими.

А в этом году, мы решили немного изменить “правила игры” и основной упор конкурса делается на понятные приложения — то есть на те приложения, которые помогут гражданам сделать их жизнь более прозрачной и понятной.

Почему понятность? Да потому что весь опыт работы с открытостью государства, данных и всего что с этим связано показывает что это бесполезно если люди не чувствуют в этом практической пользы. Но практической пользы не той которую пытаются создавать госорганы делая мобильные приложения или веб-проекты самостоятельно, а те которые разработчики могут сделать сами.

Номинации

Всего у нас 4 номинации.

Помимо конкурсов которые мы проводим на базе информации по контрактам — мы (Информационная культура) и я лично (Иван Бегтин) продолжаем убеждать российские министерства открывать новые данные полезные для разработчиков.

В частности, я знаю что Министерство Финансов России планирует делать дальнейшие шаги в обеспечении собственной открытости и мы хотим убедить коллег в Министерстве открыть самые интересные данные для разработчиков.

Знаю поскольку состою в совете по открытым данным и в общественном совете при Казначействе

Поэтому, по нашей собственной инициативе, мы проводим этот опрос чтобы понять что хотят разработчики от Министерства и от Федерального казначейства.

Просим Вас ответить на вопросы в кратком опросе в этом посте на ХабрХабр и в полном опросе по ссылке — https://www.surveymonkey.com/s/RF78FF3

Все ответы будут использованы нами в дальнейшей работе и я постараюсь донести их до тех кто отвечает за открытость в Казначействе и в Минфине.

Госзатраты (clearspending.ru) — это новый общественный и некоммерческий проект которым мы занимались последние полгода в виде базы всех государственных и муниципальных контрактов.

Мы взяли всю базу контрактов с zakupki.gov.ru и, после некоторого количества усилий, превратили в веб-сайт с удобным поиском, навигацией, некоторым количеством аналитики и, что особенно важно, с API.


И вот тут остановимся подробнее. API — это чуть ли не самая главная отличительная черта сайта от большинства подобных ему.

22 февраля во всём мире пройдет Open Data Day посвященный открытым данным и организованный Open Knowledge Foundation при поддержке многих межгосударственных и международных организаций таких как ООН и Всемирный банк.

Подробнее о том как он будет проходить можно прочитать на сайте http://opendataday.org/

Open Data Day — это совершенно некоммерческая нефинансируемая никем движуха, эдакий такой большой митап для пользы дела.

Вы можете помочь нам следующим образом:

• накидав идеи для разработчиков
• пригласив разработчиков что-нибудь славное на открытых данных поделать;
• предложить какие-нибудь свои данные интересные на которых можно вытворять что-то интересное;
• предложить выступление по тому что вы делаете по открытым данным;
• предложить какие-нибудь прикольные неденежные призы;

Формат будет простой:

Этим месяцем Германская цифровая библиотека (Deutsche Digitale Bibliothek – DDB) сделала многообещающий шаг в сторону дальнейшей открытости их данных предоставив API для пользователей. Это API предоставляет доступ ко всем метаданным DDB опубликованным под лицензией CC0, являющейся преобладающей в их материалах. Публикация этого API дает много возможностей для пользователей в создании приложений, комбинировании с другими данными или включению Германского цифрового наследия на другие платформы. В будущем, DDB также планирует провести соревнование по программированию для приложений на API также как и серию семинаров для разработчиков.



У API есть подробное описание, в том числе структуры данных и примеры на разных языках.

Открытые данные как явление существует давно, а вот вопросов по ним возникает большое множество и, для того чтобы снять хотя бы часть из них, мы организовали школу открытых данных которая проходит в форме лекций, семинаров и мастер-классов.

Это бесплатный просветительский проект в котором мы рассказываем об открытых данных всё что знаем и что может пригодиться другим.

При том что наша цель — это выйти на формат вебинаров, в первом шаге мы стали проводить мероприятия с записью их на видео и с открытой публикацией онлайн.

Лекции ведут российские и зарубежные преподаватели и практики и все они, по возможности, настолько приближены к практике насколько это возможно.

Сейчас у нас накопилось 7 таких занятий и нам очень важно получить обратную связь по тому что было рассказано и что хотелось бы услышать.

Вот тут те лекции что уже прошли.

Не секрет что больше данных — это не означает что данные станут лучше. Чаще это происходит иначе и примеров когда данные публикуются в ужасающем виде немало.

Например, данные Рособоронзаказа о которых я писал ранее ( habrahabr.ru/company/infoculture/blog/201260 ) и где можно увидеть.
Точно также данные публикует и МВД России — это вот такой массив — mvd.ru/opendata/od1

А есть много других данных когда CSV файлы создаются на базе непригодных для анализа Excel файлов, или когда данные публикуют без описания схем, или когда публикуют невалидные XML файлы и многое другое.

Чтобы собрать все такие случаи коллеги из Open Knowledge Foundation начали собирать все примеры.

Чтобы понять как устроена открытость публичной политики в США интересно обратиться к самым свежим примерам.

Буквально несколько дней назад компания Google анонсирована появление Google Civic Information API (API Google с гражданской информацией) в котором теперь публикуют информацию о выборах, об избранных представителях и избирательных участках.



Все сводится к нескольким вызовам:

electionQuery

Возвращает список выборов

Пример вызова:

https://www.googleapis.com/civicinfo/us_v1/elections?key=<YOUR_API_KEY>

Пример результатов выборки:

{
 "kind": "civicinfo#electionsqueryresponse",
 "elections": [
  {
   "id": "2000",
   "name": "VIP Test Election",
   "electionDay": "2013-06-06"
  },
  {
   "id": "2124",
   "name": "Rhode Island 2012 Primary Election",
   "electionDay": "2012-09-11"
  },
  {
   "id": "2126",
   "name": "Delaware 2012 Primary Election",
   "electionDay": "2012-09-11"
  }
 ]
}

Для тех кто интересуется открытыми данными, тем что это такое и как с ними работать в этом посте собраны ссылки на открытые данные по России.

Федеральная власть

• Определение открытых данных на сайте Правительства России
• Совет по открытым данным при комиссии по открытому правительству
• Открытые данные на сайте Административной реформы (Минэкономразвития России)
• Веб-сервисы Банка России
• API Государственной Думы

Регионы и муниципалитеты

• Каталог на сайте Административной реформы
• Портал открытых данных Москвы
• Томская область
• Тульская область
• Амурская область
• Ульяновская область
• город Краснодар

Общественные проекты и блоги

• ГИС Лаборатория — сообщество по открытым геоданным
• Проект по Semantic Web и Linked Data
• Хаб открытых данных (НП «Информационная культура»)
• Раздел открытых данных на ХабраХабре
• Блог Ивана Бегтина (дисклеймер: автор этого поста)
• Блог Ирины Радченко
• Блог Екатерины Аксеновой

Журналистика данных

Ранее я писал в паре постов о том как устроена открытость электронных петиций в разных странах, какие данные есть в России и как можно сделать APO для небезызвестной Российской общественной инициативы — www.roi.ru.

Прочитать всё это можно здесь:

• API для Российской общественной инициативы. Шаг 1: сбор и анализ данных
• API для Российской общественной инициативы. Шаг 2.1: опыт Великобритании в работе с данными электронных петиций

В этот раз мы рассмотрим то как устроены электронные петиции Белого Дома, в первую очередь, с точки зрения их открытости и пригодности к данных для использования.

Справка

Особенности петиций в США

1. Относятся именно к президенту и ответы дает его администрация.
2. Не требуют ничего кроме email'а для подписи — дополнительная авторизация ненужна.
3. Петиции должны пройти 2 порога — 150 подписей за 30 дней чтобы их можно было найти (по прямой ссылке они доступны) и 100 000 подписей за 30 дней чтобы получить официальный ответ — petitions.whitehouse.gov/how-why/terms-participation

В цифрах

• всего 2246 петиций
• даны ответы на 208 петиций
• в ожидании ответа 26 петиций
• закрыто 1972 петиций
• открыто для голосования 40 петиций

Цифры учитывают только те петиции что прошли 1-й порог в 150 подписей за 30 дней.

WhiteHouse.gov/developers

Одно из важных отличий сайта Белого Дома США от сайтов всех лидеров в мире — это ориентированность на разработчиков. На сайте даже есть специальный раздел /Developers где размещены данные, раскрыт исходный код проектов и описаны API многих из инициатив если не всех вообще.

Открытый код

Поскольку нас интересуют в первую очередь петиции, то рассмотрим их подробнее.

Во первых исходный код петиций полностью опубликован на Github — https://github.com/WhiteHouse/petitions

У репозитория больше 15 контрибьюторов, несколько десятков багов и вопросов и мы можем говорить о том что разработка проекта идет открытым образом.

Открытое API

Другая сторона происходящего в том для разработчиков доступен не только исходный код, но и API и данные накопленные на сервисе.
Все API по петициям доступны по ссылке — https://petitions.whitehouse.gov/developers

API доступа к данным состоит из 3-х эндпоинтов:

Когда пишешь о лучших и худших примерах публикации открытых данных очень сложно не превратить эту рубрику в кунсткамеру и не показать насколько странно иной раз происходит публикация данных и что может скрываться за данными на самом деле.

Случай который я опишу в этот раз не то чтобы уникальный, но редкий.
Речь пойдет об открытых данных, не много не мало, а Федеральной службы по оборонному заказу (сайт — www.fsoz.gov.ru).

На сайте этой службы совсем недавно появился раздел "Открытые данные" где собственно открытые данные в машиночитаемом формате и публикуются.
Размещено там немного не мало, а 15 наборов данных.

Ссылки на них есть на сайте, а я приведу полный список.

Ранее в посте на Хабре я писал про самый первый шаг для создания API для РОИ — выгрузка имеющихся данных с помощью парсера.
API для Российской общественной инициативы. Шаг 1: сбор и анализ данных


Но шаг этот, конечно, хотя и важный, но не последний в понимании того что мы хотим сделать. Есть еще один шаг — это посмотреть что сделали другие. В мире проектов по электронным петициям немало, рассмотрим несколько из них с точки зрения API и открытых данных.

Электронные петиции Великобритании (epetitions.direct.gov.uk)

Великобритания была одной из первых стран внедривших практику сбора петиций от граждан и обязательность их рассмотрения.
Через британский проект epetitions.direct.gov.uk прошло несколько десятков тысяч петиций из которых —

• открыто 5 741 петиция
• закрыто 18 323 петиции
• отклонено 21 030 петиций

все цифры на 5 ноября 2013 года
Подробности на сайте http://epetitions.direct.gov.uk/petitions?state=open

Российские петиции отчасти похожи на британские, там также необходимо собрать 100 тысяч подписей и на все отводиться не более 1 года.

Однако у петиций Великобритании есть несколько важных особенностей:

Если еще пару лет назад очень многие чиновники, журналисты, разработчики в разговорах про открытые данные переспрашивали что это такое, то в последнее время ситуация стала меняться и выправляться.

Вопросов не стало меньше — они стали другими. Например, за последние 3 месяца я занимался тем что регулярно выступал с лекциями на Школе открытых данных, на мероприятиях некоммерческих организаций, конференциях и в рамках программ обучения госслужащих.

Во всех случаях есть свои особенности:

• некоммерческие организации почти всегда не имеют ресурсов и жалуются на отсутствие разработчиков
• госслужащие редко умеют программировать сами и чаще всего говорят что у них используют компьютеры только как печатные машинки
• разработчики редко знают о том где взять данные и чаще всего задают вопросы именно на эту тему

И во всех случаях всегда много вопросов о том чем открытые данные отличаются от свободы доступа к информации, что такое открытые лицензии и зачем они нужны, а также какие проекты создаются на открытых данных.

Всё это было в качестве вступления, а в качестве развития мы собрали небольшой список образовательных и просветительских проектов в этой области которые могут быть всем интересны. Все подобранные курсы бесплатны и открыты.

Открытые данные

School of Data (OKF)

Школа данных от Open Knowledge Foundation. Первая школа посвященная именно открытым данным. Много онлайн курсов в форматах вебинаров.
Ссылка: schoolofdata.org

В качестве введения

Вы все наверняка помните о таком явлении как Российская общественная инициатива (www.roi.ru) — провозглашенная государством в лице федерального правительства инициатива по сбору подписей за онлайн петиции. Предполагается что если за 1 год по петиции будет собрано 100 тысяч голосов, то и петиция будет официально рассмотрена нашими властями. И даже имеет шанс получить статус законопроекта.

При этом уже 6 петиций прошли такой фильтр — https://www.roi.ru/complete/ две из них настоящему прошедшие сбор по 100 тысяч голосов и 4 петиции набравшие голосов сильно меньше, но органы власти успели прореагировать.

И, хотя петиции не дают гарантии что решение вообще какое-либо будет принято, многие создают их не только в надежде на положительное решение, но и для того чтобы поместить проблему в «медийную повестку» иначе говоря, для того чтобы об этом начали писать СМИ и была бы публичная государственная реакция.

Поэтому РОИ, пока что, не последний из государственных проектов и интерес к нему есть. При этом у РОИ есть ряд недостатков и проблем.

Проблемы РОИ

По моему опыту общения с разработчиками которые когда-либо участвовали в соревнования по открытым данным — все они говорят о том что нужны данные как можно большего уровня детализации.

Например, не статистика по регионам, а статистика по муниципалитетам. Не сводка преступлений/ДТП, а информация с адресами и координатами.
Не просто адреса учреждений с координатами, а подробная информация о каждом.

Пока таких детальных данных, прямо скажем, в удобном виде немного. Если взять Москву как пример, то даже на московском портале data.mos.ru большая часть данных — это геоданные или данные с геопривязкой в виде адреса и какой-то еще минимальной информацией. Понятное дело что сделать с ними что-то действительно интересное сложно. Поэтому скажем спасибо Правительству Москвы за то что они хотя бы это раскрыли и попробуем понять где взять более интересные данные и что с ними делать.

Конкурсы и соревнования

На вопрос зачем это нужно отвечу сразу — невозможно провести ни один конкурс/хакатон/соревнование для разработчиков не имея достаточного количества интересных данных. С этим мы сталкивались на хакатоне Яндекса, прошедшем конкурсе Apps4Russia и многих других.

Поэтому сейчас, поскольку мы помогаем в подготовке конкурса API Challenge мы решили подготовить столько полезных данных сколько только возможно. А поскольку API Challenge — это конкурс идущий от власти Москвы и ориентированный на Москву — мы и данные собираем по Москве.


Чтобы этого добиться мы начали просматривать десятки госсайтов и ищем на них то что можно использовать законно и с пользой.

Как это происходило и продолжается

Вместо вступления и введения сразу предлагаю посмотреть на картинку. Сразу предупрежу — рекламы Internet Explorer'а в ней нет.

вы можете получить аналогичное ей сообщение просто попытавшись открыть систему оперативного мониторинга лекарственных средств (МОЛС) http://mols.roszdravnadzor.ru/
Это такая государственная автоматизированная информационная система Росздравнадзора.

Я не сомневаюсь что многие из вас сталкивались с похожими ситуациями по огромному числу государственных проектов, работе с банками и многое другое.

Собственно вот такие случаи нарушают один из принциповы открытых данных — доступность. Технологические ограничения никак не делают их доступными и та же самая ситуация со многими другими реестрами Росздравнадзора.
Например:

• Реестр нежелательных побочных реакций — http://npr.roszdravnadzor.ru/
• Выборочный контроль — http://vk.roszdravnadzor.ru/
• Мониторинг КИ ЛС — http://mkils.roszdravnadzor.ru/
• Иностранные дипломы — http://diplom.roszdravnadzor.ru/
• Мониторинг ценообразования ИМН — http://imn.roszdravnadzor.ru/
• Мониторинг качества предоставления государственных услуг — http://mkpgu.roszdravnadzor.ru/
• Нежелательные явления ИМН — http://mimn.roszdravnadzor.ru/

Казалось бы, наверняка сотрудники Росздравнадзора должны были знать об этих ограничениях и они могли бы открыть хотя бы часть данных в созданном недавно разделе открытых данных на их сайте, вот тут — http://roszdravnadzor.ru/opendata

Однако все несколько иначе.

Во первых, в списке массивов что опубликованы Росздравназдором ни одного из реестров выше просто нет.
Во вторых даже то что «опубликовано» по факту отсутствуют.

Я не могу привести прямых ссылок, поскольку на сайте они разместили всё странным Javascript кодом вместо пермалинков, поэтому текстом.

Если мы откроем массив N5 «Статистическая информация, сформированная федеральным органом исполнительной власти в соответствии с федеральным планом статистических работ, а также статистическая информация по результатам проведенных плановых и внеплановых проверок»

То увидим что там ничего нет.


А если мы посмотрим в наборы данных:

• N4 Информация о результатах плановых и внеплановых проверок, проведенных федеральным органом исполнительной власти и его территориальными органами в пределах их полномочий, а также о результатах проверок, проведенных в федеральном органе исполнительной власти, его территориальных органах и подведомственных организациях
• N6 Сведения о вакантных должностях государственной гражданской службы, имеющихся в федеральном органе исполнительной власти и его территориальных органах
• N7 Реестры лицензий на конкретные виды деятельности, лицензирование которых осуществляется федеральными органами исполнительной власти

То обнаружим что ссылки на массив данных ничего не содержат кроме описания полей. Да и те описаны весьма странно.

21 октября выдался днём богатым на общественные мероприятия, об одном из них, заседании общественного совета при Росстате, я писал ранее. А вот про Совет по открытым данным вполне можно поговорить подробнее.

Прежде чем я перескажу всё своими словами — посмотрите на официальную новость там какие-то из вопросов раскрыты, а какие то я расскажу сейчас.

Итак, было 3 большие темы:
1. Открытые данные Минкультуры
2. Выполнение Россией требований хартии G8
3. Техтребования на портал открытых данных от Минэкономразвития России

Открытые данные Минкультуры

Выступал Михаил Городилов из Минкультуры и, если кратко, то его выступление можно свести к следующим тезисам:

1. «Мы открыты» Они только-только начали открывать данные открытые данные и что-то уже разместили на сайте Минкультуры — mkrf.ru/opendata/
2. «Цифровой контент — это тоже данные» Обещают очень много данных цифрового контента и то что планируют оцифровывать и создавать до 280 террабайт в год
3. «Мы хотим денег» Это прозвучало совершенно недвусмысленно, о том что Минкультуры хочет чтобы работы по созданию ими открытых данных в том числе из цифрового контента были профинансированы из госпрограммы «Информационное общество».
4. «Мы хотим чтобы бизнес платил» Посыл также очень простой. Чтобы бизнес который потенциально использовал бы их данные далее бы тоже участвовал в финансировании их создания. Прозрачно намекалось на Яндекс и Гугл и другие крупные интернет-холдинги

Вот такие нехитрые мысли прозвучали от Минкультуры. При этом у них, на самом деле, много есть данных которые давно пора открыть, но до сих пор ничего из них они не разместили. Ни государственный реестр фильмов, ни базу по культурному наследию, ни многое другое. Позиция та же что и у Росстата, только понимания пока еще меньше.

Дадут ли им денег? Не знаю. В этом году всем Минфин обрезает финансирование и не дает денег на новые инициативы. Надо ли их дожимать открывать то что уже есть? Я считаю что надо.

Хартия G8