BudgetApps — Первый Всероссийский конкурс по открытым финансовым данным

    Друзья, под закат уходящего 2014 года и начала 2015 есть отличная новость для всех кто любит работать с открытыми данными, участвовать в конкурсах для разработчиков.

    А также, я уверен, что есть и те кто любит историю и исторические данные.

    С 23 декабря Минфин России с нашей помощью Информационной культуры открывает конкурс приложений BudgetApps http://budgetapps.ru/contest на открытых данных которые Минфин России публиковал последние несколько лет.



    Данные самые разные. Это данные о бюджетах, данные об аудиторских организациях, государственном долге, государственных резервах и многое другое.

    Ну и, так оказалось, что меня зовут Иван Бегтин и я член жюри этого конкурса.

    Все они есть по ссылке на сайте Минфина — http://minfin.ru/ru/opendata/
    И много бюджетных данных есть на Едином портале бюджетной системы — http://budget.gov.ru/data/opendata там есть структура бюджета в CSV формате, сами данные, справочники и многое и многое другое. А также данные по всем официальным учреждениям вот тут http://bus.gov.ru/public/opendata.html. На этот ресурс обратите особое внимание. Там опубликованы индикаторы, бюджеты, уставы и многое другое по каждой государственной организации и муниципальном учреждении в России. Если Вы задумаете любой региональный проект, то эти данные будут просто бесценны.

    Это не значит, что нельзя использовать какие-либо другие данные, безусловно можно и нужно, однако поскольку это конкурс Минфина России, то конечно ожидается что другие данные будут использоваться вместе с этими.

    Я лично считаю, что не стоит ограничиваться только теми данными которые уже переведены в машиночитаемый вид. Есть также данные которые можно превратить в открытые данные самостоятельно.
    Многие умеют писать парсеры, но для тех кто этого не делал раньше, хорошее подпорье может быть ScraperWiki (https://scraperwiki.com/) чтобы собрать информацию со страниц, а также разные библиотеки для разбора Excel файлов, извлечение таблиц из PDF документов — с помощью pdftables.com или сервисов Abbyy или их Abbyy Finereader.

    На сайте и других ресурсах Минфина кроме данных есть множество другого интересного что можно превратить в данные. Начиная просто от новостей которые стали особенно актуальны в последние дни, продолжая всем остальным.

    Исторические бюджеты


    Есть огромное направление в открытии данных которое мы столь долго упускали – это направление исторических данных. Тех которые хранятся в архивах в виде больших томов справочников с мириадами таблиц и которые просто необходимы в тот момент когда мы начинаем обращаться к истории, ссылаясь на факты, создавая спецпроекты посвящённые какому-либо событию.

    В самые ближайшие дни будут опубликованы первые сканированные бюджеты Российской Империи и Советского Союза. Чуть позже, но тоже очень скоро, появятся все сканированные бюджеты Российской Империи, СССР и РСФСР которые только существуют.

    Кроме сканов будут опубликованы и сами данные, преобразованные в таблицы Excel и CSV, реконструированные из справочников в первичном виде и приведенные нами в порядок для последующей визуализации или проекта.

    Скажу честно, не будь я членом жюри этого конкурса, я бы лично сделал спецпроект на этих данных. А может быть его еще и сделаю когда конкурс закончится, а может быть кто-то сделает это до меня.
    Уже готовы данные бюджетных росписей по нескольким годам, как первичные данные, полученные из текстов книг, так и обработанные и сопоставленные по разным годам.

    Поэтому исторические данные вот-вот уже скоро будут, а пока можно начать использовать имеющиеся и заглянуть на общественный проект «Исторические материалы» (istmat.info) где собраны многие бюджетные справочники СССР и Российской Империи.

    Где найти больше данных?


    Какие дополнительные источники данных у нас есть.
    1. Хаб открытых данных – hubofdata.ru негосударственный реестр открытых данных поддерживаемый НП “Информационная культура”. Много всего, более 5000 массивов данных, но всё неофициальное.
    2. Данные Федерального казначейства — http://roskazna.ru/opendata/
    3. Веб-сервисы ЦБ России — http://cbr.ru/scripts/Root.asp множество интересных данных по российским финансам.
    4. Портал открытых данных России — http://data.gov.ru/ его польза в том что он агргегирует множество российских и не только данных.
    5. Данные Всемирного Банка – где также есть информация о России http://data.worldbank.org/
    6. Данные ООН — http://data.un.org/


    И многое другое.
    Я знаю что многие используют данные из Википедии и DBPedia, кто-то собирает их сам, а кто придумывает что-то своё.

    Что можно сделать?


    Во первых и в главных – это проекты по понятности государственных финансов. Наглядно представить как устроен бюджет или государственный долг или какая-то отдельная область финансов.

    Во вторых, конечно же, бесконечное количество проектов может быть сделано на данных из bus.gov.ru.

    Хотите сделать реестр больниц и сравнить их? Они все там.
    Хотите сравнить между собой все государственные университеты? И они все там.
    Хотите сделать карту доступности госуслуг и такие данные там есть.
    Хотите визуализировать бюджеты МГУ, СПБГУ, МИФИ, МИРЭА или любого Вашего любимого университета? И это возможно.

    А по историческим данным – просто даже визуализировать их и сравнить с тем что было и тем что есть сейчас – это уже большая и интересная задача.

    Зачем это нужно?


    Помимо возможности получить вполне материальный приз, а призовой фонд составляет 400 тысяч рублей, конечно же этим всё не ограничивается. Если проект окажется хорошим и интересным то, конечно, он будет упомянут на сайте Минфина и это само по себе дополнительная реклама любому хорошему проекту.

    Как принять участие?


    Конкурс начался с 23-го декабря и его сайт находится по адресу www.budgetapps.ru. Там есть всё описание, несколько номинаций. Описание того как будет работать жюри и многое другое. Посмотрите, подумайте, и конечно же задавайте вопросы мне. Я буду отвечать тут и или напрямую пишите мне на почту — ibegtin@infoculture.ru
    «Информационная культура»
    65,00
    Открытое государство и открытые данные
    Поделиться публикацией

    Комментарии 57

      +1
      Здравствуйте, скажите, пожалуйста, а компании могут принимать участие в конкурсе или только физ.лица?
        0
        Компании тоже могут.

        5. Участниками Конкурса являются:
        физические и юридические лица – разработчики программных продуктов и интернет-проектов, использующих открытые государственные финансовые данные;
        физические и юридические лица – авторы публикаций и медиа-материалов, подготовленных с использованием открытых государственных финансовых данных, в том числе статей и инфографик для печатных изданий и интернет-изданий, видеоматериалов для телевизионных и интернет-каналов;
        объединения вышеуказанных участников (далее – команды).


        Посмотрите подробнее условия участия на сайте, там это упоминается.
          0
          Спасибо, как-то сразу не заметил. :(
        0
        А вопросы по данным и их формату тоже направлять вам? Имею ввиду те, которые указаны в «Основные источники открытых государственных финансовых данных».

        Попробовал поглядеть, что внутри — там просто адовый ад, потребуются несколько десятков часов (по крайней мере на первый взгляд), чтобы понять, что там за данные и разобраться, как всё это хранится и что из себя представляет.
          –2
          Допустим потребуется 50 часов, очень оптимистично, это 500$ в рейте джуниоров на одеске, это 29000 рублей. Т.о. треть потенциальных конкурсных выплат сожрет первичный анализ данных. Примерно столько-же необходимо человеку, чтобы кормить себя месяц. Квалифицирванный разработчик в России, примерно столько и получает в неделю.
          Как видно по ссылке, на организацию и проведение конкурса потрачено уже больше всех конкурсных выплат вместе взятых.
          Какое-то бесконечное лицемерие.
          На что надеется минфин мне не понятно.
            0
            Да вот какие-то странно завышенные цифры Вы называете.

            Я провожу уже 10-й конкурс в своей жизни и совсем недавно мы закончили конкурсы по данным проекта Госзатраты — clearspending.ru/contest/ и openpolice.ru/contest и вполне себе немало разработчиков заявляется и делает проекты/сервисы/продукты.
              0
              Среди победителей, есть приложения попавшие в production?
                0
                Были и такие, правда больше их по нашим Apps4Russia конкурсам. Кто то участвует ради production приложения, а кто-то поскольку это многим помогает в последующем трудоустройстве.
                  0
                  Правильно ли я понимаю, ссылку на работающее приложение вы предоставить не можете?
                    +2
                    Вы определенно ленитесь пройти по ссылкам что Вы уже увидели. А ведь это совсем несложное дело. Впрочем если Вы относитесь к участию в соревнованиях исключительно в том виде как описали с расчетами затрат и выгоды, то соревнования явно не для Вас.
                      0
                      Да я прошел по ссылка, только приложение победителя уже реализовано: тут и тут. Более того, на них не нужно тратить бюджетные деньги.

                      maps.yandex.ru/?text=%D0%BC%D0%B2%D0%B4&sll=30.353665296490934%2C59.938461509305945&sspn=0.20668029785158026%2C0.06615225017350923&z=13&results=20&ll=30.353665%2C59.938462&spn=0.206680%2C0.066152&l=map

                      2gis.ru/spb/search/%D0%BC%D0%B2%D0%B4/center/30.335054%2C59.976125/tab/firms/zoom/14
                        0
                        Конкурсы для того и проводятся чтобы не только новые приложения делали, но и для того чтобы существующие приложения могли развиваться.
                          +2
                          Какие приложения из победивших в конкурсах развиваются, какие из приложений победивших в конкурсе хотя бы данные обновили?

                          Верстка в twitter-bootstrap и дерганье API яндекс карт, трудно назвать конкурсным приложением федерального масштаба. Это школьная, ну может быть олимпиадная, поделка. Вменяемый, с клинической точки зрения, разработчик даже на хакатоне не будет такое делать.
                            0
                            Так расскажите о проектах которые Вы делали и примеры интересных приложений на хакатонах. С удовольствием сравним и изучим опыт.
                              0
                              Вы определенно ленитесь пройти по ссылкам при поисковом запросе «хакатон». Конечно, проще освоить бюджет как получится. И опыт мертвых конкурсных приложений, как негативный, но безусловно полезный, опыт Вы не рассматриваете?
                              А мой опыт разработки носит коммерческий характер, и подходы в разработке и управлении проектами к государственным конкурсам и иным государственным инициативам не применим. Более того, большинство проектов в которых я участвовал живы и без моего дальнейшего участия и жили бы, даже если бы мне не посчастливилось в них участвовать, потому, что задача изначально была направлена на извлечение пользы, а не на освоение бюджета. При грамотном эффективном построении процесса от разработчика вообще мало что зависит.
                                0
                                Зачем же мне ленится, я организую и провожу хакатоны и конкурсы 4-й год. Вы всё же подробнее расскажите о своем опыте, что за проекты, может быть Вы очень крутой разработчик, а я Вас не знаю и оттого к Вашему мнению отношусь несерьезно? У Вас же есть ссылки на Ваши проекты.
                                  0
                                  kitchenmag.ru/ например. Для протокола, если это засчитают за рекламу, то я повелся на провокацию.
                                  Только причем здесь мой опыт как разработчика, когда речь идет об организации конкурсов мертвых проектов? Тут проджект менджера опыт важен, а не опыт конкретного разработчика. Но мой любимый ПМ уехал в Лос Анджелес, и его контакты я Вам не дам, да и при таких конкурсных бюджетах ПМ за работу не возьмется.
            0
            А Вы напишите по каким конкретно данным какие проблемы/вопросы возникли. Я, либо сам смогу посоветовать, либо узнаю у тех кто за данные отвечает.
              0
              По ссылке minfin.ru/ru/opendata/
              самые интересные данные пункт 4-12 отсутствуют
              Почему вообще открытые данные отсутствуют хороший вопрос, но о нем потом…
              Отсутствие этих данных не позволяет решить задачу
              > Во первых и в главных – это проекты по понятности государственных финансов. Наглядно представить как устроен бюджет или государственный долг или какая-то отдельная область финансов.
                0
                Как получить данные о руководителях? — minfin.ru/opendata/7710168360-SubordinateBiography/
                  0
                  Ого, вот это неожиданный косяк, я скажу коллегам из Минфина чтобы они оперативно исправили.
                    0
                    Если эти данные сможете оперативно выложить, есть красивая идея по выявлению аффилированности.
                      0
                      Иван ещё вопрос.
                      Где-нибудь можно взять инфу о сотрудниках или хотя бы руководителях органов\организаций, которые проводят тендеры через гос закупки?
                      Можно хотя бы ФИО.
                        0
                        Непосредственно данные о руководителях есть на портале bus.gov.ru — там есть ссылка «Открытые данные', она ведет на FTP сервер.
                        На сервере есть данные по всем организациям включая ФИО руководителей.

                        Ну и конечно данные можно найти на egrul.nalog.ru, но оттуда неудобно их собирать запросами по каждой организации.

                        Инфа по сотрудникам или зам. руководителей, увы, есть только на сайтах ведомств.
                          0
                          ftp не пускает по той учетке, что опубликованы на сайте.
                            0
                            Скорее всего там какие-то проблемы с обновлением сайта bus.gov.ru, думаю что скоро заработает.
                          0
                          А, вспомнил! Еще один источник данных о сотрудниках — это декларации о доходах. Но систематизированного каталога деклараций нет, есть только разрозненные публикации по разным ведомствам, но в рамках каждого ведомства они систематизированы в виде файлов в Excel, Word или PDF.
                    0
                    Ещё вопрос, почему почти во всех разделах вот тут: roskazna.ru/opendata/fkrf-771056876/
                    внятных данных для анализа нет?
                      0
                      Здесь явно косяк сотрудников Казначейства которые эти данные публиковали. Я им напишу чтобы исправили, если Вы им также напишите по контактном email'у — это тоже поможет.

                      В принципе именно вот эти данные есть в бюджетной росписи — там упоминаются госпрограммы и на специальном портале Минэкономразвития faip.economy.gov.ru, но там не в формате открытых данных. Впрочем можно данные распарсить.
                      0
                      Ещё пример: на сервер ftp zakipki.gov.ru, по адресу 94fz/_FCS_nsi/nsiCommission/ внутри архива все организации тестовые, т.е. реальных данных нет!
                        0
                        С 1 января 2014 года действует новый закон — 44-ФЗ, данные 94-ФЗ являются архивными. Почему там ошибки — сейчас сказать не могу, но вот то что актуальные данные вот тут — ftp.zakupki.gov.ru/fcs_nsi/nsiCommission/ — это могу сказать точно.
                          0
                          А можете подсказать, где победителей контрактов смотреть? А то что-то с ходу пока не удаётся найти. :(
                      0
                      zakupki.gov.ru/
                      тут например, за год 2014 было заврешенных 2.6 ляма конкурсов, выгружать можно только ТОП-500 от выборки которая выбрана текущем фильтром

                      это что парсер писать? или там есть скрытый способ какой то? в общем бред, очевидно что в правительстве НИКТО не заинтересован в том что бы делиться данными со смердами
                        0
                        Во многом данными не делятся и много чего не публикуют, но это не тот случай
                        Вся инфа с zakupki.gov.ru лежит у них же на FTP — free:free@ftp.zakupki.gov.ru в XMLках

                        А если XMLки не любите — у нас на Госзатратах — clearspending.ru всё есть в JSON'ах в разделе «Для разработчиков».
                          0
                          это уже лучше -) нужно пост делать отдельный вам о том где лежат данные в нормальном виде
                            0
                            зашел в фтп например, куча папок, но нет никакого описания что куда, некоторое да можно понять, cd fcs_regions/Kaliningradskaja_obl/plangraphs, вот что за планграф, что там рядом с ним лежит

                            ну не для людей это, не для людей

                            лучше бы создали бы тот же конкурс но не на всех наборах данных, а например только на закупках или еще чем то, чего много, сделали бы выгрузку удобную и хорошее описание

                            а так я не понимаю этого нашего русского подхода, все как всегда
                            0
                            зашел в контракты калининградской области, там около 20 файлов за год, а в файле один контракт…
                            да там во всех папках столько данных, так где можно скачать все завершенные контракты 2014 года? хотя бы на одну любую область?
                              0
                              На Clearspending.ru через API и на FTP zakupki.gov.ru — в fcs_regions. Там они все есть, оттуда и качаем
                          0
                          roskazna.ru/opendata/7710568760-HEAVYSPENDING/
                          или вот, по названию интересно, но данных нет
                          конечно зачем людям так просто давать доступ к такой инфе
                            0
                            Да там данных то по закону один конкурс. Если ищете инфу по контрактам казначейства — посмотрите по ссылкам что я выше публиковал.
                            А вообще если хотите посетовать на закрытость государства — то закупки не лучшая тема. Вот криминальную статистику попробуйте найти или средние баллы ЕГЭ по школам — там действительно беда. А тут только по неопытности можно не найти эту информацию.
                              0
                              так я не спорю что найти то может и можно, законы то есть, но те кто их исполняют явно не заинтересованы что бы облегчать способ получения данных

                              вспомните хотя бы о том как они эти заменяли в названиях русские буквы латинскими (которые похожи) что бы поиск не выдавал их

                              ну и конечно сайт сделан в таком же стиле, было бы круто если бы ссылки на xml или цсв или что угодно были бы просто на главной странице, ну или не было бы тупого ограничения на ТОП-500

                              вот подумайте, кому вообще это нужно? ведь реально никто уверен никогда не пользовался кнопкой скачать от туда тк эти 500 никому не нужны (за исключением тех случаев когда в расширенном поиске специально ищут что то одно и сокращают выборку)
                                0
                                А чего мне вспоминать про латинские буквы? Я эту тему и поднял в 2009 году, помню всё это прекрасно — 2 исследования уже проводили на эту тему и «вздрючили» несколько сотен чиновников замешанных.

                                Говорю же — по закупкам по работу с данными вообще нет проблем. Это, может быть, самая открытая часть нашего государства. Есть темы куда хуже — о них писал ранее. Или попробуйте вытащить данные о выборах или что по экомониторингу. А тут Вы совсем не к месту придрались.
                        +2
                        И заодно вопрос, который может быть интересен хабра-жителям, считается ли хабр за интернет-СМИ?

                        В связи с тем, что условиях для журналистов указано:
                        размещенные в печатных или интернет-СМИ в период с 01.01.2014 г. по 10.02.2015 г. (в заявке нужно указать издание, публиковавшее работу, и действующую ссылку на публикацию или приложить ее скан)

                          +1
                          Формально СМИ не является, я как член жюри буду исходить из того что к СМИ хабр можно приравнять. Но если работа будет интересная то найти СМИ проблемой не будет.
                            0
                            Так проводится работа, под нее есть бюджет, конкурс открытый, но в сми ничего нет. А приказ по поводу этого конкурса есть, или это кряква?
                          0
                          Первое правило — никогда не участвуй в играх с государством :)
                            –1
                            С государством нормально можно поиграть в аукционы и тендеры. 5 лет присутствовал в конкурсной комиссии при областном ГРБС и готовил конкурсную документацию по ИТ тематике. Конкурсы выигрывали соверешнно случайные компании, монстры рынка благополучно ошибались в документах и отклонялись как и простые смертные ИП. Наказания компании несли только в случаях вопиющих нарушений, среди них были и крупные региональные поставщики. Среди поводов для наказаний были поставки контрафактных картриджей или оборудования не соответствующего конкурсной документации. Только один случай носил умышленный характер, остальные случаи были менеджерской ошибкой. За 5 лет, таких случаев было меньше 10, что скорее соответствует статистической погрешности, чем действительному положению вещей.
                            По-другому, занчительно хуже, обстоят дела с услугами по разработке программного обеспечения, но тут мало кто способен выдержать сроки и бюджеты в условиях самостоятельной разработки ТЗ, и уж точно, ничего хорошего не приходится говорить про разработку ТЗ силами государственного заказчика…
                            +1
                            Сайт с правилами постиг хабраэффект? Не могу его открыть (провайдер — InterZet)
                            Не продублируете ли правила в каком-либо файлообменнике?

                            Вы сказали, что можно сопрягать данные Мин.Фина с любыми Open Data, но хотелось бы знать ваше личное отношение к проектам, которые используют данные минфина только для галочки, чтобы попасть под условия конкурса? Насколько это критично?

                            Также интересно, каков относительный вес для жюри красоты/удобства/UI, и как вы будете относится к красивым прототипам (вроде интерфейсов мобильных приложений), которые, однако, не смогли наладить обработку данных?
                              0
                              Домен хостит Reggi.ru, а у них, как назло, сегодня с 15:00 лажают DNS сервера. Если сменить клиентские DNS на открытые сервера Гугла или Яндекса, то открываться будет. Надеюсь что сегодня всё восстановится, собственно уже открывается.

                              По поводу веса удобства, то оно будет существенным. Если лично я скорее работаю с данными чем с интерфейсами, то коллеги в Минфине как раз интересуются можно ли подать имеющуюся у них информацию удобным образом. Если трактовать термин открытые данные шире чем то как у нас прописано в законах, то многие другие материалы с сайта также можно использовать — новости, документы, сделать поиск по материалам минфина и так далее. Но, конечно, желательно чтобы проекты были не для галочки, а для хоть какой-то минимальной пользы. Или, если это демо, то с акцентом на качестве визуализации.

                              0
                              У нас в Казахстане был похожий конкурс для студентов. Я так как уже давно не студент в конкурсе не участвовал, но попробовал поиграть с открытыми данными и сделал простенький Java-сервлет по статданным, есть демо и исходники. Россияне можете брать и пользоваться, мы с сегодняшнего дня в ЕАЭС и открытые данные у нас тоже должны быть теперь общими ;)
                                0
                                чтот смотрел смотрле и так ничего в голову не пришло, что бы можно было сделать

                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                Самое читаемое