All streams
Search
Write a publication
Pull to refresh
130
0
Бегтин Иван Викторович @ibegtin

Пользователь

Send message
Я или коллеги чуть позже напишем технические подробности — не хотим пока сразу всё выдавать:)
Для подрядчиков есть коммерческие сервисы — типа ist-budget.ru или zakupki360.ru
У нас скорее для общественности.

Актуализировать будем ежедневно и еженедельно — смотря какую нагрузку это будет создавать. Сейчас мы всё адаптируем под 44-ФЗ и тогда будет понятно окончательно.
MySQL, MongoDB с некоторыми особенностями и заточкой под high-load
В этот конкурс мы так уже не успеем, у нас почти всё заточено именно под разработчиков и API отдаёт данные в JSON.
Но если кто-то сделает на базе API человекочитаемый экспорт — то хорошая будет заявка на победу.
В человекочасах — это команда из 4-х человек и около 4-х месяцев.

Там огромная открытая база на FTP сервере и несколько сотен гигабайт переработано и база в десятки гигабайт получилась в итоге.

Плюс у нас ключевое условие — это готовность к высоким нагрузкам. Мы предполагаем довольно интенсивное использование открытого API и сразу делали систему под это.
Лекция которая — «Инструменты и способы поиска информации для обработки и построения журналистской истории.» была про визуализацию в основном.
Лекция которая — «Инструменты и способы поиска информации для обработки и построения журналистской истории.» была про визуализацию в основном.
Цель обозначена у них на сайте — в том чтобы образовывать тех кто их публикует некачественно из-за собственной безграмотности. Иначе говоря — это образовательные цели.
Авторы хорошо знают про мои ресурсы, тут всё просто — судя по формату публикации и содержанию поста они рекламируют только то что делает Госбук и ту анкету которую Госбук делает в рамках госконтракта.
Без этого не обойтись и это даже не очень сложно, просто никто не сделал пока еще.
Вот так и было решено в итоге, не sed'ом, а другим редактором, но суть та же.
Вот каждый раз когда такое находим приходится придумывать новый механизм. Это еще не верх совершенства. Я знаю один государственный датасет в виде XML на 2 гигабайта который весь в одну строку без переводов строк. Не передать сколько времени ушло на то чтобы подобрать для него парсер способный его переварить.
Это еще не худшее понимание. Несколько раз я слышал от чиновников высказвания: «А что такое открытые данные? Типа данные читаемые в машине? Газеты что-ли?»
С этим возражений нет, я пишу о том что петицию вначале модерирует департамент.
Вначале она, всё таки, попадает в департамент правительства — epetitions.direct.gov.uk/how-it-works вот тут 3-й шаг где её модерируют и только потом по описанному Вами сценарию. По многим петициям решения принимаются задолго до набора 100 тысяч голосов.
У них немного другая модель рассмотрения, которую я, возможно зря, не описал подробнее.

1. Вся модерация у них публична. Пропускаются все петиции не содержащие обсценной лексики, но если её не пропускают то помещают в список «Rejected» и дают полное обоснование почему отказали: дубликат другой петиции, не может быть рассмотрено исполнительной властью и так далее.

2. Петиции рассматриваются внутри выбранного департамента Правительства. Сама процедура рассмотрения непублична, публична реакция. Формально только петиции набравшие 100 тысяч подписей идут в Палату Представителей (парламент), но по многим петициям набравшим меньшее число голосов департаменты самостоятельно реагируют.
Александр, я вижу Вы в курсе внутренних дел РОИ. Вот меня больше волнует появление официально API. Планируется ли?
Я буду поднимать проблему на совете по открытым данным, если кто-то параллельно начнет «прессовать» Росздравнадзор — будет отлично.
Открытые с заглавной специально, а остальное поправил, спасибо что обратили внимание.

Information

Rating
Does not participate
Location
Москва и Московская обл., Россия
Date of birth
Registered
Activity

Specialization

Chief Technology Officer (CTO), Data Engineering
Lead
Python
Database
High-loaded systems
MongoDB
Git