Как стать автором
Обновить

Комментарии 77

Уточните пожалуйста, статус собранных данных. Вы коммерческая компания, готовы ли вы гарантировать, что не будете ограничивать доступ к данным. Собирать с мира по нитке (я готов вбить свой паспорт) краудсорсингом, а потом оставить её только себе как-то не очень красивый вариант.

По тексту статьи я так и не понял до конца.

А так задумка выглядит неплохо, поддерживаю.

Ещё один момент непонятный. А вот если на форме сбора данных предположить возможность сразу видеть, есть ли уже варианты, какие были — это как-то повлияет (в негативную сторону) на точность данных?
Мы ни в коем случае не будем ограничивать доступ к собранным данным. Ссылки из статьи, по которым можно скачать актуальную версию справочника, будут активны. Если соберем полную базу, почистим данные набело и выложим отдельно.

Конечно, это гарантия под наше честное слово и репутацию — составить юридически значимую оферту минимум долго, максимум — не уверен, что вообще возможно.

В целом мы не продаем данные, мы продаем продукты для работы с ними.
Мне достаточно гарантии под честное слово.
Мгм, вбил свой номер, но не вижу, чтобы появился в сырой выгрузке — там моего номера нет, даже спустя пару минут. Как часто реально обновляется этот файл? Раз в час?

Должен был быстрее, сейчас разберемся. Не подскажете номер подразделения?
Я удалил это из своего комментария, т.к. файл скачанный на другой машине уже содержал мои данные. Вероятно браузер закешировал или прокси по пути была слишком агрессивна в кешировании.
Аналогично, добавлял где-то в 15:30 по Мск, в сырой выгрузке до сих пор не наблюдаю. Код 470-004.
Ого, как долго нет! Завтра постараемся разобраться.
На самом деле написал комментарий, через полчаса скачал снова, и в новой версии уже увидел свой код. Но это точно не кэширование, потому что моя строчка появилась между строчек, присутствовавших и в прошлый раз.
Спасибо, посмотрим!

Выкладка автоматическая через гугл-документы. Видимо, иногда у них подтупливает синхронизация.

Мы ни в коем случае не будем ограничивать доступ к собранным данным. Ссылки из статьи, по которым можно скачать актуальную версию справочника, будут активны. Если соберем полную базу, почистим данные набело и выложим отдельно.
А потом придет РКН и всех перебанит.
Наверняка он существует где-то в недрах ведомств, за семью печатями, но наружу не показывается

И не будет, он ДСП (по крайней мере сколь доносили слухи).


Hint: на самом деле на один код подразделения может быть несколько наименований. Так быть не должно ни в коем случае, но так есть, придётся это учитывать (ну или пусть кому выпала неверная подсказка исправляет руками), а склонение там простое:
отдел — отделом, отделение — отделением, управление — управлением, вариантов не так много. А ещё есть подразделения МВД, которые тоже выдавали паспорта.


А ещё есть — http://ingvarr.net.ru/ufms
, где что-то похожее на правду (кроме того что СПб не в ЛО находится).

на самом деле на один код подразделения может быть несколько наименований. Так быть не должно ни в коем случае, но так есть, придётся это учитывать (ну или пусть кому выпала неверная подсказка исправляет руками)

Это мы уже знаем, спасибо! Скорее всего, просто не будем схлопывать сильно отличающиеся варианты. Например, вот эти подсказки будем показывать одновременно, потому что код у них одинаковый: «ОТДЕЛЕНИЕМ ПО РАЙОНУ ХАМОВНИКИ ОУФМС РОССИИ ПО ГОР. МОСКВЕ В ЦАО» и «ОТДЕЛЕНИЕМ УФМС РОССИИ ПО Г.МОСКВЕ ПО РАЙОНУ ХАМОВНИКИ». А там уж человек сам разберется. И всегда можно вбить руками, да.

а склонение там простое: отдел — отделом, отделение — отделением, управление — управлением, вариантов не так много

Нам показалось, что не все так просто. Вот пример: «ДУБКИНСКОЕ ПОМ Г. КИЗИЛЮРТА РЕСПУБЛИКИ ДАГЕСТАН». Тут уже на «ДУБКИНСКИМ» придется менять, а сколько еще разных сценариев.
Шаманы, вы для примера использовали самую свежую выгрузку видимо, которую я только что пополнил чтоли? =)
Для этого видимо и просят в том числе год выдачи.
Год — для подстраховки. Не уверены, что он так уж поможет: есть предположение, что даже в пределах года названия подразделений могут отличаться. Пока следим.

Но выход есть в любом случае — просто по одному коду показывать несколько подсказок одновременно, если названий несколько.
Я думаю, что очень даже поможет ツ Кардинальные отличия в названиях как раз в основном зависят от года.
И вариантов будет 16 000+ умножить на Х+ (где Х — несколько вариантов каждого кода), при этом конечного варианта не будет в связи с поныне изменяемыми названиями подразделений.

Если вы занимаетесь вводом данных паспортов, то вам стоит (если уже не) сделать «клич» по видам документов, признаваемых в России как документы, удостоверяющие личность.
Готов поучаствовать в проекте сбора таких данных.
Просят дату выдачи (если одно из полей неверно — номер, код, дата выдачи, фио, то отказать). Подразделение сравнивать сложно — сокращают кто во что горазд при заполнении. Название могут сменить и несколько раз за год (в основном в плане всяких сокращений — обл./области, района/р-на), могут никогда не менять — тут как повезёт (зависит от региона, меняется на региональном уровне обычно).

nalgeon — не встречал такого, зачастую переименовывают сразу несколько подразделений, а потом могут и обратно сменить. Но явление не так чтобы частое и, наверное, у многих реже раза в год.

dmshr — подозреваю это код 782-001 должен был быть тогда. Они выбирают вручную подразделения? После упразднения ФМС вообще не в курсе какие там номера.
Спасибо за наводку. Правда не понял что Вам не понравилось в ЛО/СПб?
Санкт-Петербург не находится в Ленинградской области, а является самостоятельным регионом (как Москва и Московская область) и я его искал как отдельную сущность, а у них он как подраздел.

valery1707
> Возможно это защита от присвоения одинаковых номеров двум паспортам, выданным в разных органах.

Их нельзя присвоить, номер паспорта — это номер бланка, он печатается на Госзнаке в единственном (в теории, практика… но это был разовый случай). Серии распределяются по регионам (иногда кочуют между) и годам (тоже кочуют), так что 2 разных номера могут быть только в случае поддельного бланка (как раз от этого и может быть защитой и от того, что просто взял случайный номер и ФИО). По идее номер бланка вносится и привязывается к человеку в момент печати данных человека на этом бланке.

DEADStop
> Кто-то говорит, что справочника и вовсе нет в природе.

Врёт. Самый актуальный есть в самом (используемом ФМС) ППО. Но есть по крайней мере ещё один, хотя и бесполезный без ключа и алгоритма (де)шифрования, да и не столь актуальный уже.
Получал новый паспорт в конце 2018 года, код подразделения 780-004, но при этом текстовая часть «ГУ МВД России по Санкт-Петербургу и Ленинградской области» без привычных «ТП№...»
А «Адмиралтейский район» из названия тоже убрали?

Да, написано именно так, как я привел. Более того, паспорт я получал в Василеостровском районе, хотя сам поиск по коду 780-004 выдает Адмиралтейский.

После принятия нового регламента, подразделения не пишутся в паспорте.
Записывается только территориальный орган ОВД (на уровне субъекта).
Подразделение этого органа, непосредственно выдавшее паспорт, присутствует в паспорте только в закодированном виде в «коде подразделение».
Я не думаю, что получится собрать ВСЕ паспортные столы. Помнится, когда разгорелся солсберецкий скандал и номера паспортов двух туристов оказались различающимися всего парой цифр на конце — всплыло существование «специальных» паспортов для «своих», «илиты» и сотрудников спецслужб. (Не, может об этом и было известно в узких кругах, но вот я как обыватель об этом был не в курсе — просто не задумывался)

С другой стороны, вряд ли подобным персонам понадобится ваш сервис.

У меня с женой различие в номере паспорта — одна последняя цифра.
Причём так было два раза.
Документы подавали через МФЦ.

У меня с женой различие в номере паспорта — одна последняя цифра.

ну с солсберецкими туристами различие в одну цифру в номере паспотра — это лишь одна из многих других вещей, которые в совокупности позволяют сделать какие-то выводы. Тут и «блатное» УФМС для своих, и специальные пометки в утекшем скане досье ФМС, и телефон Минобороны на нем. Белингкэт с Новой газетой вобщем качественно покопались.
Нам бы покрыть потребности малого и среднего бизнеса: интернет-магазинов, разного рода облачных сервисов, курьеров. То есть дать подсказки абсолютному большинству их пользователей и клиентов.

Если в справочнике не будет законспирированных подразделений — ну что же. Придется людям, получившим там паспорта, вводить по старинке — без подсказок.
Так вы их так и вычислите, то есть после того как сбор прекратите, все кто ввел странное название считай чекист
По нашим прикидкам, в стране меньше 10 000 подразделений, выдающих паспорта. Это совсем немного, в конце-то концов. Давайте попробуем их собрать.

Ну как бы несколько больше. По крайней мере их более 16 тыс.
И, может быть вместо года выдачи спрашивать дату выдачи? Подразделения вряд ли переименовывают строго с 1 января…
Все же кодов подразделений меньше 10 000 (в одном из справочников, уникальных кодов 7 243).

Вот названий может и за 16 т перевалить.
Так как под одним кодом, могут менять способ записи хоть каждый год.
svi0105

Ну как бы несколько больше. По крайней мере их более 16 тыс.

Поделитесь, пожалуйста, откуда у вас эти данные.

может быть вместо года выдачи спрашивать дату выдачи?

Пока года вроде бы достаточно для целей справочника. Нам кажется, что с датой будет избыточно, да и заполнять форму сложнее. Но мы следим.
Доброго времени суток! Прошу заметить, что с 2016 года Федеральная миграционная служба перестала существовать и была присоединена к МВД РФ. И с этого самого времени паспорта выдаются Управлениями и отделами по вопросам миграции. А если паспорт выдан до 2004 года, то там вообще были Отделы и управления внутренних дел. По этой причине, вам следует обратить внимание на этот фактор! А так идея хорошая, поддерживаю!
Спасибо за замечание!
Это в теории.
На практике еще 2 года выдавались паспорта с красными печатями «ФМС» и записями «ФМС». Ибо старыми печатями им разрешили пользоваться до утверждения собственных. А если печать и запись «орган выдачи» различается — не комильфо.
По ЕГРЮЛ ФМС ликвидирована в марте 2018. Региональные подразделения чуть раньше.
Из всех указов ФМС вычеркнули вот только в декабре.

В 2004 было тоже самое. ФМС еще долго пользовалось печатями, бланками МВД.
Наверняка он существует где-то в недрах ведомств, за семью печатями, но наружу не показывается.
У меня такое ощущение что и там его нет.
МВД пару месяцев назад в рамках общественного обсуждения на предложение использовать в одной из форм вместо названий коды подразделений ответило, что они не могут задействовать такой справочник: regulation.gov.ru/p/85329
Чуть выше пишут, что справочник есть, но для служебного пользования.

Как на самом деле — поди узнай, конечно.

Избавители! Как же меня задолбало вот это
ТП №36 ОТДЕЛА УФМС РОССИИ ПО САНКТ-ПЕТЕРБУРГУ И ЛЕНИНГРАДСКОЙ ОБЛ. В КРАСНОГВАРДЕЙСКОМ Р-НЕ Г.САНКТ-ПЕТЕРБУРГА
Оно даже в форму на сайте почты не влезает!

Можно поменять паспорт.
С конца сентября 2017-го действует новый регламент МВД по выдаче паспортов. По которому в графе «паспорт выдан» записывается наименование территориального органа МВД России на региональном уровне.

153.1.1. В реквизите «Паспорт выдан» печатается наименование территориального органа МВД России на региональном уровне.
153.1.2. В реквизите «Код подразделения» указывается цифровой код, закрепленный за конкретным подразделением по вопросам миграции, которое осуществляет оформление паспорта. Например, паспорт оформлен отделением по вопросам миграции межмуниципального отдела МВД России «Барышский» УМВД России по Ульяновской области, который имеет код «730-006» и находится в подчинении УМВД России по Ульяновской области. В реквизите «Паспорт выдан» указывается «УМВД России по Ульяновской области», в реквизите «Код подразделения» — «730-006».
153.1.3. В паспортах, оформляемых в Главном управлении по вопросам миграции Министерства внутренних дел Российской Федерации, в реквизите «Паспорт выдан» указывается «МВД России».
Сокращайте, например так: ТП №36 ОУФМС РФ по СП и ЛО в Красногв. р-не СПб
Спасибо за ссылку, передам ребятам!
Не проще ли вам у банка или у Faktura.ru купить эти данные? Купить данные которые точно проверены банками.
Кажется, в легальном поле этого не сделать. А в нелегальное уходить не хочется.
Смешно: у «банка» (например, Сбербанка) даже стран мира вбито (без сортировки по алфавиту) в компах зала работы с клиентами всего несколько десятков… СТРАН! :) Причем в разных отделениях одного г. Красногорска (МО) список различался числом стран в пару раз :)
Федеральный банк (кроме сбера) обычно присутствует в 2-3 федеральных округах. 20-30 регионов в лучшем случае, и еще десяток где банк присутствует только формально (одно отделение и десяток юриков в клиентах).

Покупать данные в лучшем случае по топ 50% отделений ФМС еще и очень ограниченного количества регионов. Неизвестно какого качества. IMHO глупая затея. Наиболее трудоемко как раз вторую половину отделений собрать.
Есть например такой раздел на сайте УФМС. Правда только по Москве.
Сайт неофициальный, но мы проверим данные. Спасибо!
Не надо в помойках что-то искать, тем более устаревших.
Ну наконец-то кто-то придумал это сделать. Ведь реально проблема — найти такую базу, сколько раз уже сталкивались с отсутствием нормального справочника УФМС вместе с кодами подразделений — по факту каждой организации (в моем случае вузу, где ведется учет тысяч студентов/абитуриентов) приходится сейчас самостоятельно формировать этот справочник на основе данных приносимых физиками паспортов.

Вопрос: можно ли как-то Вам загрузить данные не по одному, а сразу кучкой? У нас уже имеется база примерно на 990 элементов (заполненная на базе подаваемых студентами паспортов).

Конечно! Присылайте на support@dadata.ru, добавим.

Вот трижды уже менял паспорт, код подразделения один, а наименования каждый раз. Последний раз жена получала паспорт, через полгода после меня, код тот же, а наименование в очередной раз изменилось. Актуальность справочника поддерживать как станем?
За актуальностью будем следить через техподдержку, другого способа пока не видим. Точно так же, как нам для других продуктов присылают ошибки в IP-геолокации или недостающие в ФИАС дома, будут и недостающие названия присылать.

В крайнем случае для каких-то подразделений иногда не всплывет подсказка и придется вводить руками. Неприятно, но жить можно
Подразделения уже больше года не указываются в паспортах. Так что «актуальность» паспортов с 2018 года и далее в будущем изменится только при объединении/разделении субъектов федерации или территориальных органов ОВД субъектов. Это единицы изменений за год, и то не каждый год.

Вот по «прошлым» кодам нужно собирать данные по максимуму. Ведь есть паспорта, которые еще 15-20 лет будут действительны. Есть вообще бессрочные.
Если вам в каком то сервисе пользователи вбивают эти данные — соберите их оттуда :).
Кстати, в ваших csv в последней строке отсутствует перевод строки (0x0D 0x0A). То, что csv в Unicode, а Excel его не распознал не понял — это локальная мелочь.
Если вам в каком то сервисе пользователи вбивают эти данные — соберите их оттуда :)

Не вбивают :)

Но дело даже не в этом — мы не собираем введенные в сервисы данные и из-за оферты, и из принципа, и из репутационных соображений.
А кто-нибудь может вообще объяснить, нахуа везде требуют это чертово наименование выдавшего органа? Зачем оно вообще нужно? Почему одного номера паспорта недостаточно? Как же я ненавижу эту хрень везде вводить, причем никто, НИКТО мне не может ответить кому и зачем оно нужно и где используется, и такое впечатление что вообще никто не проверяет что я там пишу. Зато зачастую придираются ко всякой ерунде, типа в паспорте указано ТП №49 а я написал ТП #49 — ооой все у вас документы не примут. Хотя все принимают (потому что видимо никому это поле и не нужно).
Это 100% так. «Кем выдан» никому не нужно, ошибки в нём ни на что не влияют. Больше того, нет ни одного закона или подзаконного акта, который требовал бы заполнять «кем выдан». Но — бюрократические традиции очень сильны ¯\_(ツ)_/¯
Коллеги напомнили, что ЦБ в каких-то своих мохнатых положениях требует «кем выдан». В любом случае, для паспорта это совершенно бессмысленно, потому что есть же код подразделения.

Возможно это защита от присвоения одинаковых номеров двум паспортам, выданным в разных органах.
Просто предположение.

Что планируется делать с строчными/прописными буквами?
В свое время при обсуждении сделали выводы о том, что в паспортах так печатается для улучшения читаемости. В официальных документах хотелось-бы некоего соответствия правилам великого-могучего.
Все будет прописными, так ни один чиновник не придерется
У нас медсистема, где регистратор ручками это дело вбивает. Кода подразделения там нет, но если бы был официальный справочник, думаю разработчики сделали бы селект по коду и это облегчило бы жизнь медрегистраторам и сократило бы время в очередях. А договориться с УФМС не получается? Хорошо бы вопрос на общественную инициативу кинуть — я думаю во многих сферах пригодилось бы. Или «за семью печатями» не просто так?
На УФМС напрямую не выходили — судя по всему, что знаем мы и рассказывали коллеги, смысла в этом нет. Выше пишут, что справочник подразделений существует только для служебного использования. Кто-то говорит, что справочника и вовсе нет в природе.

А ваш кейс — классический, да. Именно для того, чтобы ускорить заполнение форм и повысить качество данных, мы все это и собираем.
Несколько лет назад (в 2015–2016) на каком-то из государственных сайтов был комплект данных к их ПО, и там в числе прочего был именно этот справочник, и мы его тогда использовали. Если снова найду — пришлю
Ого! Только сейчас прочитал ваш комментарий, и по ссылке очень много интересного, не только подразделения. Спасибо большое за помощь, будем изучать!
а я уж думал, Вы никогда до него не доберётесь :)
Я пропустил, к сожалению :(

Ребята посмотрели — увы, этот справочник мы уже встречали. Один из тех, что активно бродит по интернету и на который страждущие натыкаются прежде всего.

Тот, что получился у нас, полнее и точнее, не побоюсь этих слов :)
Максим, а вы не могли бы в кодировек UTF-8 сохранять файлы .csv, а не в ANSI? А то в Экселл не хочет их нормально читать. Приходится перекодировать в UTF-8 руками. Что не совсем кошерно. Исходно выглядит так в экселл: «500-010, ОТДЕЛЕНИЕМ УФМС РОССИИ РџРћ РњРћРЎРљРћР’РЎРљРћР™ ОБЛ. Р’ ГОР. РЕУТОВЕ,2010,,1».

CSV-файлы которые выгружаются по ссылкам на сыре и очищенные данные в действительности и так имеют кодировку UTF-8. По крайней мере на данный момент.
Ну и очищенные от 2019-02-28 тоже в UTF-8.


Просто эти файлы не имеют маркер UTF-8 что может не нравится MS Excell.

Ок, да, спс, сам затупил, что этож не .xls, а .csv и при импорте все норм.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий