Как стать автором
Обновить

Комментарии 52

Как попробовать API/сервис определения стоимости квартиры? Ссылки в статье нет, на сайте описания тоже не нашел.
У вас в Результатах обработки появляется стоимость квартиры? У меня даже на вашем примере — нет.
Посмотрите, сейчас есть.
Да, теперь появились.
Челябинск в статье по ссылке «для городов-миллионеров» присутствует, сервис площадь квартиры определил, но стоимость не указал.
Не для всех квартир с площадью есть стоимости. Покрытие 20–40% домов.
Какова скорость обновления из официальных источников?

Вот косяк, например:
С 26ого(сегодня) числа банк ПАО (а в наименовании ОАО). Причем расшифровка, серым, верная.

image

У вас на скриншоте: «сведения актуальны на 26.05.2015». В базе Центрального банка на сегодня краткое наименование «ОАО АКБ «УРАЛ ФД»» — поэтому такой результат.
Вы можете мне не верить, но на момент публикации коммента, результат на сайте цб был тот же.

image
Я вам верю :–) На сайте ЦБ показывает данные из одной базы, а распространяет другую. Не знаю, почему так.
У меня допустим, есть строчка в которой объединены ФИО, адрес, телефон, email. Можно ли разобрать такую строку вашим сервисом?
Можно, если разбить ее на отдельные поля по разделителям.
Разделителями являются пробелы и запятые. В этом основная проблема. Что источник «неструктурированный». Данных, конечно не много. Но хотелось бы не заниматься мартышкиным трудом :)
Отличный сервис, пользуемся для подсказок адресов.
Интересный сервис. А номера телефонов можно валидировать более точно (разбивать по операторам) еще можно проверить статус абонента HLR-запросом
Интересно а вы собираете и храните данные из запросов?
Дадата определяет оператора для телефона. Обработанные данные не храним.
Пара вопросов:
1. Каким образом определяются координаты для адреса? Ведь адреса берутся из ФИАС, как я понимаю.
2. На какой территории работают геокоординаты?
Используем OSM. Координаты по России, статистика такая:
  • До дома (точные координаты или ближайший) — 31% адресов.
  • До улицы — 30%.
  • До населенного пункта или города — 29%.
  • Не определены — 10%.

Т.е. на большой выборке хотя бы до улицы или до дома определяются 61% адресов, а хотя бы до населенного пункта — 90%.
Планируете ли расширять список используемых источников, добавляя другие гео-сервисы (Яндекс, Google, Bing, ArcGIS и т.д.)?
Пока нет.
Мы бы с радостью, но перечисленные вами источники либо нельзя использовать как это делаем мы, например, Яндекс, либо слишком дорогие.

Скажите, а в чем состоит ваша задача, что не устраивает OSM?
нельзя использовать как это делаем мы

А если задействовать библиотеки-агрегаторы, которые сводят всё в один интерфейс (что-то вроде Geocoder, только для используемого вами языка)?
Скажите, а в чем состоит ваша задача, что не устраивает OSM?

Я полагаю, что с добавлением еще хотя бы одного источника покрытие и качество данных возрастут. Особенно, если это будет Яндекс (для России).
Конечно, данные возрастут, но Яндекс мы использовать не можем. Пытались с ними договориться — даже сумму не смогли назвать, просто нельзя.

То есть, тут вопрос не технической реализации, с ним как раз сложностей нет. Вопрос в юридической сфере.

Качество данных действительно улучшится, но, как показывает практика, по городам там покрытие приемлемое, а в небольших населённых пунктах часто не стоит задача определения точных координат дома, достаточно центра поселка.

Ясно. А как с другими гео-сервисами? Уверен, что 2gis будет более лоялен в этом вопросе.
С 2ГИС мы обсуждаем этот вопрос. Однако, у них есть данные только по ограниченному списку городов, для которых и в OSM неплохие данные. Хотя их подключение увеличило бы качество.
Конечно. Вы могли бы сравнивать получаемые из двух источников данные, чтобы следить за качеством.

В целом, ситуация понятна, спасибо за ответы.
Вы могли бы сравнивать получаемые из двух источников данные, чтобы следить за качеством.

Сравнивать — это довольно сложно:) Разве что пополнять места, которых нет в одном источнике, другим. Для задачи сравнения нужно как минимум три источника (или два и самолет с неограниченным запасом топлива), так как если в двух различаются координаты для одной точки, то не ясно кто из них прав:) И тут авторство справочника не играет роли: в Яндексе, когда изучали вопрос, находили интересные перлы, например координаты объекта удалены от объекта на несколько километров, судя по снимкам из космоса. Обычно это встречалось в мелких населённых пунктах.

Пожалуйста, обращайтесь:)
Я не имел в виду сравнение ради выяснения, кто точнее. Достаточно большое расхождение координат (более Х метров, скажем) из двух источников — повод для ручного разбора данного кейса и/или накопления статистики таковых расхождений.
Тогда не поленитесь упомянуть на своём сайте источник данных, как того требует лицензия OSM.
Ну это же не серьёзно — на каком-то левом сайте упомянули, с таким же успехом, вы могли сослаться, что вот мы на хабре написали.
На этом сайте расположена наша база знаний, на нее идет ссылка с главной — см. раздел «Частые вопросы» и с форума (см. ссылка «База знаний»).

Считаете, что этого недостаточно?
Если да — то где нужно написать, на ваш взгляд?
Вот у вас на главной есть вставки «40 млн контактов» там могло появиться что-то вида «5 миллионов адресов геокодировано с помощью OpenStreetMap.org».
Или вот где перечислены справочники, тоже совсем неплохо показать актуальность геоданных — «OpenStreetMap 01.06.2015»
Хотя если вы так хотите разместить это в базе знаний, то я полагаю там должна быть отдельная статья «Поставщики данных», как положено с указанием лицензий, по которым они распространяются.

Да, для разработчиков ваша база знаний ассоциируется с проектом, но рядовой пользователь о ней даже не подозревает.
Слушайте, вызвало интерес как вы определяете площадь квартиры? Это есть в гос. реестрах и в открытом доступе?
До недавнего времени было. Сейчас решаем вопрос относительно источника с новыми домами и актуализацией данных.
Вспоминая вордстаты популярных поисковых систем, и проведя альтернативу — мне кажется, всем было бы любопытно почитать обзор самых необычных и наоборот топовых запросов к дадате за определённый период ) жалко, что не храните какую-то подобную статистику… просто можно было бы отдельную публикацию даже сделать. пятничную))
Да, поисковые запросы не храним, но сложные случаи нам присылают сами пользователи с просьбой помочь с анализом. Часто адреса корректные, но крайне необычные. Обязательно напишем такую статью в ближайшем будущем:)
Вы просили — мы написали. Наслаждайтесь:)
«Города-миллионеры» — неожиданно. Я думал, они называются «города-миллионники» :)
А тут практически аналогия с колхозами-миллионерами, но нет, оказывается, всё по-другому. Будем знать :)
А теперь немного внимания…
Конечно это классно иметь такую подсказку, например, в и-магазине. И ошибок меньше и данные достоверные.
А не боитесь ли вы, что эта информация попадет в чужие руки?
Т.е. номер телефона, адрес проживания, номер паспорта? Ведь вы не управляете сторонним ресурсом, вы сами отдаете этому ресурсу свои данные.
Ладно, допустим, dadata пользуется сторонними базами данных. И своей? Где вероятность того, что эта база не попадет в «плохие» руки?
Вам нужно узнать адрес человека? Заходите в инет магазин, начинаете вбивать фамилию, выбираете нужную, а адрес система уже может подставить свою, и номер телефона или предложить выбор.
У нас нет баз данных людей: как своих, так и сторонних. У нас есть справочник адресов РФ, справочник телефонов, справочники имен, фамилий и отчеств, и тп, но нет справочников, в которых эти компоненты шли бы вместе.
И как это можно проверить?
Я отдаю ФИО, отдаю адрес доставки/проживания, № телефона — и вы не можете их связать? Станиславский: «Не верю!»
Ответ — никак. Абсолютно также никак, как вы не проверите, расплачиваясь банковской карточкой, что магазин не хранит историю ваших покупок к привязке к этой карте. Также, как вы не проверите, что на дорогах и парковках камеры не снимают ваше лицо и не связывают в одной базе с номером автомобиля. И что банкоматы вас не фотографируют и не привязывают лицо к карте, и что в ресторане официант не уносит бокал и не снимает отпечатки пальцев, и что на серверах метро не хранится схема ваших перемещений, и что мобильники даже в выключенном состоянии не слушают и не передают для анализа голосовой поток и месторасположение абонента. Перечислять можно до бесконечности. Вопрос в том, что вы хотите отдавать миру, а что — нет, и тут всё зависит только от вас.

Если вы переживаете за сохранность своих данных при пользовании интернет-магазинами (и не важно, истользующими дадату или нет), то сообщайте лживую информацию о вашем ФИО при доставке курьером, используйте адреса до востребования на разных почтовых отделениях и контакты друзей, пользуйтесь одноразовыми сим-картами, купленными около метро и 10minutemail.

Вероятно, вас успокоит, что запросы на стандартизацию ФИО, адреса и иных контактных данных в нашем онлайн сервисе — это разные запросы. Сооветственно, с учетом потока запросов, мы физически не сможем понять что к чему относится.

Но самое главное: даже если предположить, что если бы мы хранили такую информацию, и каким-то чудесным образом обработали большинство людей в РФ, да ещё и не раз чтобы отсеять временные данные когда люди в командировках или на работе, то что бы мы смогли с этой базой сделать? Восстанавливать имя по телефону или адресу? Единственные организации, которым это может быть интересно, и которые мне приходят на ум, мне кажется, имеют более простые и надёжные источники информации вроде налоговой, пенсионного фонда и тд. Частным же компаниям, банкам, не интересны персональные данные, если человек не является их клиентом.

Единственное полезное применение связей, которое мне приходит на ум, это связь название организации — адрес — телефон — и, верятно, контактное лицо. Но такое уже есть в 2gis.
Не перегибайте палку.

И что банкоматы вас не фотографируют и не привязывают лицо к карте,

Фотографируют и привязываю к карте, не видели на картах фото владельцев? Это част безопасности.

расплачиваясь банковской карточкой, что магазин не хранит историю ваших покупок к привязке к этой карте

Не вопрос — может хранить номер моей карты, ccv код — только через доверенный ресурс.

2gis, как ч понимаю, получает (берет) доступную информацию (возможно, что из общедоступных данных) ведь речь идет о юридическом лице.

Что-то покупая в и-магазине я заранее предполагаю что для оплаты, доставки магазину понадобятся отнюдь не лживые данные, иначе я товар не получу, если это не цифровой товар.

Я не хочу даже предполагать, что вы можете делать с данными пользователей. На данный момент, вы их продаете, как свою услугу.

Фотографируют и привязываю к карте, не видели на картах фото владельцев? Это част безопасности
Это вы так утверждаете, что банкомат рисует вам фотографии на карточку. Или это всё же делает банк с вашего разрешения?
Предположение состояло в том, что при всовывании карточки в банкомат, он елси и снимает вас, как лицо, то не привязывает это видео к данным считанным с карточки.

Не вопрос — может хранить номер моей карты, ccv код — только через доверенный ресурс.
Откуда Вы в этом так уверены, что они не поставили свой собственной считыватель, который сохраняет всю инфу на свой внутренний сервер.
Предположение состояло в том, что при всовывании карточки в банкомат, он елси и снимает вас, как лицо, то не привязывает это видео к данным считанным с карточки.

Ок. поделюсь секретом…
Если банкомат оснащен камерой, то он… фиксирует любое активное движение возле банкомата, например — подход, и также момент того когда вы вставляете карточку. Но есть одно но!!! Это разнесенные процессы по безопасности. Сам банкомат не знает о а вашей карте НИЧЕГО, в том числе и вашего пинкода, за все отвечают процессинговые центры, и передача проходит по защищенным каналам с использованием кодирующих устройств, и сертификаты получают от «надежных» источников. Но сопоставить время работы с картой и фото — не вопрос. И это… Вопрос безопасности вашей транзакции.

Откуда Вы в этом так уверены, что они не поставили свой собственной считыватель

Потому что CCV код будет принят банком-эмитентом только с доверенного ресурса.

Кроме того, Я сам отдал через канал свои данные через посредника (и свой контроль за моими кошельком лежит на мне). В вашем случае — я не знаю кто собирает обо мне данные — магазин или dadata
Вы противоречите сами себе.
Вот ваша фраза из сообщения раньше
Фотографируют и привязываю к карте...

Вы уж определитесь прежде чем писать после этой фразы вот эту
Если банкомат оснащен камерой, то он… фиксирует любое активное движение возле банкомата, например — подход, и также момент того когда вы вставляете карточку. Но есть одно но!!! Это разнесенные процессы по безопасности. Сам банкомат не знает о а вашей карте НИЧЕГО

Потому что CCV код будет принят банком-эмитентом только с доверенного ресурса.

Кто запрещает записать код в файлик, а потом вбить его при покупке в интернет магазине?
:) и каким образом противоречит? Банк эмитент при выпуске персонифицированной карты может вас сфотографировать, и ваше фото напечатать на карте

Не вижу противоречий — это разнесенные процессы (события) — ввод карты, инициализация события срабатывания камеры, повторюсь — считыватель только иницииурет событие, например, включение камеры, а внешний обработчик события не знает о карте ничего — причина — ему это никто не даст. А ведь может и дать, если обработчик является трастовым. И это… часть безопасности транзакций.
И это… Вопрос безопасности вашей транзакции.


Но вы уходите от темы.
Тема — безопасность моих персональных данных которые проходят через ваш сервис.
Для особо упоротых
На фразу
И что банкоматы вас не фотографируют и не привязывают лицо к карте,

Вы ответили
Фотографируют и привязываю к карте

Ни одного слова про банк не было.

Тема — безопасность моих персональных данных которые проходят через ваш сервис


Боюсь свалиться в оскорбления…
Есть приёмник данных и посредник.
В первом случае приёмник данных — интернет-магазин, а посредник — DADATA (он передаёт обработанные данные). Во втором случае приёмник данных процессинг система, а посредник магазин или банкомат.
Вам и сказали, что Вы либо доверяете посреднику, что он добросовестный, либо не доверяете. А вы полезли на ражон.
Увольте меня от общения с вами.
Вас никто не задерживает,
Читать вы не умеет — придумали (додумали) за меня.
Фотографируют и привязываю к карте, не видели на картах фото владельцев? Это част безопасности.

Где здесь про банокамат? Да, написано с ашыпками.

при оплате картой магазин не выступает посредником — посредником выступает сервис платежной системы (вы не в курсе? печалька)

Удачи вам в сборе информации о покупателях и предачи этих данных в недобросовестные руки.

Если вас это беспокоит — отдавайте эти компоненты отдельными файлами. Отдельно ФИО, отдельно адреса и пр. Мы даже рекомендуем это делать для большей безопасности.

Можете даже рандомом их перемешать, чтобы мы сопоставить не могли.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий