Форум технический. И я пвтаюсь понять логику так сказать с технической точки зрения. Так вот с ней — это все не логично. И ошибочно. Порядок принятия решения в министерствах отдельная тема и думаю, что как часть «экспертного сообщества» вы тоже к этому причастны.
Так вот, вернемся к вопросу.
1.Это как раз и не согласуется с законодательством так как полностью игнорирует Постановление правительства, все регламенты СМЭВ, где ФИАС есть ключ при обмене данных.
2.Продолжаю настаивать, что ЦХДПА решает другие задачи.
«Если речь идет про то, что у одного дома есть два разных адреса, то мы пока такую проблему не решали — по крайней мере навскидку обращений вспомнить не могу таких.» — это огромный массив. Странно, что вы это не предусмотрели на самом старте. Это очень большой массив.
Комментарий к п1. У вас — «ГИС ЖКХ забирает ФИАС из налоговой (регулярно, обновления)», «Если пользователь не может найти адрес, то он может сделать заявку на добавление нового в справлячник ГИС ЖКХ.»
Но в других комментариях вы говорите, что отправляете на проверки в ЦХДПА? У меня возникло раздвоение в понимании. С точки зрения законодательства — основа адреса ФИАС, а объекта недвижимости — Росреестр. Почта тут точно мимо.
1.Я не понимаю почему вы во главу угла ставите ЦХДПА? С точки зрения законодательства — основа ФИАС. У вас же совершенное безобразие с точки зрения адресов. Сам по себе регламент, пусть и внутренний, основан на данных почтальонов, а не Росреестра и ФИАС. Это глупость.
2.Вы должны оперировать понятием «объект недвижимости» и его характеристиками. И с одной стороны у одного объекта может быть несколько адресов, а с другой — на одном адресе несколько объектов недвижимости. Какие представители региона у вас это делают? Управляющие компании? Почтальоны? Вы создаете ГИС или что? Исходя из вашей логики у вас эдакий Опен стрит мап получается.
3.См пункт первый — адрес в соотвествии с законодательством — это ФИАС. У вас должен быть регламент взаимодействия с ГНИВЦ ФНС, а не с Почтой как минимум. Опираться на ЦХДПА — это как максимум не соответствует законодательству, а как мак минимум логике. С точки зрения Почты адрес- это то, куда она готова носить корреспонденцию, а не реальный массив объектов. Он не сходится и не может сойтись с ЖКХ.
4. Я не увидел ответа — что вы делаете с сотнями тысяч ошибок в ФИАС. Например: полно случаев 2А — 2_А — 2сА и это одно и тоже. А как на счет дом 23/24, а в яндексе и у «почтальонов-жилищников» 23-24. Это была ошибка Яндекса, которую налепили на таблички на доме? Не говоря уже о более серьезных ошибках? Это почта исправляет? Как? Почтальон глазами смотрит табличку на доме? Смеетесь?
Тут нескоько замечаний:
1.Есть постановление правительства от 19 ноября 2014 года о том, что адресом считать не базу Почты РФ, а ФИАС. Причем тут Почта?
2.А что делать с угловыми домами и кварталами? Это нет ни в Почте ни в ФИАС? Как вы решили эту проблему?
3. Странная концепция о добавлении объекта недвижимости? Если бы так поступали ГИСы — ну да им картографам можно. У вас же должен быть жесткий регламент по вводу и выводу объектов.
Вливается огромное, это так. Только там сотни тысяч ошибок.
Домохозяйств должно быть как минимум в 2 раза больше. Например есть дачи. Это по физ. лицам.
А кроме того, следует учитывать и юр. лица. Следовательно объектов должно быть минимум миллионов 100, а с учетом юриков, то и все 300.
И если не сложно, то не могли бы вы прокомментировать некоторые другие вопросы:
1.Как вы интегрировались и импортировали данные из Росреестра, если там до сих пор нет единой базы?
2. Я не увидел поиска по КЛАДР/ФИАС. А в том поиске что есть, мне даже регион не удалось выбрать. Возможно, у меня что-то с браузером, но пробовал разные.
3.Как вы решете вопрос неполноты и грязи в ФИАС?
4.Как вы синхронизируетесь с ЦХДПА? Это важная тема. Так как это связано с рассылкой извещений.
5. Я не увидел в регламентах (возможно плохо искал, тогда подскажите где смотреть) ввод и вывод объектов недвижимости?
По сути половина системы.
Да, и если не секрет, то какое среднее количество запросов в Постгресе и какое ежедневное количество апдейтов?
50 млн домохозяйств по России;
2 млн многоквартирных домов;
20 млн жилых домов;
200 тыс. управляющих организаций (УК/ТСЖ/ЖСК) и ресурсоснабжающих организаций (РСО);
25 тыс. органов местного самоуправления (ОМС);
1 тыс. органов власти субъектов РФ (в том числе Госжилинспекция и др).
Не думаю. ИИ — это термин, который определяет уже даже не класс задач, а отрасль знаний. Я думаю надо вводить классификацию задач ИИ. Определится с целями и т.д…
Например:
1.Низкоуровневые «задачи Павлова» (распознавание образов и т.д.)
2.Поисковые задачи дедуктивного анализа, связанные с ограниченным выбором — например, «задачи автопилота»
3.Задачи классификационные (рождение новых измерений, умение формировать предметную область т.д.) Каталогизация текста, выявление новых болезней. Тут все же не 4.
4.«Задачи абстрактной логики» или индуктивные. Это прежде всего задачи прогнозирования.
Нашел, но надо проверить насколько это соответствует действительности. И если это так, то стоит отдельной статьи. https://tproger.ru/articles/hawking-musk-endorsed-23-ai-principles/
10. Отдельная этическая тема — а нужно ли все это? К сожалению, не могу найти упоминание о 23 пунктах, подписанных известными людьми о применимости ИИ. Недавно совсем. Среди подписавших Маск и, что хуже, Хокинг. Очень неоднозначный биль.
Да, все верно. Не только Вы, но и другие вне хабра, также посетовали на недостаточную ясность изложения. Думаю как с этим справится, но при этом не впасть в «умствования».
5.Вот это тот вопрос, который мне совсем не удалось раскрыть. Я попробую раскрыть это в новой статье. Пока попробую объяснить пусть и криво пока: Если абстрагироваться от ИИ и оперировать «бытовыми понятиями», то есть две всем известные противопроложности. Метод «проб и ошибок» и «чистой логики абстрактных выводов». Определения сырые. И на мой взгляд ИИ может стать ИИ в «нормальном человеческом понимании», когда удасться реализовать «порождающую» логику, способную раздвигать границы известного системе мира. И оперировать именно логическими выводами на уровне абстракций. Сегодня же перебор гипотиз — неизбежность. А должна быть именно проверка гипотезы, сформированной логикой. Хотя не везде и большой класс задач, которые я б назвал «Павловскими задачами» (по аналогии с инстинктами, рефлексами — «тигр — бежать» ) не требуют такой логики. Решаются они уже сейчас в той или иной форме. Например, распознавание образов. Мало того, такая логика там будет только мешать. Следующую статью я хочу посвятить именно этому аспекту с учетом полученных ошибок.
6.Все верно. Но верно на уровне «человеческой логики». Вопрос как раз в том — как эти метки ставить? И как выделить тот факт, что вот тут есть подозрение на новый объект, а тут только на свойство, а тут шум? Кластеризация только частично отвечает на этот вопрос, она дает скорее «сырье» для выводов. А вот есть ли математика способная это сделать? Как учесть, но не «тупо» аппроксимировать регрессионные колебания? У меня пока нет ответа. Я то ладно. Но, судя по всему, нет даже у таких корифеев как Хинтон, который (поправьте меня если ошибаюсь) не ушел дальше экспериментов с векторами.
7.Да, я думаю что с определениями много что «не так». И в этом одна из базовых проблем. Если нет базовой аксиоматики — то нет и науки.
8.Повторюсь, моя вина.
9.Спсибо.
Большое спасибо за комментарий!
Готов согласится с частью замечаний и с тем, что статья нуждается в доработке, я уже писал об этом в предыдущих комментариях. Слог тоже оказался слишком тяжеловат. Соглашусь с тем, что слишком сильно урезал статью.
Что касается замечаний по сути:
1.Генетические алгоритмы во множественном числе потому, что реализаций несколько. Хотя можно и в единственном. Не принципиально.
2.Что касается «обучения» ГА — тут я бы не сказал, что все так однозначно. Как я писал в статье — выбор целевой функции как раз и может выступать в качестве объекта обучения. Например, при использовании ГА для распознавания текста. Что касается вопроса: «Да, очень многие модели машинного обучения по своей сути вероятностны, и, наверное, их будет удобно реализовать в рамках вероятностной парадигмы программирования, но зачем ограничивать эту парадигму только этим применением?» — я не ограничивал, я анализировал применение этих алгоритмов именно в раках задач ИИ. Я ни в коем разе, не посягал на другие области, где они являются достаточно привлекательными.
3.Я намеренно использовал термин «база знаний», а не «обучающая выборка». Тем самым я хотел подчеркнуть факт априорности знаний, их внешний характер. Кроме того, желательно, что бы «обучающая выборка» была заранее проклассифицирована по n-измерениям, которые необходимо заранее сформировать экспертами в предметной области. Что касается замечания про "… алгоритмы… работающие без признаков", то область их применения весьма ограничена. Я же старался рассматривать более общий случай. Таким образом, мне показалось, что термин «обучающая выборка» недостаточно точен. Мы имеем дело именно с базой, обладающей внутренними связями. Хотя соглашусь — на будущее буду давать пояснения.
4. Я не вижу смысла в рамках статьи разделять «обучение с учителем» и «обучение без учителя». На мой взгляд, реального обучения без учителя не существует. Под этим термином следует понимать не более чем задачи аппроксимации/кластеризации.
5.Что касается «избыточных конкурирующих вычислений», то я ни в коей мере не имел ввиду «обучаем столько нейросетей, сколько у нас ядер доступно». Не понимаю почему Вы так решили. Я имел ввиду, что сам по себе вероятностный подход не оптимален с точки зрения использования ресурсов. И согласитесь, что параллельная проверка множества гипотез не в задачах обучения, а в задачах распознавания — довольно распространенное явление.
6."«прецеденты из заранее установленного списка» — это объекты обучающей выборки, что ли? Это неверно." Вот тут не соглашусь. Каким образом «родится» новый объект? Собственно, одна из целей статьи показать, что как раз этого и не происходит. ИИ может диагностировать болезнь и методами аппроксимации выявить новые закономерности. Но она не в состоянии «открыть» и проклассифицировать новую болезнь или хотя бы букву алфавита.
7.Что касается греков. Аналоги с греками была о другом. Аналогия в том, что сегодняшнее состояние дел в области ИИ похоже на состояние дел с математикой в Древней Греции. Существующий мат. аппарат громоздок, но примитивен. Причина примитивности, по моему частному мнению, как раз в том что не определены и не сформированы сими базовые понятия о том что такое «объект», «похожесть», «качество», «предложение», «образ» и т.д. с точки зрения философии логики и математической теории. Статья именно об этом.
8.«Модные понятия» взяты осознанно и об этом прямо написано в самом начале статьи. Это и не скрывается, а наооборот — подчеркивается. Взято это для наглядности. Не соглашусь с всеобъемлемостью утверждения:«При этом игнорируется общепринятая терминология». Хотя в отдельных моментах — признаю факт того, что необходимо более тщательно раскрывать мысль.
9.Очень жаль, что Вам увиделись философствования «на пустом месте». Впрочем этот упрек полностью принимаю на свой счет. Раз есть такое мнение, значит тема мной раскрыта недостаточно ясно. Буду работать над ошибками.
Хотел еще раз поблагодарить за столь развернутый комментарий и критику статьи, это был очень полезно для меня и выводы будут извлечены в обязательном порядке.
Так вот, вернемся к вопросу.
1.Это как раз и не согласуется с законодательством так как полностью игнорирует Постановление правительства, все регламенты СМЭВ, где ФИАС есть ключ при обмене данных.
2.Продолжаю настаивать, что ЦХДПА решает другие задачи.
Но в других комментариях вы говорите, что отправляете на проверки в ЦХДПА? У меня возникло раздвоение в понимании. С точки зрения законодательства — основа адреса ФИАС, а объекта недвижимости — Росреестр. Почта тут точно мимо.
2.Вы должны оперировать понятием «объект недвижимости» и его характеристиками. И с одной стороны у одного объекта может быть несколько адресов, а с другой — на одном адресе несколько объектов недвижимости. Какие представители региона у вас это делают? Управляющие компании? Почтальоны? Вы создаете ГИС или что? Исходя из вашей логики у вас эдакий Опен стрит мап получается.
3.См пункт первый — адрес в соотвествии с законодательством — это ФИАС. У вас должен быть регламент взаимодействия с ГНИВЦ ФНС, а не с Почтой как минимум. Опираться на ЦХДПА — это как максимум не соответствует законодательству, а как мак минимум логике. С точки зрения Почты адрес- это то, куда она готова носить корреспонденцию, а не реальный массив объектов. Он не сходится и не может сойтись с ЖКХ.
4. Я не увидел ответа — что вы делаете с сотнями тысяч ошибок в ФИАС. Например: полно случаев 2А — 2_А — 2сА и это одно и тоже. А как на счет дом 23/24, а в яндексе и у «почтальонов-жилищников» 23-24. Это была ошибка Яндекса, которую налепили на таблички на доме? Не говоря уже о более серьезных ошибках? Это почта исправляет? Как? Почтальон глазами смотрит табличку на доме? Смеетесь?
1.Есть постановление правительства от 19 ноября 2014 года о том, что адресом считать не базу Почты РФ, а ФИАС. Причем тут Почта?
2.А что делать с угловыми домами и кварталами? Это нет ни в Почте ни в ФИАС? Как вы решили эту проблему?
3. Странная концепция о добавлении объекта недвижимости? Если бы так поступали ГИСы — ну да им картографам можно. У вас же должен быть жесткий регламент по вводу и выводу объектов.
Вливается огромное, это так. Только там сотни тысяч ошибок.
А кроме того, следует учитывать и юр. лица. Следовательно объектов должно быть минимум миллионов 100, а с учетом юриков, то и все 300.
И если не сложно, то не могли бы вы прокомментировать некоторые другие вопросы:
1.Как вы интегрировались и импортировали данные из Росреестра, если там до сих пор нет единой базы?
2. Я не увидел поиска по КЛАДР/ФИАС. А в том поиске что есть, мне даже регион не удалось выбрать. Возможно, у меня что-то с браузером, но пробовал разные.
3.Как вы решете вопрос неполноты и грязи в ФИАС?
4.Как вы синхронизируетесь с ЦХДПА? Это важная тема. Так как это связано с рассылкой извещений.
5. Я не увидел в регламентах (возможно плохо искал, тогда подскажите где смотреть) ввод и вывод объектов недвижимости?
По сути половина системы.
Да, и если не секрет, то какое среднее количество запросов в Постгресе и какое ежедневное количество апдейтов?
50 млн домохозяйств по России;
2 млн многоквартирных домов;
20 млн жилых домов;
200 тыс. управляющих организаций (УК/ТСЖ/ЖСК) и ресурсоснабжающих организаций (РСО);
25 тыс. органов местного самоуправления (ОМС);
1 тыс. органов власти субъектов РФ (в том числе Госжилинспекция и др).
Например:
1.Низкоуровневые «задачи Павлова» (распознавание образов и т.д.)
2.Поисковые задачи дедуктивного анализа, связанные с ограниченным выбором — например, «задачи автопилота»
3.Задачи классификационные (рождение новых измерений, умение формировать предметную область т.д.) Каталогизация текста, выявление новых болезней. Тут все же не 4.
4.«Задачи абстрактной логики» или индуктивные. Это прежде всего задачи прогнозирования.
5.Вот это тот вопрос, который мне совсем не удалось раскрыть. Я попробую раскрыть это в новой статье. Пока попробую объяснить пусть и криво пока: Если абстрагироваться от ИИ и оперировать «бытовыми понятиями», то есть две всем известные противопроложности. Метод «проб и ошибок» и «чистой логики абстрактных выводов». Определения сырые. И на мой взгляд ИИ может стать ИИ в «нормальном человеческом понимании», когда удасться реализовать «порождающую» логику, способную раздвигать границы известного системе мира. И оперировать именно логическими выводами на уровне абстракций. Сегодня же перебор гипотиз — неизбежность. А должна быть именно проверка гипотезы, сформированной логикой. Хотя не везде и большой класс задач, которые я б назвал «Павловскими задачами» (по аналогии с инстинктами, рефлексами — «тигр — бежать» ) не требуют такой логики. Решаются они уже сейчас в той или иной форме. Например, распознавание образов. Мало того, такая логика там будет только мешать. Следующую статью я хочу посвятить именно этому аспекту с учетом полученных ошибок.
6.Все верно. Но верно на уровне «человеческой логики». Вопрос как раз в том — как эти метки ставить? И как выделить тот факт, что вот тут есть подозрение на новый объект, а тут только на свойство, а тут шум? Кластеризация только частично отвечает на этот вопрос, она дает скорее «сырье» для выводов. А вот есть ли математика способная это сделать? Как учесть, но не «тупо» аппроксимировать регрессионные колебания? У меня пока нет ответа. Я то ладно. Но, судя по всему, нет даже у таких корифеев как Хинтон, который (поправьте меня если ошибаюсь) не ушел дальше экспериментов с векторами.
7.Да, я думаю что с определениями много что «не так». И в этом одна из базовых проблем. Если нет базовой аксиоматики — то нет и науки.
8.Повторюсь, моя вина.
9.Спсибо.
Готов согласится с частью замечаний и с тем, что статья нуждается в доработке, я уже писал об этом в предыдущих комментариях. Слог тоже оказался слишком тяжеловат. Соглашусь с тем, что слишком сильно урезал статью.
Что касается замечаний по сути:
1.Генетические алгоритмы во множественном числе потому, что реализаций несколько. Хотя можно и в единственном. Не принципиально.
2.Что касается «обучения» ГА — тут я бы не сказал, что все так однозначно. Как я писал в статье — выбор целевой функции как раз и может выступать в качестве объекта обучения. Например, при использовании ГА для распознавания текста. Что касается вопроса: «Да, очень многие модели машинного обучения по своей сути вероятностны, и, наверное, их будет удобно реализовать в рамках вероятностной парадигмы программирования, но зачем ограничивать эту парадигму только этим применением?» — я не ограничивал, я анализировал применение этих алгоритмов именно в раках задач ИИ. Я ни в коем разе, не посягал на другие области, где они являются достаточно привлекательными.
3.Я намеренно использовал термин «база знаний», а не «обучающая выборка». Тем самым я хотел подчеркнуть факт априорности знаний, их внешний характер. Кроме того, желательно, что бы «обучающая выборка» была заранее проклассифицирована по n-измерениям, которые необходимо заранее сформировать экспертами в предметной области. Что касается замечания про "… алгоритмы… работающие без признаков", то область их применения весьма ограничена. Я же старался рассматривать более общий случай. Таким образом, мне показалось, что термин «обучающая выборка» недостаточно точен. Мы имеем дело именно с базой, обладающей внутренними связями. Хотя соглашусь — на будущее буду давать пояснения.
4. Я не вижу смысла в рамках статьи разделять «обучение с учителем» и «обучение без учителя». На мой взгляд, реального обучения без учителя не существует. Под этим термином следует понимать не более чем задачи аппроксимации/кластеризации.
5.Что касается «избыточных конкурирующих вычислений», то я ни в коей мере не имел ввиду «обучаем столько нейросетей, сколько у нас ядер доступно». Не понимаю почему Вы так решили. Я имел ввиду, что сам по себе вероятностный подход не оптимален с точки зрения использования ресурсов. И согласитесь, что параллельная проверка множества гипотез не в задачах обучения, а в задачах распознавания — довольно распространенное явление.
6."«прецеденты из заранее установленного списка» — это объекты обучающей выборки, что ли? Это неверно." Вот тут не соглашусь. Каким образом «родится» новый объект? Собственно, одна из целей статьи показать, что как раз этого и не происходит. ИИ может диагностировать болезнь и методами аппроксимации выявить новые закономерности. Но она не в состоянии «открыть» и проклассифицировать новую болезнь или хотя бы букву алфавита.
7.Что касается греков. Аналоги с греками была о другом. Аналогия в том, что сегодняшнее состояние дел в области ИИ похоже на состояние дел с математикой в Древней Греции. Существующий мат. аппарат громоздок, но примитивен. Причина примитивности, по моему частному мнению, как раз в том что не определены и не сформированы сими базовые понятия о том что такое «объект», «похожесть», «качество», «предложение», «образ» и т.д. с точки зрения философии логики и математической теории. Статья именно об этом.
8.«Модные понятия» взяты осознанно и об этом прямо написано в самом начале статьи. Это и не скрывается, а наооборот — подчеркивается. Взято это для наглядности. Не соглашусь с всеобъемлемостью утверждения:«При этом игнорируется общепринятая терминология». Хотя в отдельных моментах — признаю факт того, что необходимо более тщательно раскрывать мысль.
9.Очень жаль, что Вам увиделись философствования «на пустом месте». Впрочем этот упрек полностью принимаю на свой счет. Раз есть такое мнение, значит тема мной раскрыта недостаточно ясно. Буду работать над ошибками.
Хотел еще раз поблагодарить за столь развернутый комментарий и критику статьи, это был очень полезно для меня и выводы будут извлечены в обязательном порядке.