Упущенные возможности BigData

[lash05]

Все эти справочники отраслевые, неполные, нет полных описаний и правил отнесения

— при этом они периодически «реформируются», что еще более запутывает ситуацию.

[MaximKovalev]

Все верно.

[Tortortor]

один ответ: ibm watson

[MaximKovalev]

Нет, к сожалению или счастью это не панацея. Больше пиар. Это хорошая и сильная разработка. К сожалению — экстенсивный путь развития. Интеллектуальный агент, но не ИИ-полная или приближенная система. Хороша для распознавания образов и игры в Го. Прав я или нет — жизнь покажет.

[Tortortor]

поэтому работает диагностом. и собирается юристом. пиар и распознавание образов, ага.

[MaximKovalev]

Повнимательнее прочтите в каких областях и как. Про то, что нейросети и тд хорошо работают в ряде задач я писал перед этим. Это так. Просто задачи разные. В рамках BigData безусловно есть и классические задачи статистики, кластеризации и т.д. Это никто не отменял, так же как и безусловную пользу. Но это разные грани проблемы. Если интересно, прочтите мою статью https://habrahabr.ru/post/328668/.

[dtmsoft]

Я полагаю, что Tortortor имеет в виду тот факт, что для успешной работы в юридической и медицинской отраслях (не говоря уже об игре в Leopardy) необходимо проанализировать и структурировать большие объемы именно полнотекстовой, то есть слабоструктурированной информации: тексты законов, судебные прецеденты и т.д. Таком образом, неким механизмом для выполнения этой нелегкой работы в IBM все-таки владеют. Насколько он тиражируем на другие отрасли — мне не известно, но для ряда отраслей результат есть и мы его можем наблюдать.

[MaximKovalev]

Все не совсем так. Они работают с текстами. Но не с точки зрения семантики и лингвистики, а с точки зрения корреляций. Какие-то зачатки семантики есть. Я тоже читал. Даже есть попытки порождения гипотез. Но пока это нельзя говорить о понимании смысла текста. Так как нет базы знаний, нет индуктивных механизмов и много другого, о чем я писал в пошлой статье https://habrahabr.ru/post/328668/

[dtmsoft]

Я не думаю, что мы дойдем до понимания смысла текста в обрзимом будущем. Если говорить о понимании в повседневном, «человеческом» смысле слова, то понимание смысла я считаю эквивалентным по трудности созданию «сильного» ИИ. Если это вообще возможно.
Но нужно ли для извлечения знаний (фактов, если быть точным) полное понимание текста? Обычно и близко нет. Существительное, глагол, числительное. Мы сможем извлечь факты без понимания смысла. Но надо значть что искать, разумеется. Вот тут и возникает этап выдвижения идей типа «а есть ли тут такое-то знание», осуществляемый аналитиком.

[MaximKovalev]

 В целом да, все правильно. Но семанитика все же необходима. Без семантических правил не обойтись. Конечно же нужные эталонные справочники как база знаний.
Другой путь — это накопление в эталонной базе вариантов написаний (хешей) — тупиковый. В данном посте я хотел кроме всего прочего подчеркнуть этот факт. А сильный ИИ — действительно в этих задачах действительно совершенно не нужен.

[dtmsoft]

Тут есть важный (для меня) аспект — существует ли знание в отрыве от целеполагания? На данный момент я считаю, что «нет», а поэтому и сама постановка вопроса об извлечении знаний стновится зыбкой. Если гипотезу строит аналитик, то он и является источником целеполагания и, автоматически, создает фундамент для извлечения знаний связанных с этой гипотезой.
С обозначенной в статье проблемой я согласен на 100%, но для решения конкретных задач, для которых гипотеза уже сформулирована, это далеко не всегда нужно. Если же мы переходим к извлечению произвольных знаний из произвольного текста, то считаю эту задачу эквивалетной автоматическому(!) целеполаганию, что в свою очередь, означет сильный ИИ.

[MaximKovalev]

Если быть совершенно точным в терминологии — то конечно же надо говорить об извлечении данных по образцу, который сформирован в справочники или набор правил. Но устойчивым с легкой подачи маркетологов стал термин «извлечение знаний». А понятие знание вообще очень зыбкое. Человеческий интеллект судя по всему вообще не оперирует «знаниями» как незыблемыми или каким-то образом независимыми от наблюдателя сущностями. Он оперирует системой гипотез, которые подтверждают наблюдаемые феномены и могут предсказывать аналогичные. И не более того.