Эта статья объединяет результаты, полученные нами в предыдущих статьях и выводит теоретические рассуждения, сделанные в них, на практический уровень. Я ввел достаточно терминов, чтобы рассмотреть понятие свойства и объяснить, как строить модель свойства. Данную статью можно читать независимо от других, поэтому часть рассуждений, сделанных ранее, я повторю, часть пропущу, а часть добавлю.

Введение

Тем математикам или физикам, которые начинают изучать бизнес-анализ, приходится туго. Есть огромная разница между фундаментальной наукой и теми практиками, которые изложены в разных стандартах, посвященных бизнес-анализу. Периодически происходят попытки познакомить сообщество бизнес-аналитиков с точкой зрения современных философов, однако такие попытки пока не увенчались успехом. Из-за этого математик или физик, погружаясь в изучение стандартов бизнес-анализа, испытывает легкий шок. Я попробую пробросить мост между тем, с чем привык работать физик или математик и теми моделями, которые строят аналитики.

Для этого я сформулировал свод знаний, который назвал проекционным моделированием, потому что метод, изложенный в нем, напоминает черчение. На уроках черчения мы учимся моделировать пространства. При этом модель пространства отделена от интерпретации этого пространства. Моделируемое пространство можно интерпретировать в зависимости от решаемой задачи и как кусок алюминия, и как часть воды, и как крыло самолета: модель пространства не зависит от его трактовки. В проекционном моделировании мы поступаем так же: сначала создаем модель пространства, но уже во времени, потому что наш мир четырехмерный, если считать время как отдельное измерение, а затем трактуем это пространство-время тем, или иным способом. Так же, как в черчении моделируемый 3-Д объем можно трактовать разными способами, так и в проекционном моделировании трактовка 4-Д объема отделена от модели пространства-времени.

Как мы уже писали в своей первой статье, мы в Just AI специализируемся на технологиях искусственного интеллекта для понимания естественного языка (NLU). У нас есть своя платформа для разработки разговорных ассистентов, как текстовых, так и голосовых. Платформа имеет развитую функциональность для решения NLP-задач (кластеризация логов, поиск семантически близких фраз и др.) и собственный язык разработки (Just AI DSL). С использованием DSL команда лингвистов-разработчиков пишет код сценариев чатботов, интеграционные модули для связи с внешними системами, а также автотесты.

В этой статье мы расскажем о созданном нами инструменте для разработки ботов под разные платформы, в том числе для Яндекс Диалогов, без знания DSL и навыков программирования.

Чатботы и искусственный интеллект для понимания естественного языка (NLU – Natural Language Understanding) тема достаточно горячая, про нее не раз говорилось на Хабре. Тем не менее достаточно редко попадаются верхнеуровневые и структурированные обзоры этих технологий и рынка в целом. В своей статье мы попробуем немного разобраться, чем обусловлен спрос на эти технологии, как выглядит современная диалоговая платформа для NLU, какие компании и разработки присутствуют на этом рынке.

В первой части статьи мы начали разговор о новом классе высокоуровневых моделей предметной области, названных понятийными. В отличие от других аналогичных моделей в понятийных моделях связи между понятиями сами являются понятиями, а модель строится на основе выявления и описания абстракций, послуживших образованию (определению) понятий предметной области. Это позволяет конечным пользователям строить и актуализировать модели предметной области путем простых и естественных операций создания, изменения и удаления понятий и их сущностей.

Здесь, во второй части, поговорим о том, как может быть реализована полнофункциональная информационная система, основанная на понятийном моделировании предметных областей. Теперь уже в деталях рассмотрим информационную систему LANCAD, которую в нашей компании “ИНСИСТЕМС” используют для организации проектной деятельности по разработке проектно-сметной документации для строительства.

Следует заметить, что появление информационной системы LANCAD явилось результатом реализации нескольких крупных проектов компании.

Мы поговорим об использовании модных «Word embedding» не совсем по назначению — а именно для исправления опечаток (строго говоря, и ошибок тоже, но мы предполагаем, что люди грамотные и опечатываются). На хабре была довольно близкая статья, но здесь будет немного о другом.


Визуализация Word2Vec модели, полученная студентом. Обучалась на «Властелине колец». Явно что-то на черном наречии.

Внедряя современные информационные системы, крупные компании рассчитывают быстрее принимать решения, обнаруживать скрытые для бизнеса резервы и возможности, анализировать накопленный опыт и выстраивать прогнозы на основе выявленных закономерностей. Однако реальная отдача от информационных систем часто оказывается значительно ниже, а сроки внедрения и затраты – выше ожидаемых. Причин может быть великое множество, в том числе и связанных с неэффективным управлением, человеческим фактором, устарелой инфраструктурой.

Существенные недостатки есть и у самих информационных систем. В этой статье я предлагаю поговорить не о традиционных – трёхслойных – АИС, а о системах с четырехслойной архитектурой, где новый четвертый слой – слой представления – реализует понятийную модель предметной области. Для актуализации модели при изменениях в предметной области не требуется программировать. Более того, как актуализация модели, так и прикладные задачи решаются посредством семантически инвариантных для всех предметных областей операций над сущностями понятий.

В итоге удается улучшить вычислительные, технологические и эксплуатационные характеристики информационных систем с понятийными моделями предметной области. Но об этом далее.

В нашей первой статье в корпоративном блоге компании Антиплагиат на Хабре я решил рассказать о том, как работает алгоритм поиска переводных заимствований. Несколько лет назад возникла идея сделать инструмент для обнаружения в русскоязычных текстах переведенного и заимствованного текста из оригинала на английском языке. При этом важно, чтобы этот инструмент мог работать с базой источников в миллиарды текстов и выдерживать обычную пиковую нагрузку Антиплагиата (200-300 текстов в минуту).

"

В течение 12 лет своей работы сервис Антиплагиат обнаруживал заимствования в рамках одного языка. То есть, если пользователь загружал на проверку текст на русском, то мы искали в русскоязычных источниках, если на английском, то в англоязычных и т. д. В этой статье я расскажу об алгоритме, разработанном нами для обнаружения переводного плагиата, и о том, какие случаи переводного плагиата удалось найти, опробовав это решение на базе русскоязычных научных статей.

Эта работа является продолжением всего сказанного ранее в статье «Нейронные сети, генетические алгоритмы и прочее… Мифы и реальность. Версия II». В большинстве статей, посвященных анализу текстов, которые удалось изучить автору, под анализом текста понимается главным образом две совершенно практические задачи, связанные либо с извлечением какого-либо контекста, либо перевод текста с одного языка на другой. В первом случае речь, как правило, идет или об «очистке» анализируемого контента и сопоставлению какого-либо участка текста эталону в соответствии с заранее заданной таксономией¹ каких-либо сущностей. Например, разбор адресов, товаров и т.д. Во втором случае, о поиске соответствия одного блока текста, написанного на одном языке блоку, написанному на другом.

Объединяющим оба эти варианта является статистический, по сути, анализ участков контекстов, с учетом синонимов слов, устоявшихся выражений. При этом за рамками такого рода анализ выходит анализ троп², риторических оборотов и много другого. Причина этого кроется в непонимании современной наукой даже на философском уровне некоторых базовых вопросов, связанных с логикой мышления и принятия решения, построения знаковых систем т.е. неразвитость семиотики и т.д.

В школе мне понадобились колоссальные усилия, чтобы понять концепт Кантора о множестве мощности континуум. Но потом я понял, что ничего не понял, а лишь заучил правила работы с такого рода объектами. В области понимания как было белое пятно, так оно и осталось белым. С тех пор я неоднократно возвращался к этому вопросу, пока не познакомился со статистической физикой и сопроматом.

В этих науках очень хорошо были определены понятия вещества и понятие состояния. Было сказано, что для определения вещества нужен объем минимального размера, меньше которого мы имеем уже не вещество, а набор молекул, а для оценки состояния требуется конечное время, чтобы зарегистрировать некоторое значение, связанное с состоянием. Если мы будем говорить о состоянии, используя временные интервалы менее минимального, то получим не оценку состояния, а что-то непонятное.

Я понимал, что на этой основе можно построить иную математику с иными аксиомами. Этого я не сделал, но запомнил, что для оценки состояния нужно указать минимальное время, в течение которого есть смысл говорить о совершении измерения, как для определения вещества нужен минимальный объем. Тогда данное время будет считаться мгновением для оценки данного состояния. Это время может быть разным для разных свойств и методов оценки. Например, для того, чтобы понять, какого цвета автобус при помощи глаз, нужны миллисекунды, а для того, чтобы понять в каком состоянии сейчас находится климат Земли при помощи термометра, нужно несколько лет.

Любая модель обладает ограниченной точностью. Чем более точную модель надо построить, тем больше информации для этого придется хранить. Если есть возможность свернуть массив данных по какому-то из критериев, то такая свертка позволяет резко сократить объем хранимой информации. Однако, такая свертка не моделируется штатными способами моделирования, потому что требует моделирования высказываний одновременно и относительно множеств объектов, а не относительно объектов этих множеств. Фактически, нам нужен инструмент для моделирования как предикатов первого порядка, так и предикатов второго порядка.

Поясню на самом распространенном примере. Когда мы пишем, что станок был выпущен в 1939 году, а утилизирован в 1990, мы имеем ввиду, что станок существовал на протяжении всего указанного периода и в любой интервал времени между указанными датами. Альтернативой этому высказыванию было бы хранение информации о всех возможных интервалах, в течение которых станок был признан существующим. Но все возможные интервалы времени на протяжении этого срока даже с шагом дискретизации в сутки – это огромный массив данных.

Пользоваться этим массивом данных так же неудобно, как и его хранить. Строить запросы к этому массиву данных – тоже неудобно. Например, у нас есть запись о том, что станок существовал с12 июня по 17 июня и находился в этот период в машинном отделении ГЭС. Но на основе этой записи мы ничего не можем сказать о существовании и нахождении станка в период с 13 июня по 15 июня, потому что при таком подходе к моделированию для ответа на это вопрос нам нужна отдельная соответствующая запись.

Сдача проекта в опытную эксплуатацию. Комиссия наблюдает, как система распознаёт информацию из сообщений, поступающих в в режиме реального времени. Приходит первое сообщение: “Тихо.”

Комиссия. Что значит “Тихо”? Они там в филиале пьяные что ли?
Система. "Тихо" = Сила ветра в пределах нормы.
Комиссия. Так это они о погоде. Система сдана в опытную эксплуатацию!

Все события в статье вымышлены. Любые совпадения с реальностью случайны.

Мне довелось работать на проекте, в котором с помощью семантического анализа удалось решить одну из главных проблем управления крупным бизнесом — получение своевременной и актуальной информации о состоянии дел в филиалах компании.

Здравствуйте, коллеги! В этой статье я кратко расскажу об особенностях построения решения по классификации тем обращений клиентов в контактный центр, с которыми мы столкнулись при разработке.

Определение тем обращений используется для отслеживания тенденций и прослушивания интересующих записей. Традиционно, эта задача решается путём проставления соответствующего тега оператором, но при данном подходе большую роль играет «человеческий» фактор, и тратится много человеко-часов работы операторов.

Прошло уже достаточно времени с момента публикации моей первой статьи на тему обработки естественного языка. Я продолжал активно исследовать данную тему, каждый день открывая для себя что-то новое.

Сегодня я бы хотел поговорить об одном из способов классификации поисковых запросов, по отдельным категориям с помощью нейронной сети на Keras. Предметной областью запросов была выбрана сфера автомобилей.

За основу был взят датасет размером ~32000 поисковых запросов, размеченных по 14ти классам: Автоистория, Автострахование, ВУ (водительское удостоверение), Жалобы, Запись в ГИБДД, Запись в МАДИ, Запись на медкомиссию, Нарушения и штрафы, Обращения в МАДИ и АМПП, ПТС, Регистрация, Статус регистрации, Такси, Эвакуация.

Эта статья является продолжением статьи Функция и функциональный объект

Как я писал ранее, функциональный объект можно определить как пространство, в котором происходит поглощение или излучение потоков, которые с точки зрения субъекта желанны, или необходимы. Выделив это пространство, можно задать два вопроса:

1. Что будет, если в данном пространстве поменяется физическое наполнение. То есть, если потоки останутся, а материальный объект, который находился в этой части пространства, поменяется?
2. Что произойдет, если потоки прервутся? функциональный объект будет непрерывным, или тоже прервется?

На первый вопрос все аналитики единодушно отвечают, что функциональный объект останется без изменений. Это значит что объект такого рода может иметь разрывы в материальном воплощении. Этот факт заставляет многих их думать, что функциональный объект чем-то отличается от физического. Но, как я писал ранее, физический объект тоже меняет свое физическое наполнение, поэтому критерий сохранности физического наполнения не имеет смысла. Чем же отличаются физический объект от функционального? Только точкой зрения. Концентрация внимания на разных потоках порождает разные объекты, и больше никакой разницы между физическим и функциональным объектом не существует! Это значит, что с одной точки зрения объект может быть назван функциональным объектом, а с другой — физическим. Думаю, вы сами сможете найти примеры такого рода "перевоплощений".

Написано с участием Игоря Катричека katrichek@gmail.com

Человек и все живые существа используют окружающую среду в своих целях. Считается что, построив парадигму объектов и, рассматривая созданные им объекты через призму их полезности, человек достиг в этом большего совершенства, чем животные. Например, отполировав медную пластину до зеркального блеска, человек использует свойство созданного им предмета отражать свет и называет эту пластину зеркалом. Такое отношение к среде порождает разделение объектов на полезные, вредные и никчемные. Создали ли животные парадигму объектов, или у них своя, отличная от нас парадигма, мы не знаем, спросить не можем.

По факту, все объекты — это части окружающей нас среды. Нет различия между самолетом и камнем. Нет разницы между объектами, в создании которых принимал человек и теми, в создании которых он не участвовал. Чтобы не тратить время на бесполезные споры о степени участия человека в создании тех или иных объектов, я предлагаю не делать различие между ними.

Понятие о функции

Любой объект можно наделить функцией. Например, зная те потоки, которые исчезают в теле объекта, и те потоки, которые образуются в нем, мы можем сказать, что функция объекта — преобразование входящих потоков в выходящие (например, у зеркала функция отражать падающий свет). Мы можем наделить объект функцией быть самим собой. И тогда функция объекта — это поток его состояний (например, функция картины демонстрировать себя). Правда, при этом мы учитываем не все потоки и не все состояния, а только те из них, которые либо желанны, либо необходимы с нашей точки зрения, например, для объяснения причин их возникновения.

Объект можно представить тремя способами:

1. Как объем, наполненный плотной материей.
2. Как результат синтеза конструкции: поселок как объект есть синтез домов поселка.
3. Как результат анализа конструкции: антенна есть часть комплекса наведения ракет.

В данной статье рассмотрим, как появляется представление об объекте как об объеме плотной материи.

Парадигма объектов, излучающих потоки, которые распространяются в среде

Мы представляем себе мир как среду, в которую помещены сгустки материи (объекты), излучающие или поглощающие потоки энергии и материи. Среда прозрачна для потоков и выступает в роли передаточного звена между объектом и наблюдателем.

Для регистрации объекта (его положения в пространстве, температуры и прочих характеристик) необходим поток энергии или материи, исходящий, или поглощаемый объектом, детектор этого потока и время, чтобы зарегистрировать этот поток. Можно использовать разные потоки: свет, молекулы, нейтроны, но есть условие: поток, чтобы быть зарегистрированным, должен состоять из однотипных элементов.

Наши органы чувств способны регистрировать потоки света, звука и материи. Свету и звуку соответствуют зрение и слух, о потоку материи сразу три органа чувств: обоняние, осязание и вкус. Объекты, которые мы видим, обусловлены нашей способностью регистрировать эти потоки. Однако, если бы мы могли регистрировать другие потоки, например, потоки нейтронов, мир для нас наполнился бы иными предметами.

Неделю назад я пошутил, что статьи по принципам языков программирования POPL должны соответствовать критерию «интеллектуального запугивания», чтобы их принимали для публикации. Конечно, это неправда, но факт в том, что статьи по языкам программирования выглядят особенно устрашающе для специалистов-практиков (или академик действительно работает в другой области компьютерных наук!). Они битком набиты математическими символами и такими фразами как «суждения», «операционная семантика» и тому подобное. Там много тонких вариантов записи, но вы можете в основном уловить суть статьи, усвоив несколько базовых понятий. Так что вместо рассказа об очередной научной статье я подумал, что сегодня лучше напишу краткое практическое руководство по расшифровке научных статей на тему языков программирования. Здесь я следую книге Бенджамина Пирса «Типы в языках программирования» в качестве авторитетного источника.

Написано с участием Игоря Катричека katrichek@gmail.com

Введение

4-Д объем, его проекции и интерпретация должны быть согласованы друг с другом. Для того, чтобы понять, как с их помощью можно смоделировать то, что мы обычно понимаем под объектом, рассмотрим наше представление об объекте.

Объект можно определить тремя способами:

1. Как объем, заключенный внутри поверхности.
2. Как результат синтеза конструкции: поселок как объект есть синтез домов поселка.
3. Как результат анализа конструкции: антенна есть часть комплекса наведения ракет.

Объект как объем

Объект в сознании субъекта не есть статичная замершая картинка. Объект движется, изменяется. Но начнем мы по традиции со статичного объекта.

Методика моделирования

Написано с участием Игоря Катричека katrichek@gmail.com

Проекции поверхности в 3-Д пространстве на три проекционные плоскости позволяют инженеру представить моделируемый объект, будь то деталь или конструкция. Для этого надо соотнести точки на чертеже с точками в пространстве. Этому умению обучают на уроках начертательной геометрии. Но полученное в результате этого представление о поверхности ничего не говорит инженеру ни о том, из чего сделан объект, ни о его свойствах. Чтобы представить деталь, поверхность надо трактовать (интерпретировать). Для этого нужно знать стандарты, выработанные в специальных областях деятельности. Только, если чертеж выполнен в соответствии с этими стандартами, его смогут прочитать и однозначно трактовать другие специалисты. Эти стандарты не относятся к предмету начертательной геометрии, они относятся к таким областям знаний, как архитектура, машиностроение, технология обработки материалов. Поэтому первое, что надо научиться делать, это разделять проекции и трактовку проецируемого объекта.

Ровно то же можно сказать про проекционное моделирование. Проекции 4-Д объема на пространство и на время позволяют представить моделируемый 4-Д объем. Но для трактовки этого объема нужны знания в специальных областях.

Введение

Допустим, что перед нами поставлена задача создания информационной системы, в которой каждый желающий может зарегистрироваться, чтобы создавать в ней модели своих представлений о реальном мире или воображаемых мирах. К этой задаче добавим следующие условия:

1. Любой объект может стать частью конструкции (результат процесса синтеза), или быть разделенным на части (результат процесса анализа). При этом синтез и анализ можно делать разными способами. Это значит, что один и тот же объект может стать частью разных конструкций, или объект может быть поделен на части множеством способов.
2. Один и тот же объект может быть интерпретирован по-разному.
3. Любая модель может быть расширена с учетом смены точки зрения.
4. Мы не рассматриваем представления, созданные искусственным интеллектом и языки, созданные им для описания этих представлений. Мы не рассматриваем математические изощрения типа бутылки Клейна, или фракталов.