SergeyBPshenichnikov 23 апр 2021 в 13:01

Категория контекста

12 мин

2.2K

Поисковые технологии*Семантика*Алгоритмы*Natural Language Processing*

Сходство и одинаковость

Математической моделью знаковых последовательностей с повторами (текстов) является мультимножество. Мультимножество было определено Д. Кнутом в 1969 году и позже подробно изучено А.Б. Петровским [1]. Универсальное свойство мультимножества – существование одинаковых элементов. Предельным случаем мультимножества при единичных кратностях элементов является множество. Множество с единичными кратностями, соответствующее мультимножеству, называется его порождающим множеством или доменом. Множество с нулевой кратностью – это пустое множество.

Проблемой является определение одинаковости элементов. Одинаковость зависит от учитываемых свойств этих элементов. Огурцы и арбузы внешне по цвету одинаковы, но затруднительно их при гастрономическом использовании называть одинаковыми, хотя ботаническое описание во многом совпадает.

По Г. Фреге любой объект, имеющий отношения с другими объектами и их сочетаниями, имеет столько же свойств (значений), сколько и этих отношений. Часть учитываемых значений называется смыслом, которым в данной ситуации представляется объект. Наименование объекта числом, символом, словом, рисунком, звуком, жестом для его короткого описания называется знаком объекта (это одно из значений)

Всевозможные части значений объекта (смысл) соответствуют одному знаку. Эта главная проблема распознавания смысла, но и одновременно основание, позволяющее обходиться минимальными наборами знаков. Невозможно каждому подмножеству значений поставить в соответствие уникальный знак. Объектами информационного обмена являются минимальные наборы знаков (ноты, алфавит, словарь языка). Смысл знаков обычно не вычисляется, а определяется контекстами знака (окрестностями) интуитивно.

Решением проблемы неоднозначности знаков является смысловая разметка текста. Смысловую разметку можно пояснить на примере предельной однозначности. На русских счетах текстом является последовательность одинаковых знаков (костяшек). По [2] словарь такого текста состоит из одного слова. Без смысловой разметки пользоваться такими текстами невозможно. Поэтому словарь изменяется, а знаки разделяются на группы — единицы, десятки, сотни и т. д. Эти наименования групп (цифры) являются уникальными номерами слов. Словарем D являются цифры от 0 до девяти. Каждая костяшка представляется матричной единицей на таком декартовом абаке. Например, число 2021 на матричном абаке представляется суммой четырех матричных единиц:

$E_{1000,2}+E_{100,0}+E_{10,2}+E_{1,1},$

где нижние индексы являются декартовыми координатами матричного слова (числа в данном случае). Произошло превращение одинаковых объектов в похожие. Мерой сходства являются значения координат слов. Дополнительно к позиционным, повторы цифр из словаря возникают при совершении арифметических операций. Устанавливаются отношения эквивалентности:

$E_{i,0} \sim E_{i+1,1}$

Если после арифметической операции получается число 9 +1, то в этой позиции появляется 0, а следующем разряде добавляется 1. На абаке все костяшки сдвигаются в исходное (нулевое) положение, а одна добавляется в следующем разряде (проволоке). На матричном абаке совершается преобразование:

$E_{i+1,1}=E_{i+1,i}E_{i,0}E_{0,i},$

Если задать меру одинаковости знаков, то отношение толерантности (сходства) можно снова превратить в отношение эквивалентности (одинаковости) по этой мере. Например, округлением чисел. Распознать отличие толерантности от эквивалентности можно по нарушению транзитивности. Для отношений толерантности она может нарушаться. Например, пусть элемент A похож на B в одном смысле. Если смысл B не совпадает со смыслом элемента C, то A может быть похож на C только в части пересечения их смыслов (части свойств). Транзитивность отношений восстанавливается (замыкается), но только для этой общей части смысла. После достигнутой указанием смысла одинаковости A будет эквивалентен C. Например, приведенным выше преобразованием (замыканием) по некоторым координатам обеспечивается выполнение арифметических операций на матричном абаке.

Другим примером контекстной зависимости знаков являются шахматы. Еще сильнее она наблюдается в двойных шахматах [3]. В этой модификации шахмат разрешается сделать конечное число двойных ходов в течение партии в любой игровой момент. Игра остается непротиворечивой. Остальные правила такие же как в обычных шахматах, за исключение двух: первый ход одинарный и разрешена рокировка при шахе. Автором игры в случае, когда все ходы двойные является проф. Зайцев Г. А.

Для шахмат словарем их матричного текста являются номера по одной из фигур каждого цвета и разделитель ходов (от 1 до 11). Слово шахматного текста - матричная единица. Первая координата ее уникальна и является номером клетки на шахматной доске (от 1 до 64). Вторая координата слова - из словаря. Шахматным матричным текстом в любой момент игры является сумма матричных единиц, каждая из которых показывает фигуру на соответствующем месте шахматной доски. Повторы в тексте появляются как из дублирования фигур, так и постоянных переходов в течение партии от сходства к одинаковости и наоборот для всех фигур кроме короля. Игра состоит в реализации наиболее эффективных таких переходов и актуальной классификации фигур. Пешки одинаковые вначале, затем становятся похожими только правилом хода, а иногда пешка становится одинаковой с ферзем.

Инструментом анализа матричных текстов является контроль транзитивности для проверки отличия сходства от одинаковости. Отсутствие контроля транзитивности является алгебраической экспликацией непонимания для языковых текстов, проигрыша в шахматах или ошибок в числовых вычислениях.

Транзитивность отношений - условие превращения множества объектов в математическую категорию. Смысловой разметкой текста может стать вычисление его категорий посредством транзитивного замыкания. Объектами категории являются контексты матричных слов [2], морфизмами – матрицы преобразование этих контекстов.

Контекст

Контекстом слова E_k,j матричного текста [2] называется его фрагмент F^j_i,k – сумма матричных единиц (слов) между двумя матричными словами-повторами E_i,j и E_k,j:

$F^j_{i,k}=E_{i+1,D_R}+E_{i+2,D_R}+\ldots +E_{k-1,D_R}, \ \ \ \ \ \ \ \ \ \ \ (1)$

где индекс D_R означает, что на этом месте может стоять любой индекс из правого словаря D_R матричного текста [2], включая знаки текстообразующих фрагментов. Контекст – это все слова матричного текста между повторяющимися знаками словаря D_R. Например, между повторяющимися словами, повторяющимися точками, знаками абзацев, глав, томов языковых текстов или фраз, периодов и частей музыкальных произведений.

Знаки текстообразующих фрагментов выглядят одинаково, но это тоже знаки-омонимы – их контекстом являются фрагменты (1). Контекстом языкового фрагмента (экспликацией или пояснением) может быть не только языковый текст, но и звуковой (например, музыка), образный (фото) или совместный (видео). Контекстом музыкального текста может быть языковый текст (например, либретто).

Матричным словам соответствуют их матричные контексты, представленные как алгебраические объекты (1). Всевозможные отношения между этими объектами являются предметом анализа при определении смысла слов. Для исследования таких конструкций полезна теория категорий из-за того, что в ее основе находится понятие транзитивности.

Категория контекста

Пусть F₁^j , ..., F_n^j – это все контексты F^j_i,k слова E_j,j ∈ D_R в тексте P, а D^j_1R, ..., D^j_nR – правые словари этих контекстов:

$F_1^j=F_1^jD^j_{1R}, \ldots ,F_n^j=F_n^jD^j_{nR}$

При k = i + 1 в (1) частным случаем фрагмента является матричное слово E_i+1,DR .

Категория контекста Cat(E_j,j) знака текста E_j,j ∈ D_R определяется следующим образом:

Объекты категории – попарно кратные [2] контексты F₁^j , ..., F_n^j.
Для каждой пары кратных объектов существует [2] множество морфизмов F_ij : F_i = F_ijF_j, каждому морфизму соответствует единственные F_i и F_j .
Для пары морфизмов F_ij и F_jk определена такая их композиция (произведение квадратных матриц) F_ijF_jk, что если F_i = F_ijF_j и F_j = F_jkF_k, тогда F_i = F_ijF_jkF_k (условие транзитивности).
Для каждого объекта F_i в качестве тождественного морфизма определена единичная матрица E: F_i = EF_iE. Категорная ассоциативность следует из ассоциативности матричного умножения.

Редукция контекстов

Пересечением (общими словами) матричных словарей является их произведение:

$\prod D_i \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (2)$

Доказательство следует из определяющего свойства матричных единиц (6) [2] и определения словарей (9) [2] и (15) [2]. При умножение матричных единиц словарей (нижние индексы одинаковые в каждой единице) произведение их матричных слов (единиц) с отличающимися индексами равны нулю. В произведении (2) останутся только общие слова с совпадающими нижними индексами из всех сомножителей (2).

Объединение любой пары словарей D_i и D_j является их сумма за вычетом пересечения (2)

$D_i+D_j - D_iD_j \ \ \ \ \ \ \ \ \ \ \ \ \ (3)$

Из-за свойств (10) [2] в (3) в сумме D_i + D_j удалены повторы матричных единиц.

Минимальным словарем фрагмента матричного текста называется такой словарь D_R текста P, что D_R и P взаимно кратны:

$\begin{gathered} \exists F_{PD_R} : P =F_{PD_R}D_R, \\ \exists F_{D_RP} : D_R=F_{D_RP}P \end{gathered}$

Для взаимно кратных P и D_R ненулевые матрицы F_PDR и F_DRP существуют.

Суммы матричных единиц F_PDR и F_DRP существуют, если матричные единицы P и D_R содержат одинаковое количество вторых индексов (координат) и не содержат иных вторых индексов.

Понятие минимального словаря вводится из-за того, что по свойствам матричных единиц всегда выполняется:

$PD_R=P(D_R+D_{1R})$

где D_1R может состоять из слов (матричных единиц), отсутствующих (тех самых иных) в D_R . Например, для F₁^j = F₁^jD_1R , ..., F_n^j = F_n^j D_nR всегда выполняется:

$F_{1}^j= F_{1}^j(D_{1R}+ \ldots + D_{nR}), \ldots , F_n^j= F_n^j(D_{1R}+ \ldots + D_{nR})$

Минимальные словари D_minR1 , ..., D_minRn фрагментов F₁^j , ..., F_n^j не содержат матричных слов (вторых индексов матричных единиц), отсутствующих в соответствующем фрагменте текста.

Классы эквивалентности контекстов задаются общими минимальными правыми словарями D_minR. Если пара контекстов имеет минимальный общий словарь, то эти контексты взаимно кратны. Следовательно, существуют их взаимные преобразования (матрицы).

Если контексты F₁^j , ..., F_n^j слова-знака E_j,j имеют минимальный общий правый словарь D_R , то они кратны друг другу. В дальнейшем под словарями фрагментов текста подразумеваются их минимальные словари.

Если заданные контексты F₁^j , ..., F_n^j умножить справа на такой словарь D^j_R , что каждый полученный контекст будет иметь правый словарь (минимальный) D^j_R , то они называются редуцированными контекстами:

$F_1^j D_R^j, \ldots , F_n^jD_R^j \ \ \ \ \ \ \ \ \ \ \ \ \ \ (4)$

При редуцировании (умножении справа) часть матричных единиц со вторыми индексами, которых нет в D^j_R удаляется в каждом из F₁^j , ..., F_n^j. Если в каких-то полученных фрагментах отсутствует хотя бы один из индексов словаря, то он не должен попасть в (4).

Категоризация

Контексты с общими словарями, например, после редукции (4) слова-знака E_j,j, являются объектами категории знака Cat(E_j,j). Все матричные тексты (4) по построению кратны друг другу по (20) [2], имеют общий (и минимальный) словарь, следовательно, всегда существуют матрицы преобразования F^j_1,k как морфизмы категории знака Cat(E_j,j):

$F_1^jD_R^j= F_{1,k}^jF_k^jD_R^j \ \ \ \ \ \ \ \ \ \ \ \ (5)$

Отношения (5) являются наименьшими транзитивными отношениями на множестве F₁^j , ..., F_n^j и являются транзитивным замыканием этого множества из-за того, что из контекстов F₁^j , ..., F_n^j операцией (4) удалены все матричные слова, отсутствующие в общем словаре D^j_R.

Остальные категорные аксиомы выполняются из-за свойств квадратных матриц одинаковой размерности.

Транзитивное замыкание (5) можно определить для любого подмножества (m < n):

$F_1^j, \ldots, F_m^j \subset F_1^j, \ldots, F_n^j, \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (6)$

задав для F₁^j , ..., F_m^j по (2) их общий словарь D^j_mR ⊇ D^j_R (D^j_R является подмножеством D^j_mR по свойствам (2)). В этом случае транзитивное замыкание (5) производится по словарю D^j_mR:

$F_1^jD_{mR}^j=F_{1,k}^jF_k^jD_{mR}^j. \ \ \ \ \ \ \ \ \ \ \ \ (7)$

Пример

В качестве примера матричного текста используется (5) [2], в котором имеется четыре одинаковые как знаки слова «множество» E_1,1, E_5,1, E_10,1, E_14,1. У этих четырех знаков, в свою очередь, имеется четыре контекста F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17:

$\begin{gathered} F_{1,5}^{1}\equiv F_{1}^{1}+E_{2,2}+E_{3,3}+E_{4,4}=F_{1,1}D_{1}^{1} \\ F_{5,10}^{1}\equiv F_{2}^{1}+E_{6,3}+E_{7,7}+E_{8,8}+E_{9,2}=F_{2}^{1}D_{2}^{1}\\ F_{10,14}^{1}\equiv F_{3}^{1}=E_{11,3}+E_{12,12}+E_{13,4}=F_{3}^{1}D_{3}^{1}\\ F_{14,17}^{1}\equiv F_{4}^{1}=E_{15,3}+E_{16,16}+E_{17,17}=F_{4}^{1}D_{4}^{1}\\ D_1^1 = E_{2,2}+E_{3,3}+E_{4,4}, \\ D_2^1 = E_{2,2}+E_{3,3}+E_{7,7}+E_{8,8}, \\ D_3^1 = E_{3,3}+E_{4,4}+E_{12,12}, \\ D_4^1 = E_{3,3}+E_{16,16}+E_{7,7}, \end{gathered} \ \ \ \ \ \ \ \ \ \ (8)$

где D¹₁ , D¹₂ , D¹₃ , D¹₄ – это словари соответствующих контекстов, в последнем контексте F¹_14,17 второй индекс равен не отсутствующему в словаре текста номеру последнего повтора знака, а номеру последнего слова в тексте для того, чтобы было определено окончание контекста.

Постановкой задачи является вычисление одинаковости и различия слов E_1,1, E_5,1, E_10,1, E_14,1 в зависимости от одинаковости и различия по некоторой мере (модулю) их контекстов F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17. Одинаковость контекстов определяется наличием общих словарей, которые используются как модуль сравнения контекстов. Различие определяется вычетами контекстов по этому же модулю. Вычеты определят свои классы эквивалентности (классы вычетов) и категории вычетов, поскольку для них также может происходить замыкание транзитивности.

Общий словарь четырех контекстов F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17 по (2):

$D_R^1=D_1^1D_2^1D_3^1 D_4^1= E_{3,3} \ \ \ \ \ \ \ \ \ \ \ (9)$

Транзитивное замыкание (4) по общему словарю-модулю приводит к удалению «лишних» слов:

$\begin{gathered} F_{1}^{1}\rightarrow F_{1}^{1}D_{R}^{1}=E_{3,3},\\ F_2^1\rightarrow F_2^1D_{R}^{1}=E_{6,3},\\ F_{3}^1\rightarrow F_{3}^{1}D_{R}^{1}=E_{11,3}, \\ F_{4}^{1}\rightarrow F_{4}^{1}D_{R}^{1}=E_{15,3} \end{gathered} \ \ \ \ \ \ \ \ \ \ \ \ \ \ (10)$

Таким образом, редуцированными (сокращенными) контекстами знака-слова E_1,1 («множество») являются четыре слова E_3,3, E_6,3, E_11,3 и E_15,3 . Эти слова имеют одинаковый знак E_3,3 («объект») в объединенном по (3) словаре для D¹₁ , D¹₂ , D¹₃ , D¹₄:

$\begin{gathered} D_1^1+D_2^1-D_1^1D_2^1 = E_{2,2}+E_{3,3}+E_{4,4}+E_{7,7}+E_{8,8} \\ \left(E_{2,2}+E_{3,3}+E_{4,4}+E_{7,7}+E_{8,8} \right) + \\ + D_3^1 - \left(E_{2,2}+E_{3,3}+E_{4,4}+E_{7,7}+E_{8,8} \right) D_3^1= \\ = E_{2,2}+E_{3,3}+E_{4,4}+E_{7,7}+E_{8,8}+E_{12,12} \\ \left(E_{2,2}+E_{3,3}+E_{4,4}+E_{7,7}+E_{8,8}+E_{12,12} \right) + \\ + D_4^1 - \left(E_{2,2}+E_{3,3}+E_{4,4}+E_{7,7}+E_{8,8}+E_{12,12} \right)D_4^1=\\ = E_{2,2}+E_{3,3}+E_{4,4}+E_{7,7}+E_{8,8}+E_{12,12}+E_{16,16}, \end{gathered}$

где каждая формула является последовательно попарным объединением словарей (3).

Слова E_1,1, E_5,1, E_10,1, E_14,1 в смысле их сокращенных (редуцированных) контекстов E_3,3, E_6,3, E_11,3 и E_15,3 могут быть одинаковы или различаться. Задание меры сравнения E_3,3, E_6,3, E_11,3 и E_15,3 определяет результат сравнения E_1,1, E_5,1, E_10,1, E_14,1. В простейшем случае, если принимаются одинаковыми E_3,3, E_6,3, E_11,3 и E_15,3, то будут одинаковыми и E_1,1, E_5,1, E_10,1, E_14,1. Это имеет место, например, когда слова понимаются только как знаки-буквы в словаре-алфавите и их контекстная зависимость отсутствует.

Для решения задачи сравнения смысла слов полезно вычисление соответствующей категории знаков этих слов. Категория знака Cat(E_3,3) состоит из четырех редуцированных объектов-контекстов (10):

$F_1^1 \sim E_{3,3}, F_2^1\sim E_{6,3}, F_3^1 \sim E_{11,3}, F_4^1\sim E_{15,3} \ \ \ \ \ \ \ \ \ \ \ \ (11)$

Морфизмами Cat(E_1,1) являются четыре матрицы E_6,3, E_11,6, E_11,3 и E_15,3 :

$F_2^1 = E_{6,3}F_1^1, F_3^1 = E_{11,6}F_2^1, F_4^1 = E_{15,11}F_3^1, F_4^1 = E_{15,3}F_1^1 \ \ \ \ \ \ \ \ \ (12)$

Композицией морфизмов является соотношение:

$E_{15,11}E_{11,6}E_{6,3}=E_{15,3}. \ \ \ \ \ \ \ \ \ \ \ \ \ \ (13)$

Композиция (13) является выражением интервальной разметки слова E_3,3 (45) [2] на языке теории категорий, а редуцирование (10) - примером решения системы сравнений по модулю F_m (39) [2]. Полезность использования теории категорий в том, что ее подход более общий и позволяет использовать методы из разных разделов алгебры.

Таким образом, все четыре фрагмента текста F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17 одинаковы (эквивалентны) в смысле знака- слова E_3,3 (сравнимы по модулю E_3,3). Существует матрицы-морфизмы E_15,11, E_11,6, E_6,3, E_15,3, преобразующие эти тексты по (12) друг в друга. По аналогии с библиотечным каталогом все четыре текста F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17 (объекты категории знака Cat(E_3,3)) находятся в одном каталожном ящике с наименованием знака E_3,3. Это пример грубой классификации текстов по ключевым словам. Контекстный смысл слов не учитывается, все такие слова как знаки одинаковы и все случаи их появления в тексте могут складываться для вычисления значимости ключевых слов по частоте употребления.

Полученный результат означает, что в первом приближении все четыре слова «множество» контекстно связаны со словом «объект». Слова «множество» E_1,1, E_5,1, E_10,1, E_14,1 могут быть одинаковы или различаться настолько, насколько одинаковы или различны их сокращенные (редуцированные) контексты E_3,3, E_6,3, E_11,3 и E_15,3.

В [2] было показано, что для матричных текстов выполняются сравнения по модулю. Остатки деления фрагментов матричных текстов на другие фрагменты (модули) могут иметь остатки (вычеты), которые также как и модули являются классифицирующими признаками.

Признаком делимости (кратности ⋮) фрагментов матричных текстов является делимость (кратность) их правых словарей (20) [2]. Остатки деления словарей (вычеты словарей) фрагментов являются словарями остатков от деления этих фрагментов.

Для того, чтобы вычислить сходства и различия слов E_3,3, E_6,3, E_11,3 и E_15,3 необходимо сравнить контексты F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17 по модулю E_3,3.

Тогда вычеты каждого контекста по модулю E_3,3 равны:

$\begin{gathered} \textrm{res} (F_1^1) \sim \textrm{res} D_1^1 = \\ = E_{2,2}+E_{3,3}+E_{4,4} - (E_{2,2}+E_{3,3}+E_{4,4}) E_{3,3}= \\ = E_{2,2}+E_{4,4} \\ \textrm{res}(F_2^1)\sim \textrm{res} D_2^1 = \\ = E_{2,2}+E_{3,3}+E_{7,7}+E_{8,8} - (E_{2,2}+E_{3,3}+E_{7,7}+E_{8,8}) E_{3,3}= \\ =E_{2,2}+E_{7,7}+E_{8,8} \\ \textrm{res}(F_3^1)\sim \textrm{res} D_3^1 = \\ = E_{3,3}+E_{4,4}+E_{12,12} - (E_{3,3}+E_{4,4}+E_{12,12}) E_{3,3}= \\ =E_{4,4}+E_{12,12} \\ \textrm{res}(F_4^1)\sim \textrm{res} D_4^1 = \\ = E_{3,3}+E_{16,16}+E_{7,7} - (E_{3,3}+E_{16,16}+E_{7,7}) E_{3,3} = \\ = E_{16,16}+E_{7,7} \end{gathered} \ \ \ \ \ \ \ \ (14)$

Из (14) следует, что все F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17 (следовательно, слова «множество» E_1,1, E_5,1, E_10,1, E_14,1) несравнимы по модулю E_3,3. Вычеты попарно не кратны и не образуют попарно ни один класс вычетов. Это означает, что все слова E_1,1, E_5,1, E_10,1, E_14,1 различны по смыслу (контексту).

Сходство находится на следующем этапе (для вычетов), если для пар вычетов вычислять по (2) общие словари и произвести редукцию (4). Общего словаря для всех вычетов D^j_res не существует:

$\left(E_{2,2}+E_{4,4}\right) \left(E_{2,2}+E_{7,7}+E_{8,8}\right) \left(E_{4,4}+E_{12,12}\right) \left(E_{16,16}+E_{7,7}\right) = 0 \ \ \ \ \ \ (15)$

Равенство (15) является причиной отсутствия общего класса вычетов и соответствующей категории Cat_res(E_3,3). Но некоторые пары вычетов (14) имеют общие словари:

$\begin{gathered} (E_{2,2}+E_{4,4})(E_{2,2}+E_{7,7}+E_{8,8}) = E_{2,2},\\ (E_{2,2}+E_{4,4})(E_{4,4}+E_{12,12})= E_{4,4},\\ (E_{2,2}+E_{7,7}+E_{8,8})(E_{16,16}+E_{7,7}) =E_{7,7}. \end{gathered}$

Тогда эти пары вычетов после редуцирования (4) образуют классы и категории вычетов с именами E_2,2, E_4,4 и E_7,7. В каталог с именем E_2,2 попадут фрагменты F¹₁ и F¹₂, в каталог с именем E_4,4 - фрагменты F¹₁ и F¹₃, в каталог с именем E_7,7 – фрагменты F¹₂ и F¹₄.

Слово E_8,8 является аннулятором (делителем нуля) трех вычетов (14):

$E_{8,8}\textrm{res}(F_1^1) = E_{8,8}\textrm{res}(F_3^1) = E_{8,8}\textrm{res}(F_4^1) = 0 \ \ \ \ \ \ \ \ \ \ (16)$

Слово E_12,12 – аннулятором

$E_{12,12}\textrm{res}(F_1^1) = E_{12,12}\textrm{res}(F_2^1) = E_{12,12}\textrm{res}(F_4^1) = 0 \ \ \ \ \ \ \ \ \ (17)$

Слово E_16,16 – аннулятором

$E_{16,16}\textrm{res}(F_1^1) = E_{16,16}\textrm{res}(F_2^1) = E_{16,16}\textrm{res}(F_3^1) = 0 \ \ \ \ \ \ \ \ \ \ \ \ \ (18)$

Это слова матричного текста, не имеющие контекста (три последние слагаемые в контекстном словаре (49) [2]) – при умножении вычета на аннулятор произведение отлично от нуля, если вычет содержит этот аннулятор.

Итак, постановкой задачи приведенного примера являлось вычисление одинаковости и различия слов E_1,1, E_5,1, E_10,1, E_14,1 в зависимости от одинаковости и различия их контекстов F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17 по некоторой мере (модулю).

Получено решение: слова E_1,1, E_5,1, E_10,1, E_14,1 (как их контексты F¹_1,5 , F¹_5,10, F¹_10,14, F¹_14,17) сравнимы по модулю E_3,3 и не сравнимы (различны) по модулям E_8,8, E_12,12, E_16,16.

Это означает, что редуцирование (10) нужно производить не по общему словарю (9), состоящему из одного слова-знака E_3,3. Как оказалась это слово-знак имеет разный смысл в разных местах текста. С учетом (16), (17), (18):

$\begin{gathered} F_1^1 \rightarrow F_1^1D_R^1 = E_{3,3} \\ F_2^1 \rightarrow F_2^1(D_R^1 + E_{8,8}) = E_{6,3}+E_{8,8} \\ F_3^1 \rightarrow F_3^1(D_R^1 +E_{12,12})= E_{11,3}++E_{12,12} \\ F_4^1 \rightarrow F_4^1(D_R^1 + E_{16,16})= E_{15,3}+E_{16,16} \end{gathered} \ \ \ \ \ \ \ \ \ \ (19)$

Правому словарю D_R (9) [2] текста (5) [2] тогда требуется расширение:

$\begin{gathered} E_{3,3} \rightarrow E_{3,3}\\ F_2^1 \rightarrow F_2^1(D_R^1 + E_{8,8}) = E_{6,3}+E_{8,8} \\ F_3^1 \rightarrow F_3^1(D_R^1 +E_{12,12})= E_{11,3}++E_{12,12} \\ F_4^1 \rightarrow F_4^1 \\ (D_R^1 + E_{16,16})= E_{15,3}+E_{16,16} \end{gathered} \ \ \ \ \ \ \ \ \ \ \ \ (20)$

Исходный словарь (9) [2] преобразован в контекстный словарь (20). К знакам-словам E_3,3, E_6,3, E_11,3 и E_15,3 добавлены с помощью вычисления категорий дополнительные слова E_8,8, E_12,12, E_16,16. Этими дополнительными словами E_8,8, E_12,12, E_16,16 слова E_6,3, E_11,3 и E_15,3 отличаются между собой.

Приведённая выше классификация является категоризацией матричных текстов по словарям. При категоризации классы и их наименование вычисляются как алгебраические функции текста. Категоризация вычислялась по словарям, поскольку классифицирующие признаки (имена категорий) определялись по взаимному пересечению словарей (2). Такая категоризация не учитывает порядок слов в тексте, но может быть в дальнейшем использована при построении более тонкой категоризации, учитывающей взаимный порядок слов. Модулями сравнения в этом случае будут не части словарей, а фрагменты контекстов. Замена фрагментов словарей на фрагменты текстов имеет единственной проблемой случай повторов слов в контекстах. Возникает неоднозначность при делении (построении морфизмов категории) [2]. Именно поэтому вначале производится сравнение по модулю словарей, определяются сходства и отличия (делители и остатки) по этой мере. Затем, после установления сходства и отличия слов-повторов в контекстах, модуль сравнения по словарю заменяется на фрагмент текста, который уже учитывает порядок слов. Именами категорий становятся фрагменты текста.

Общий метод вычисления классифицирующих признаков дает аналог CRT для матричных текстов.

Китайская теорема об остатках (CRT)

Китайская теорема об остатках для матричных текстов формулируется следующим образом. Пусть даны:

D_1R , ..., D_kR попарно не кратные минимальные словари фрагментов матричного текста F₁, ..., F_k.
D_R = D_1R + ... + D_kR – правый словарь некоторого текста P.
D'_R = D'_1R +. . . + D'_mR – правый словарь некоторого текста P', m < k.
P' ⊂ P : D'_R ⊂ D_R (текст P' является частью P в смысле того, что его словарь D'_R является частью словаря D_R).
Кортеж (r₁ , ... , r_k), где r₁ ≡ P' ( mod D'_1R ), ..., r_k ≡ P' ( mod D'_kR ) (это означает, что: P' = P' D'_1R+r₁, ..., P'= P'D'_1R+r_k).

Тогда существует взаимно-однозначное соответствие:

$P'\longleftrightarrow (r_1, \ldots, r_k) \ \ \ \ \ \ \ \ \ (21)$

Доказывается по индукции с использованием определения кратности полиномов матричных единиц и минималь- ности словаря.

Кортеж вычетов (r₁ , ..., r_k ) является классифицирующим признаком всевозможных кратных друг другу текстов, имеющих словарь D'_R или любую его часть. Именно по (21) следует строить классификаторы языковых и иных знаковых последовательностей.

Список литературы

А. Б. Петровский. Теория измеримых множеств и мультимножеств. M. Наука, 2018. 359 c.
С. Б. Пшеничников. Алгебра текста. Researchgate Preprint, 2021.
С. Б. Пшеничников. Компьютерная игра «Двойные шахматы». Свидетельство о государственной регистрации программы для ЭВМ. от 4.12.1992 No 920129.

Теги:

Хабы:

Категория контекста

Сходство и одинаковость

Контекст

Категория контекста

Редукция контекстов

Категоризация

Пример

Китайская теорема об остатках (CRT)

Список литературы

Публикации

Истории

Ближайшие события