В толковом словаре Longman меньше 2000 слов. Сказано, что через них определяются все остальные слова (дефиниции слов толкового словаря). Причем число понятий можно еще сократить!
В работе про «Универсальный семантический код» (автора сейчас не припомню) был перечислен исчерпывающий список из менее 2000 отношений понятий.
В толковом словаре Ожегова слов меньше 50000.
Активный словарный запас бывает 4000-10000 слов.
Использование некоторых терминов может более четко определять контекст — вариантов значений слов будет меньше.
Так что сделать что-то более-менее работающее, похоже, можно. А если учитывать вероятности и использовать нейронные сети для уменьшения неопределенности поиска — можно еще улучшить «понимание» == уменьшить количество подходящих по контексту наборов дефиниций слов(понятий).
Система, построенная на такой «базе понятий» должна получиться более предсказуема, чем нейронные сети. Ну и в любой момент можно будет «объяснить», почему приняты те или иные решения по использованию понятий(дефиниций слов). Извлечь же подобную информацию из нейронных сетей пока затруднительно.
Субъективно, детерминированный подход мне нравится больше, чем чисто вероятностный, основанный на нейронных сетях. Думаю, что нейронные сети должны быть вспомогательным инструментом для сужения пространства решений.
В работах Чарльза Мура(создателя Forth-а) где-то в конце 2000-х был интересный быстрый компилятор стекового языка colorForth, там были и исходники.
Сам язык и система программирования для него — довольно авангардные и необычные.
Настолько, что статьи и описания идей не многим удалось понять — отворачивались раньше, т.к. новизны было слишком много и слишком уж радикальные решения. Смею думать, несколько идей я уловил, и они мне очень понравились. Давно уже хочу об этом пару статей написать…
Я переработал идеи, но за несколько редких подходов законченной реализации нет. Сейчас думаю сделать очередной подход…
Не для VPS, но для компа с малой памятью — пробовал на RPi. Если сильная нехватка == требуется памяти > имеющейся RAM, я бы считал так:
1. Обязательно zram на количество ядер, размер зависит от сжимаемости данных. 128 основной RAM (~1/3..1/4) оставить, 256*1.5=384 на все zram-ы, по количеству ядер, 1x384, 2x192 и т.п.
2. vm.swappiness ставил 10, дичайшие фризы ловил, OOM не вызывался за разумное время от 10 минут до 2.5 часов в разных случаях. В статье говорится, что надо бы увеличивать. Буду пробовать 90.
Так что сделать что-то более-менее работающее, похоже, можно. А если учитывать вероятности и использовать нейронные сети для уменьшения неопределенности поиска — можно еще улучшить «понимание» == уменьшить количество подходящих по контексту наборов дефиниций слов(понятий).
Система, построенная на такой «базе понятий» должна получиться более предсказуема, чем нейронные сети. Ну и в любой момент можно будет «объяснить», почему приняты те или иные решения по использованию понятий(дефиниций слов). Извлечь же подобную информацию из нейронных сетей пока затруднительно.
Субъективно, детерминированный подход мне нравится больше, чем чисто вероятностный, основанный на нейронных сетях. Думаю, что нейронные сети должны быть вспомогательным инструментом для сужения пространства решений.
Сам язык и система программирования для него — довольно авангардные и необычные.
Настолько, что статьи и описания идей не многим удалось понять — отворачивались раньше, т.к. новизны было слишком много и слишком уж радикальные решения. Смею думать, несколько идей я уловил, и они мне очень понравились. Давно уже хочу об этом пару статей написать…
Я переработал идеи, но за несколько редких подходов законченной реализации нет. Сейчас думаю сделать очередной подход…
1. Обязательно zram на количество ядер, размер зависит от сжимаемости данных. 128 основной RAM (~1/3..1/4) оставить, 256*1.5=384 на все zram-ы, по количеству ядер, 1x384, 2x192 и т.п.
2. vm.swappiness ставил 10, дичайшие фризы ловил, OOM не вызывался за разумное время от 10 минут до 2.5 часов в разных случаях. В статье говорится, что надо бы увеличивать. Буду пробовать 90.
Обучение, тестирование, эксперименты