Забыть про Backprop: Как я собрал «Термодинамический Мозг» с фазой сна и митозом, который влезет в Arduino

[YMA]

Попробовал закинуть первое, что под руку попалось - текстовый массив с диалогами из художественных произведений

На выходе получил вот такое

- Жил как это возможно.
- На койной служивше.
- То есть мудрил?
- Потому что не наелась?
- Напримерно.
- На что ты сейчас? Мне тоже, как понимать? Принеси по часа Иваныча!

Сильно напоминает работу марковских цепей, развитием которых и является, как я понимаю?

Для создания текстов, которыми замусоривать выдачу краулерам ИИ - отлично подойдёт. ;)

[mozg4d]

да, это реально развитие цепей Маркова)
вообще все это делалось для "первого слоя" нейросети построенного на них: https://habr.com/ru/articles/996268/
Но я столкнулся с комбинаторным взрывом, так что пришлось выдумывать, как построить "навороченную" цепь Маркова любой длинны не потребляя оперативки.

[ruomserg]

"Так дело не пойдет..." (C). Сходу проблема заключается в том, что у вас марковская цепь поедает символическую запись языка (буквы). Нам может это казаться странным (особенно при чтении текста, который кажется из букв и состоит) - но мы ни разу не оперируем внутри мозга буквами. Мы оперируем "понятиями". Кто освоил скорочтение - тот не даст соврать - при чтении переносит сразу образ слова с бумаги и ассоциирует его с понятием - не разбирая на буквы и слоги.

Вангую, токенизацию и векторное пространство не зря придумали. Без эквивалентного механизма ассоциации понятий - ничего путного не выходе не будет. Ибо как она ела буквы и их сочетания - так и будет их воспроизводить. Без семантики...

[mozg4d]

да, чтобы были "понятия" а не набры букв нужно делать "надстройку" над "термодинамическим мозгом". Для этого LSH буду использовать или еще что. Тоесть этот концепт - базовый слой - хлеб на который будет намазываться масло.
А насчет тоенизации - я не придумал как это делать в браузере. BPE - медленный бестолковый алгоритм. Разбивать на слова - рабочий варинант, быстро. Но в "термодинамическом мозге" токенизация происходит сама-собой, его даже как не точный токенизатор можно использовать.

[ruomserg]

Если уж вы настаиваете на буквах как основе - то обратите внимание, что информационная ценность букв разная. Дл прмр т прдлжн в щ мжт пнть. А эо уе я и!

[imbasoft]

Подремонтируйте, пожалуйста, как с помощью с помощью вашей идеи можно обучить ИИ делать XOR

[mozg4d]

00 -> 0; 01->1; 10->1; 11->0. 4 узла.. в узлах же могут быть последовательности
можете даже такой текстовик по приколу закинуть на обучение в прогу

[avshkol]

Очень интересная модель!

И первый же вопрос, который приходит в голову: Почему не на питоне?..

[mozg4d]

Если бы выбирал что-либо кроме браузера, то смотрел бы прежде всего на С++ или rust. скорость тогда на порядок была ы выше и код был бы намного проще.
А в браузере - чтобы любой желающий мог попробовать