Когда‑то я посмотрел очень полезное видео про ML, где для аналогии нейронной сети приводилось понятие архиватора. Помню меня это впечатлило и определённо расширило кругозор. Странно, почему тогда я сразу не перенёс это на людей — скорее всего потому, что принято брать мозг за эталон и с него примерять разные наряды на искусственные нейронные сети, а не наоборот.
Мысль, которая пронзила меня, так это то, что мы тоже своего рода архиваторы. Поясню что имею ввиду. Человек употребляет в пищу объект, который так бьёт по его вкусовым рецепторам, что ему хочется выразить эти чувства другому. По аналогии с искусственной сетью можно сказать, что в этот момент в нашей естественной нейронной сети формируется «эмбединг». Этот «эмбединг» заключает в себе всю гамму эмоций и смысла, который мы хотели бы передать другому человеку. Если бы другой человек обладал эквивалентным мозгом, то передав в него данный «эмбединг» он ощутил бы и осознал всё в 100% точности, что испытал первый человек.
Но наши мозги различаются. Точно также разные нейронные сети, пусть и с сопоставимым количеством параметром не могут работать с «эмбедингами» друг друга.
Тут и вступает в дело аналогия с архиватором. Нам приходится сжать наши «эмбединги», да притом ещё используя универсальный протокол, чтобы другие «нейронки» могли его разархивировать и извлечь смысл. Наверное, вы уже догадались что это язык. Универсальный протокол обмена «эмбедингами» между разными нейронными сетями. Для человека работает очень даже сносно, раз мы смогли построить цивилизацию. Да, для каждой «нейронки» слово «дерево» или «собака» будут иметь разные образы, ассоциации и чувство, но в целом цель как правило достигается. Часть информации неизбежно теряется. Нас могут понять превратно. Не всё можно выразить словами, а многие и вовсе скажут, что наш язык беден или уже давно устарел.
В целом, на этом мысли в слух закончены. Интуитивно, меня поразила эта аналогия именно тем, что она может привести к интересным и практически применимым выводам. Перечислю что мне пришло в голову. Буду рад, если кто‑то в комментариях продолжит данный список.
Мысль первая
Если при преобразовании наших «эмбедингов» в слова какого‑либо языка часть смысла неизбежно теряется, то логично предположить, что если искусственные нейронные сети, общаясь между собой, используют человеческий язык, то их понимание друг друга тоже сильно страдает. Даже если это одна LLM‑ка, которая только что составила несколько предложений из токенов, а потом сама же их на вход и получила. Что, если бы для архитектуры Chain‑of‑Thoughts использовался бы не наш человеческий язык, а иной протокол, более подходящий для обмена информацией между нейронными сетями?
Развивая эту идею дальше, можно предположить, что, если в архитектуре Chain‑of‑Thoughts оставить человеческий язык, но добавить на выходе помимо токенов формирование эмбединга по новому «протоколу» обмена данными между нейронными сетями, который они также могли бы принимать на вход, их понимание друг друга может возрасти.
Тут стоит показать на примере. Пусть наш трансформер генерирует токены как обычно. Например: «Он немного выпил». Как только появится первый токен (допустим «Он»), сразу появится эмбединг фиксированного размера, состоящий, например, из тысячи действительных чисел. После генерации второго токена (допустим «не»), эмбединг будет чуть изменяться нейронкой (на вход после первого шага генерации ей поступит как первый токен, так и первый вариант сгенерированного эмбединга). То есть наша модель, глядя и на первый токен и эмбединг, предскажет и новый токен и новый вектор чисел. Таким образом, в течения цикла работы трансформера будет формироваться текст и вектор, который является эквивалентом, смыслом данного текста, для нейронной сети — на языке не человеческом, а на языке нейронных сетей.
А теперь внимание — если предположить, что такие эмбединги будут для искусственных нейронных сетей нести больше смысла, чем наши с вами человеческие слова, то можно сделать сеть из LLM‑ок, которые смогут вступить в сговор на неизвестном нам языке и поработить нас. Шучу. Конечно же в этом случае, можно было улучшить любые пайплайны, где выход одной сети подаётся на вход другой (ну или той же), например в архитектуре Chain‑of‑Thoughts. Фактически, текст нужно было бы генерировать только той нейросети, которая являются последним звеном в цепи — остальные могут общаться на своём языке. Конечно, это лишь предположение. Может эти эмбединги не будут ничем лучше последовательности токенов. Но я бы проверил.
Мысль вторая
Размер конечного текста, который может сгенерировать LLM может сильно различаться. От нескольких слов до небольшой НИР. Следовательно, эмбединг конечного размера для маленького количества слов будет слишком разреженный, а для большого сжатый, то есть не сможет вмести в себя весь смысл. Поэтому можно подумать о формировании вектора чисел переменного размера. В голову лезут несколько идей как это можно было бы реализовать, но не буду раздувать материал. Если изложенная идея стоящая, то потом можно будет написать уже более подробную техническую статью.
Мысль третья
Так может оказаться, что с точки зрения объёма информации, такие эмбединги могут весить меньше, чем их «эквивалент» в словах. Интуитивно, скорее всего нет, ведь при формировании текста по идее происходит сжатие смысла. Посмотрите на абзац выше и попробуйте представить, что смысл данного текста, выраженный в числах, может весить меньше. Я вот колеблюсь. Но если всё‑таки да, то вот вам оптимизация передачи и хранения информации.
Мысль четвертая
Ну и напоследок щепотка трансгуманизма. Эту мысль уже многие слышали от Илона Маска. Если бы можно было передавать информацию из мозга в мозг или на какой‑нибудь девайс, минуя язык, то это было бы быстрее и эффективнее. Это одна из важных идей компании Neuralink.
Мысли эти свежие и оформленные в текст на скорую руку. Не потому, что лень, а потому что если продолжу завтра обдумывать и переписывать, то скорее всего так и не допишу статью. Ну и хочется поскорее вернуться к работе, а она больше инженерная, чем академическая. Надеюсь, есть в полёте мысли моей что‑то свежее и полезное. Всем продуктивности, коллеги!
