Ликбез. Как учится ИИ.

Мы уже выяснили в предыдущих постах, что после «мама мыла» ИИ предпочтет раму межконтинентальной баллистической ракете. Но вопрос: а с чего он это взял?

Для обучения берут огромное количество текстов и загружают их в модель. Она видит начало какого-нибудь куска и пытается продолжить. Не угадала - подкрутили. Следующий кусок. Снова не угадала - опять подкрутили. И так раз за разом.

Причем справочник «Как устроен мир» модели никто не выдает. Ей дают гору текстов, а дальше разбирайся сама. Из них модель должна каким-то образом выяснить, что трава зеленая, растет на земле, ее едят коровы, а еще она почему-то отдельно разрешена в Нидерландах. Никто это не объясняет, это нужно вытащить из того, как люди используют слова в текстах.

А теперь ооооооочень грубо упростим происходящее внутри. Будем считать, что каждое такое подкручивание создает или поправляет маленькую ассоциацию. Эти маленькие ассоциации называются параметрами, и у большой модели их миллиарды.

Постепенно из этих маленьких ассоциаций получаются целые ассоциативные ряды. «Мама» - человек, семья, дети, дом. «Мыла» - вода, мыло, уборка, чистота. Но вместе «мама мыла» создает уже новый ряд: пол, посуда, окна и та самая рама. Ассоциации накладываются друг на друга, и их сочетание может дать связь, которой не было ни у одного слова по отдельности. Поэтому рама и пол в теории побеждают баллистическую ракету.

Но если в запросе перед этим обсуждали подготовку ракеты к параду, то она внезапно получает целую кучу дополнительных ассоциаций и возвращается в игру. Примерно это мы уже наблюдали в предыдущей заметке про миры пользователя.

Готовая модель почти не содержит в себе исходных текстов. Тексты нужны прежде всего для того, чтобы сформировать этот чудовищный клубок ассоциаций. Какие-то фрагменты модель может фактически запомнить и воспроизвести, но это скорее побочный результат обучения, а не основной способ хранения знаний.

Поэтому модель не энциклопедия. Она постепенно связывает Париж с Францией, Цезаря с Римом, цезарь с пармезаном, холодильник с магнитиками, маму с рамой и миллионы других вещей друг с другом.