Недавно у нас в университете ИТМО прошел форсайт, посвященный видению развития отдельных направлений искусственного интеллекта на ближайшее будущее. Были приглашены эксперты из Индии и Китая, которые рассказали о развивающихся в их странах направлениях ИИ. В том числе выступали и наши эксперты.
Мне тоже удалось выступить. Я рассказывал о временных рядах, а именно о «изощренных» методах их прогнозирования и генерации на основе физически-информированных нейронных сетей. По этому поводу можно обратиться к другим моим статьям на хабре или в блоге.
Вот к каким трем основным направлениям развития ИИ в ближайшие 5-10 лет пришло большинство экспертов:
1. Вопросы эффективности. Развитие современных методов активно порождает вопросы эффективности как программного обеспечения, так и аппаратного обеспечения («железа»). Сейчас создают очень большие модели, для обучения которых требуются тысячи видеокарт. Для инференса этих моделей требуется меньше ресурсов, но это все равно затратно. Сейчас, например, актуальны методы квантизации больших моделей. В этой области ведется много исследований. Также ученые ищут подходы к более эффективному использованию железа, например, как оптимальнее оркестрировать поток задач.
2. Биологически правдоподобные модели. Вторым направлением можно выделить построение новых моделей машинного обучения на основе принципов работы биологических нейронных сетей. Наш мозг очень эффективно обрабатывает входящую информацию: в каждый момент времени активируются не все нейроны сразу, а только те, которые нужны для текущей задачи. Кстати, если бы работали все нейроны одновременно, то в голове возник бы шум, и мы не смогли бы сконцентрироваться на чем-то одном.
А в классических нейронных сетях все не так — там задействуются все нейроны одновременно. Исключением являются модели Mixture of Experts (смесь экспертов). Их принцип работы можно вообразить так: представьте, что вы задаете нейронной сети вопрос по математике. Очевидно, что в данный момент не нужно задействовать знания по биологии, истории и т.д. В MoE есть специальный блок — маршрутизатор (router) — который отвечает за перенаправление запроса к тому или иному «эксперту». Конечно, он может направить запрос сразу к нескольким экспертам, если вопрос затрагивает разные области знаний.
На практике нет такого явного тематического разделения экспертов, обычно они подбираются и обучаются самостоятельно для наилучшей генерации той или иной последовательности. И обычно эксперты активируются не для всего запроса целиком, а для отдельных токенов (например, слов) внутри этого запроса.
В общем, направление верное, собственно все чат боты сегодня строят на этой архитектуре. Однако в реальном биологическом мозге эта система представляет собой гораздо более сложную структуру. В мозге взрослого человека около 86 миллиардов нейронов и на каждом нейроне может быть от 5 до 10 тысяч синаптических связей. Как можно понять, плотность связей в нашем мозге чрезвычайно высока.
3. Фундаментальные мультимодальные модели и новая математика.
Наконец, последнее направление связано с созданием не просто языковых моделей, а фундаментальных моделей, работающих с разными модальностями (типами данных). На самом деле, любую информацию можно свести к языку — даже математические формулы можно просто описать словами. Однако в этом направлении предлагается переосмыслить текущие подходы и развивать модели с новой математикой для описания этих различных модальностей.
Также до сих пор нет единого математического обоснования нейронных сетей, лишь отдельные области и лишь отдельная математика. А когда будет единая теория не ясно.
В общем, есть куда двигаться. А как вы считаете какие направления появятся или переосмыслят в ближайшее 5-10 лет? Пишите комментарии, будет интересно почитать.
Мой блог: kirill_zakharov_blog
