ИИ итоги 2020-го года в мире машинного обучения

    Подведем основные итоги уходящего года. Рассмотрим самые громкие открытия в мире компьютерного зрения, обработки естественного языка, генерации изображений и видео, а также крупный прорыв в области биологии. Коротко о самом главном за год!

    Если тебе интересно машинное обучение, то приглашаю в «Мишин Лернинг» — мой субъективный телеграм-канал об искусстве глубокого обучения, нейронных сетях и новостях из мира искусственного интеллекта.

    GPT-3

    Ресерчеры из OpenAI представили GPT-3 — сеть Generative Pre-trained Transformer 3, одну из лучших языковых моделей на сегодняшний день. Архитектура GPT-3 подобна GPT-2, параметров стало 175 миллиардов, и модель учили на 570 гигабайтах текста.

    Более крупные модели позволяют более эффективно использовать контекстную информацию.
    Более крупные модели позволяют более эффективно использовать контекстную информацию.

    GPT-3 может генерировать статьи, отвечать на вопросы по прочитанному тексту, писать прозу, стихи, поддерживать тематический диалог и многое другое, при этом алгоритму требуется лишь небольшое кол-во примеров для адаптации под конкретную задачу.

    NVIDIA MAXINE 

    Компания NVIDIA представила нейросетевые алгоритмы под общим названием Maxine, целями которых являются: улучшение качества видеосвязи, многократное снижение нагрузки на сеть при видеозвонках (нейросетевое сжатие видео), возможность реалистичной коррекции взгляда для создания ощущения, что собеседник смотрит вам в глаза, а не в свой монитор.

    MuZero

    Еще один зверь из мира RL от  ресерчеров из DeepMind. MuZero — подход, в котором при обучении на начальном этапе не требуется знаний правил игры. Здесь стоит оговориться, что статья MuZero v1 вышла 19 ноября 2019, а MuZero v2 — 21 февраля 2020, так что можно считать это достижением 2019-2020 годов.

    Иллюстрация поиска по дереву Монте-Карло, используя MuZero
    Иллюстрация поиска по дереву Монте-Карло, используя MuZero

    MuZero на каждом шаге проводит поиск по дереву Монте-Карло, собирая информацию о текущем и предыдущем состоянии игры. Далее глубокая нейронная сеть учится оценивать результаты различных действий, предпринятых на каждом этапе игры.

    История и динамика развития RL моделей DeepMind от AlphaGo до MuZero
    История и динамика развития RL моделей DeepMind от AlphaGo до MuZero

    Алгоритм уже умеет играть в привычные нам для этой сферы игры: го, шахматы и кучу игр для приставки Atari.

    AlphaFold

    И опять DeepMind с их нейросетевым алгоритмом впредсказания трехмерной структуры белка по последовательности аминокислот — AlphaFold 2. Точность такого алгоритма составляет 92,4 балла из 100, что является рекордом на сегодняшний день! 

    При считывании информации с матричной РНК (трансляция) молекула белка формируется как цепочка аминокислот. Потом, в зависимости от физических и химических свойств, цепочка начинает сворачиваться. Таким образом формируется третичная структура белка. Именно от этой структуры и зависят свойства конкретного белка.

    Задача определения первичной аминокислотной структуры белка (самой последовательности) является элементарной. Это легко читается напрямую из ДНК. Кодон — тройка нуклеотидных остатков (триплет) образуют 64 варианта, а именно 4 (аденин, гуанин, цитозин, тимин) в третей степени. Из них 61 комбинация кодирует определённые аминокислоты в будущем белке, а 3 оставшихся кодона сигнализируют об остановке трансляции и называются стоп-кодонами. При этом 61 комбинация кодирует всего 20 различный аминокислот белка. Знакомые с теорий информации и избыточностью уже улыбаются, ну, а биологи называют кодоны, кодирующие одинаковые аминокислоты, изоакцепторными кодонами.

    Вычислить же третичную структуру белка практически нереально. Так как для полной точности придется моделировать всю нетривиальную динамику процесса сворачивания белка, учитывая сложнейшие для такого мира законы физики и колоссальную по размерам систему.

    Процесс предсказания третичной структуры белка
    Процесс предсказания третичной структуры белка

    Поэтому в последнии десятилетия ученые заняты поиском способа, при помощи которого можно было бы предсказать третичную структуру белка, определить свойства того или иного белка. И даже понять как скажется та или иная аминокислотная замена на его конечной структуре. Это открывает невиданные доселе горизонты генной инженерии.

    Чтобы сделать публикацию еще более полезной, я добавил образовательные материалы вышедшие в 2020м году:

    Новая специализация TensorFlow: Advanced Techniques от deeplearning ai, основанной самим Andrew Ng

    YouTube-Лекция: Нейронные сети: как их создают и где применяют? Два часа о “самом главном”

    Поздравляю всех с Новым годом! Больше ресерча в наступающем году!

    Комментарии 6

      +2
      За нейросетями будущее, так или иначе
        0
        Согласен, и с каждым новым годом это будущее все более явно становится частью нашего настоящего.
        0

        MuZero — на самом деле, ей уже больше года… Но массово заговорили про нее почему-то только сейчас.
        Пруф: https://arxiv.org/abs/1911.08265


        Я сам начал экспериментировать с ней после этой статьи, датированной декабрём 2019:
        https://medium.com/applied-data-science/how-to-build-your-own-muzero-in-python-f77d5718061a


        PS. С наступившим! )

          +1
          Спасибо большое за верное наблюдение и за ссылку на medium, это полезно! Я добавил замечание в статью:
          Здесь стоит оговориться, что статья MuZero v1 вышла 19 ноября 2019, а MuZero v2 — 21 февраля 2020, так что можно считать это достижением 2019-2020 годов.

          С наступившим Вас 2021 годом!
          +1
          Какой-никакой, но год все равно продуктивный
            0
            Согласен с Вами! Год оказался очень богат на публикации и прорывы во множестве областей. Многие нашли время, занялись любимым делом. Появились интереснейшие статьи и открытия.

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

          Самое читаемое