Google опубликовала исследование, посвященное основным трендам машинного обучения (ML) в 2021 году. Как отметил Джефф Дин, старший научный сотрудник и вице-президент Google Research, в ближайшие несколько лет в отрасли грядет ряд научных прорывов. Дин выделил пять трендов, которые влияют и будут влиять на развитие ML в ближайшие годы.
Тренд 1. Более мощные модели ML общего назначения
В последние года исследователи работают со все более крупными, мощными моделями машинного обучения. К примеру, в лингвистике несколько лет назад модели с миллиардами параметров тренировались на десятках миллиардов сегментов данных. Сегодня модели с сотнями миллиардов или даже триллионами параметров тренируются на триллионах сегментов данных. Рост объема данных и размеров самих моделей способствует увеличению точности выполнения различных языковых задач.
Качество выходных данных у генеративных моделей тоже растет. За последние годы эти модели научились создавать реалистичные изображения по описанию (например, «ирландский сеттер» или «трамвай») и «додумывать» изображения с низким разрешением, повышая их качество, или создавать «бесконечную природу» — генерировать панорамы из одного изображения.
Кроме передовых одномодальных моделей начинают появляться и крупномасштабные мультимодальные. На сегодняшний день это одни из самых совершенных нейросетей, поскольку они способны не только понимать разные модальности (например, язык, изображения, речь, видео), но и выдавать в них результат: например, генерировать изображения на основе предложений или параграфа или давать понятное описание визуальной составляющей изображения. Все это указывает на то, что вскоре появятся высокопроизводительные модели общего назначения, способные обрабатывать несколько модальностей данных и решать тысячи или миллионы задач.
Тренд 2. Повышение эффективности машинного обучения
Многие аспекты процесса разработки ML — от оборудования, на котором обучается и выполняется модель, до отдельных компонентов архитектуры МО — можно сделать эффективнее. Каждое новое поколение ускорителей машинного обучения лучше предыдущего. Чипы становятся производительнее, а масштабы систем увеличиваются. Улучшения в компиляторах и другие оптимизации системного программного обеспечения ускорителей МО также могут привести к значительному повышению эффективности.
Важный аспект — внедрение разреженности. Разреженность подразумевает, что при обучении на примере либо на фрагменте данных или при выполнении определенной задачи активируется лишь наиболее подходящая для этого часть высокоемкой модели. Это усовершенствование может серьезно повысить производительность. Проект GLaM показал, что объединение трансформеров и технологии комбинации узкоспециализированных слоев позволяет создать модель, которая превосходит по точности нейросеть GPT-3 и при этом использует в три раза меньше энергии для обучения, а для вывода ей необходимо произвести вдвое меньше вычислений.
Тренд 3. Машинное обучение становится полезнее как для человека, так и для общества в целом
Некоторые новые разработки стали возможными благодаря инновациям в области ML. Мобильные устройства стали лучше воспринимать контекст и ощущать окружающую среду. Это важный фактор в развитии востребованных функций, таких как мобильная фотография, живой перевод и другие.
Так, правильное применение машинного обучения в фотографии продолжает расширять возможности телефонных камер. Такие функции, как улучшенный HDR+, съемка при слабом освещении, обработка портретов, а также стремление сделать камеры более универсальными, чтобы они могли работать с любыми оттенками кожи, позволяют получать фотографии, которые выглядят профессионально, точнее передают детали объекта фотосъемки и видение фотографа.
Точность распознавания речи также продолжает расти. Во многих языках улучшилось восприятие речи с акцентом, а также в шумных условиях и с наложением другого голоса. Новые проекты по внедрению технологий ML в традиционные методы речевого кодека Lyra и аудиокодека SoundStream позволили повысить качество передаваемой речи, музыки и других звуков при использовании гораздо более низкого битрейта.
Тренд 4. Растущее влияние машинного обучения на науку, здравоохранение и экологию
Продолжают появляться новые направления применения ML. В медицине машинное обучение позволяет воспроизвести нервную соединительную структуру тканей головного мозга на основе фото срезов ткани головного мозга. В будущем ML-алгоритмы будут применяться для диагностирования рака молочной железы, рака легких, ускорения лечения раковых больных с помощью лучевой терапии, определения аномалий на рентгеновских снимках и помощи в проведении биопсии рака простаты.
Технология компьютерного зрения активно используется и для решения глобальных проблем. Метод прогнозирования погоды, основанный на глубоком обучении с использованием спутниковых, радиолокационных изображений дает более точный прогноз погоды, чем традиционные физические модели. ML также используется для преодоления климатического кризиса. Например, в 2021 году инициатива Google по прогнозированию наводнений охватила 360 миллионов человек; компания отправила более 115 миллионов предупреждений об угрозе наводнения — в 3 раза больше, чем годом ранее.
Тренд 5. Более глубокое и широкое понимание ИИ
Исследователи стремятся обеспечить справедливое и равноправное использование технологии. Это основное направление деятельности исследовательской группы Google, отвечающей за ИИ и технологии, ориентированные на человека. Группа изучает системы рекомендаций, основанных на данных об активности пользователей в онлайн-сервисах. Эти системы часто состоят из нескольких отдельных компонентов, и чтобы понимать, насколько справедливо и объективно они работают, важно знать, как работают компоненты вместе и по отдельности. Недавние исследования помогли разобраться в этих взаимоотношениях и открыли методы, с помощью которых можно повысить «справедливость» ее индивидуальных компонентов и всей рекомендательной системы в целом.
