Facebook задействует технологию на ИИ, чтобы ввести более подробные описания фотографий. Соцсеть задействовала ИИ для пользователей с ослабленным зрением.
Новая версия автоматического альтернативного текста (AAT) не полагается на строго контролируемое обучение искусственного интеллекта, а учится на «миллиардах» фотографий и хэштегов из Instagram.
Этот метод позволил Facebook получить более 1200 описаний, в том числе различных рецептов и памятников. Это в 10 раз больше, чем у исходной модели.
Метод также более инклюзивен с точки зрения культуры — например, он позволяет распознавать снимки свадеб, на которых нет невесты в белом свадебном платье.
Новая система обнаружения объектов видит, где находятся люди в кадре, а также их количество. Чтобы получить более подробную информацию, такую как положение и число объектов, исследователи обучили двухэтапный детектор объектов Faster R-CNN, используя Detectron2, платформу с открытым исходным кодом от Facebook AI Research.
У пользователей появится возможность выбрать подробное описание снимка, в котором будут указаны местоположение, размер и характер объектов. Подробные описания включают простую позиционную информацию — вверху/посередине/внизу или слева/в центре/справа — и сравнение относительной значимости объектов, описываемых как «первичные», «вторичные» или «второстепенные».
Facebook подчеркивает, что пока система допускает ошибки и не может распознать некоторые сцены и объекты. Однако это большой шаг в сторону доступности соцсети для людей с ослабленным зрением. Пока модель доступна на 45 различных языках.
Facebook создала модель машинного зрения, которая может «видеть» то, на что смотрит. Компания утверждает, что программа под названием SEER превзошла существующие модели искусственного интеллекта при прохождении теста ImageNet, который проверяет, может ли ИИ распознать, что находится на фото. Точность SEER составила 84,2%.
Facebook AI представила открытый исходный код набора данных, предназначенного для выявления предубеждений по возрасту, полу и цвету кожи в моделях компьютерного зрения и машинного обучения. Набор «Случайные беседы» (Casual Conversations) включает 45 186 видеороликов участников и является первым в своем роде датасетом, в котором люди сами указали свой возраст и пол.
Последнее исследование Facebook демонстрирует, как сократить число узких мест в данных, применяемых при машинном обучении, чтобы добавить системам на ИИ «здравого смысла». Исследовательское подразделение компании в области искусственного интеллекта уже много лет разрабатывает так называемое «полуконтролируемое обучение».
Facebook AI представила модель искусственного интеллекта TextStyleBrush, которая может копировать стиль текста на фотографии, используя всего одно слово. С помощью этой модели можно редактировать и заменять текст в изображениях.
В Facebook AI в сотрудничестве с исследователями из Университета штата Мичиган (MSU) разработали метод обнаружения дипфейков, который основан на реверс-инжиниринге фейкового изображения, а также самой системы, использованной для его создания.
Исследователи из Facebook AI создали новую модель передвижения робота, которая адаптируется в реальном времени к любой местности, изменяя походку, чтобы продолжать движение по песку, камням, лестницам и другим поверхностям.
Один из самых эффективных способов научить роботов выполнять полезные задачи в реальном мире — обучать их в симуляциях. Исследователи Facebook AI Research представили Habitat 2.0, платформу моделирования нового поколения, которая позволяет обучать роботов не только перемещаться по фотореалистичным трехмерным виртуальным средам, но и взаимодействовать с объектами так же, как в реальном пространстве.