OpenAI сформировала специальную команду для управления «сверхразумными» ИИ-системами. Её главой стал один из основателей компании и её главный научный сотрудник Илья Суцкевер.
Согласно публикации в блоге OpenAI, ИИ, превосходящий по возможностям человеческий разум, может появиться в течение десятилетия. При этом необязательно, что «сверхразум» будет благожелательно настроен к человечеству, поэтому необходимо искать пути контроля и ограничений возможностей подобных систем.
«В настоящее время у нас нет решения для управления потенциально сверхинтеллектуальным ИИ и предотвращения его выхода из‑под контроля», — отметили в компании. Существующие технологии настройки искусственного интеллекта основаны на обучении с подкреплением на основе обратной связи от человека. При этом такие методики рассчитывают на то, что люди в принципе могут контролировать ИИ, что маловероятно с системами, потенциально более разумными, чем человек.
Для изучения вопроса команда получит доступ к 20% вычислительных мощностей компании. К ним присоединятся учёные и программисты из отдела, занятого настройкой ИИ в компании, а также других подразделений — в ближайшие четыре года команда планирует справиться с ключевыми техническими вызовами, связанными с контролем сверхразумного ИИ.
По сути, речь идёт о тренировке ИИ с использованием обратной связи. При этом будут использовать специальный искусственный интеллект, предназначенный для оценки других ИИ-систем и обеспечения желаемых результатов, а также обеспечения безопасности их эксплуатации. В OpenAI считают, что искусственный интеллект справится с этим лучше и быстрее, чем люди.
