Министерство обороны США попытается решить проблему deepfake



    Управление перспективных исследовательских проектов Министерства обороны США (DARPA) ищет средства для быстрого обнаружения deepfake в условиях «растущей угрозы крупномасштабных дезинформационных атак».

    На прошлой неделе Управление объявило о том, что 28 августа проведёт день соискателей. Цель мероприятия — дать больше информации о программе Semantic Forensics (SemaFor). Программа, по словам DARPA, будет разрабатывать способы обхода некоторых слабых сторон современных deepfake-инструментов.

    «Методы обнаружения, которые использовались раньше, часто можно обмануть из-за их ограниченных ресурсов, — говорится в объявлении DARPA. — Однако существующие алгоритмы автоматического генерирования и манипулирования мультимедиа в значительной степени подвержены семантическим ошибкам».

    Под «семантическими ошибками» специалисты Управления имеют в виду ситуации, когда в искусственно сгенерированных изображениях допускаются просчёты — например, когда у человека с искусственно сделанным лицом оказываются «несоответствующие серьги» или другие неправильные детали.

    «Эти семантические неудачи дают возможность получить преимущество», — говорится в сообщении Управления.

    Предварительный график дня соискателей включает в себя брифинги ряда должностных лиц DARPA с учётом выделенного времени для вопросов и ответов участников. Для участия в мероприятии нужна предварительная регистрация.

    Это объявление — не первая попытка DARPA нанести удар технологии deepfake. С 2016 года в агентстве работает команда Media Forensics (MediFor), занимающаяся разработками в этой области. Цель работы команды заключается в том, чтобы «выровнять ситуацию на игровом поле цифровых изображений, которая в настоящее время благоприятна для манипуляций, путем разработки технологий автоматизированной оценки изображений или видео». Программа стартовала в 2016 году и будет финансироваться до 2020 года. Дэвид Доерманн, руководитель программы MediFor, заявил NBC News, что после 2020 года команда надеется работать с компаниями Кремниевой долины над интеграцией инструмента непосредственно на своих платформах.

    Всего же за последние два года Управление потратило $68 миллионов на разработки, призванные обнаруживать deepfake.
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 25

      0

      Не проще ли постараться искать оригинал конкретного deep fake? И предъявить этот оригинал. Человеки сразу поймут где что, без компьютерного анализа. Фейк всегда делается на базе чего-то существующего.

        +2
        В случае какой-либо серьезной «атаки», заготовку для фейка могут снять специально, подобрав освещение, организовав схожую локацию (с тем материалом с которого берется лицо) и т.п. Можно достичь по настоящему ужасающих по своей правдоподобности результатов.
          –2
          Если так, то это уже полноценная инсценировка с элементами компьютерной графики, в т.ч. ИИ графики. Так можно любое кино снять, с кем угодно в главной роли.

          На это есть один выход — не верь глазам и ушам своим. Ни при каких условиях. Ибо мир изменился.
            0
            От серьёзной атаки остаютя серьёзные следы. Организовать съёмкии и сделать наложение на компьютере — задачи принципиально различные по заметности.
          +3
          По-моему, с неправильного конца пытаются решить проблему. Правильнее априори полагать, что любое видео, как и любой текст, может не иметь никакой связи с реальными событиями. Насчет текста это известно людям уже не первое тысячелетие, а вот с видео — действительно что-то новенькое. Стало быть, пусть СМИ и все посредники, если утверждают, что информация достоверна, проверяют свои источники и подписывают каждое звено цепи. Это бы решило многие проблемы, в частности, издания (в том числе чисто текстовые) сами бы отсортировались по желтизне и конкурентно боролись бы за более объективный рейтинг.
            0
            Правильнее априори полагать, что любое видео, как и любой текст, может не иметь никакой связи с реальными событиями.

            Да, правильнее. Но человек существо не полностью рациональное. На фейки/вбросы в интернете до сих пор ведутся.
              0
              Если мы не доверяем СМИ, то почему мы должны доверять их ссылкам на их источники и самим источникам? Источник может быть так же недостоверным или ссылаться в какой-то части на другой источник. Второй источник сошлётся на какой-то иноязычный ресурс и доказательство будет построено на не совсем точном переводе.
                0
                Достаточно лишь, чтобы мотивированный дилетант смог пройти по цепочке до конца без существенных затрат. Разумеется, должно существовать последнее звено, которое никуда не ведет, но оно должно ссылаться на конкретные персоналии, перекладывая на них ответственность с распространителей информации.
                  0
                  А что делать с источниками, которые СМИ не могут разгласить для их защиты?
                  Так же остается вопрос анонимных источников, или источников предоставивших данные на условиях анонимности.
                  Полностью от них отказаться не получится, потому что в ряде случаев люди не могут иначе сообщить важную для общества информацию.
                    0
                    Это тоже не проблема. Достаточно, чтобы такие источники были явно промаркированы. То есть общий тезис состоит в том, что правильные метаданные рулят. Нужно «всего лишь» стандартизовать эти метаданные и как-то принудить (для лицензируемых СМИ законодательно, для всех остальных — репутационно) публикаторов к тому, чтобы снабжать ими свои сообщения.
                0
                любое видео, как и любой текст, может не иметь никакой связи с реальными событиями

                А вот этому тексту вы доверяете? Если не доверять никакому тексту, то никакой текст нет смысла читать вообще (разве что художественные). А если просто думать, что, возможно, этот текст ложный, то это бесполезно. Ну да, каждый текст возможно немножечко ложный. Что это вам даёт, какие выводы?


                Полезно иметь оценку — этот текст наверняка ложный, этот — возможно, а вон тот — вряд ли ложный. Вот такая градация уже может быть полезной.


                Для себя я опираюсь на научное сообщество. Если есть несколько исследований, значит скорее всего Х верно. Если исследований нет вообще, то скорее всего Х не верно. С новостями сложнее.

                  0
                  В том и смысл: приблизить новостные сообщения к научным статьям. Более общо — построить дополнительный граф отношений на множестве сообщений и авторизованных персоналий. На самом деле даже имеющаяся система в научном сообществе несовершенна и часто справедливо критикуется, то есть там тоже есть над чем работать.
                    0

                    У людей нет такой потребности в массе. Они с удовольствием читают и распространяют фейки, например.


                    Фильтровать для себя — можно. Сделать сообщество — можно (но на хабре в массе тоже потребность в этом не велика, им хватает простой фильтрации).


                    Приблизить новости к научным статьям — нет, нельзя. Авторы статей не будут это делать и вы никак их не заставите.

                +1
                Надёжнее выработать новый формат видео, с метаданными.
                Например, с информацией о глубине. С кучей данных вроде gps, ультразвуке, интерференционной картинки от инфракрасного света.

                И, конечно же, персональная цифровая подпись в случае, когда снимают публичную персону.
                Главам государств ничего не мешает обменяться публичными ключами для верификации официальных заявлений.

                image
                  0

                  А в чём проблема? Метаданные тоже можно генерировать.

                    –1
                    то есть остальную часть моего сообщения вы не читали? :)
                  +1
                  Сначала героически придумываем новые технологии, потом в панике ищем способы, как с ними справиться :) В советские времена это называлось «имитация кипучей деятельности» :)
                    +1

                    ИБД — имитация бурной деятельности

                    +1

                    А давайте запретим Photoshop, чтобы не было фотожаб )))

                      0
                      Тут наверное не в фотожабе дело, а в том что стараниями журнализдов и пропогандистов всех мастей, фактами становятся не то, что было в реальности а то что могли лицезреть миллионы. Смастерить видосик про «свинью» и написать краткую аннотацию что так и было вы реальности и всё. Они боятся что этим инструментом уже умеют пользоваться миллионы.
                      0
                      Американское Минобороны уже ловили за руку, как они подделывают кадры разведки или с места боев, чтобы прикрыть свои неудачи и объяснить, что это были не мирные жители, а самые настоящие террористы — притом тема старая, еще в Югославии они уже кормили журналистов «правдивой» кинохроникой (напр. — это про взрыв поезда под Грделицой, в Сербии, в 1999).

                      Теперь же удивляются, что и другие, оказываются, подделками умеют заниматься. Странно, но разведки всех стран уже давно (десятки и сотни лет) работают с информацией, априори предполагая, что у них в руках — деза, и находя способы просеивания лжи в поисках крупинок правды. В DAPRA, что, привыкли верить всему, что видят?

                      Хотя, конечно, судя по кино, где Главный Генерал, подтянутый и в форме, говорит патлатому комьютерщику «сынок, увеличь-ка!», и на экране из группы в 8 точек медленно проступает контур Самого Главного Террориста (и Генерал тут: «Вот, вот он, негодяй, отправить Самую Главную Спецгруппу его захватить!»), то в DAPRA хотят на каждый свой телевизор поставить кнопку «отсей ложь!», которая 100% точно скажет, что на экране показано.

                      Интересно, в DAPRA не против, чтобы такая кнопка была и на каждом телевизоре в мире? Чтобы и поделия пиарщиков Минобороны юзеры бы сразу отличали от правды?
                        0
                        Интересно, в DAPRA не против, чтобы такая кнопка была и на каждом телевизоре в мире? Чтобы и поделия пиарщиков Минобороны юзеры бы сразу отличали от правды?

                        Вот как раз против и этого больше всего боятся.
                          –1
                          Это типа сарказм был. Неужели на Хабре нужно ставить запрещенный здесь смайлик, чтобы поняли, что тон юмористический?
                            0
                            Бывает всякое, не все могут в юмор или бывает не всегда понимают контекст, я вот такой, не всегда понимаю контекст.
                        0

                        DARPA-GAN как новый источник для ассистированного обучения.


                        /грустная шутка.

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое