Фото: «Лиза Алерт».
Если в лесу пропал человек, лучший способ его найти — отправить тренированных поисковиков на прочесывание. Ни одна технология поиска пока не может заменить людей. В начале лета мы писали про несколько команд, которые в рамках конкурса «Одиссея» разрабатывали решения для дикой природы. Многие инженеры полагались на беспилотники с камерами и компьютерное зрение, но столкнулись с не очевидными проблемами — плохая связь, низкая скорость обработки и передачи огромных данных, плотные кроны деревьев и многое другое.
В итоге ни одно решение с компьютерным зрением не прошло в финал конкурса. Но технические эксперты говорили — если бы команды объединили усилия, вместе собрали датасет и обучили на нем алгоритмы, у компьютерного зрения мог быть шанс.
На прошлой неделе, 9 августа поисковый отряд «Лиза Алерт» вместе с «Билайном» объявили о запуске инструмента, который будет искать людей на фотографиях с беспилотников. Мы сходили на пресс-конференцию, приуроченную к запуску, и узнали, как он работает.
Десятки тысяч фотографий
Презентация проходила на следующий день после скандального объявления МЧС об урагане, которое десять минут висело в эфире основных телеканалов. Ураган так и не состоялся, но погода все равно была ужасной. Для отряда «Лиза Алерт» это иногда на руку — резко падает количество заявок о пропавших в лесу людях, потому что в плохую погоду они туда просто не идут. Это освобождает силы для более сложных поисков. С другой стороны — во время похолодания пропавшие люди оказываются в еще большей опасности.
Например, за июль «Лиза Алерт» получила 1083 заявки на лес. Около 700 из них — в подмосковье. У многих потерявшихся людей еще работает телефон, и они находятся в зоне покрытия сети. Из леса их выводит группа «Лес на связи», которая объясняет, как выйти по солнцу или природным ориентирам. Иногда посылают группу, которая поставит сирену или сама выведет человека.
Но самые трудные поиски те, где связи с пропавшим нет никакой. Например, на момент пресс-конференции уже несколько дней шел поиск 73-летней женщины в районе Щелкова. Группы поисковиков прошли в общей сложности 2300 километров, и сделали над лесом 8400 фотографий с беспилотника.
«Сейчас наша технология работает так», — рассказывает Григорий Сергеев, — «Мы делаем фотографии, заливаем на сервис, который написан нашими добровольцами, и специальные группы отсматривают фотографии. Большое количество людей вне отряда тоже могут с этим помогать. На этих кадрах мы ищем что-то, что отличается от леса. Пешие группы сразу выходят смотреть, что это. Сейчас на поисках в Щёлково у нас больше ста отметок, которые надо проверить. Чтобы обойти их все, надо пройти больше трехсот километров пешком».
Когда мы говорили с участниками конкурса «Одиссея», они скептически относились к съемке леса с воздуха. Но в этом году «Лиза Алерт» находит хотя бы одного человека в неделю с помощью коптеров. По словам Григория, еще два года назад они нашли таким образом только двух человек за весь сезон. В прошлом году — шестерых.
Дроны летают над территориями, куда человеку пройти очень тяжело — буреломами, болотами. Руководитель направления беспилотной авиации «Лиза Алерт» Александр Ломоносов показал записи с трекеров поисковых групп. Прочесывание отрядами оставляло много белых пятен. Беспилотники же полностью покрывали эту территорию.
«Если бы группа пошла в бурелом, потратила бы минимум три часа. Беспилотник отработал этот район за 15 минут. Именно там был найден человек — с воздуха. В бурелом он попасть смог, а выйти оттуда сил уже не хватило. Несколько подготовленных человек эвакуировали его дольше четырех часов. И прошли за это время всего 370 метров. Буреломы, открытые поля и болота беспилотник отработает в разы быстрее, чем обычная пешая группа. Если поле заросло травой на 15 см, пешая группа из подготовленных поисковиков будет прочесывать его 6–8 часов, беспилотник — час. Он принесет фотографии всей области, и мертвые зоны будут полностью исключены».
В среднем один поиск приносит 250 фотографий. За полгода их накапливается 33 тысячи. Но сейчас в отряде мало коптеров и пилотов. Если количество будет расти, и беспилотники будут использоваться во всех 20 регионах, где работает «Лиза Алерт» — 33 тысячи снимков будет набираться за один день. А на один только отсмотр фотографий из поиска в Щелково отряд потратил 240 часов.
Датасеты поисковиков и мощности телекома
Два месяца назад «Лиза Алерт» вместе с «Билайном» начали тестировать алгоритм «Beeline AI — Поиск людей», который анализирует фотографии с беспилотников.
Проект начался с идеи научиться автоматически отсеивать пустые фотографии, чтобы группе, которая занимается отсмотром, приходили только снимки с подозрением на присутствие человека.
«В свое время я пытался найти специальные датасеты, но в мире их не существует, хотя некоторые пытались собрать», — говорит Александр Ломоносов, — «Поэтому мы сами передавали разработчикам фотографии, где находятся люди: обычных прохожих, которые попали в кадр, грибников, самих поисковиков за работой. Все это ложилось в основу датасета, на котором работает машинное зрение».
Собрать подобный датасет — тоже задача с множеством неочевидных тонкостей. Люди могут попасть в кадр в любых положениях: сидя, лежа, стоя. Они могут быть так прикрыты ветками, что видна лишь малая часть. Фон вокруг очень сильно отличается в зависимости от ландшафта, региона и времени года.
«Во многих регионах мы специально просили людей ложиться в типичные для пострадавших позы и фотографировали их. Затем искусственно размножали снимки. Например, брали человека, сфотографированного в Ростове, и перекладывали на подложки из других регионов», — говорит Григорий Сергеев.
На полученных фотографиях дата-саентисты «Билайна» стали учить алгоритмы.
«Мы как оператор привыкли работать с огромным количеством данных. У нас есть пять огромных дата центров. Только ярославский ЦОД, который мы используем для работы в том числе с «Лиза Алерт», обрабатывает 15 петабайт данных. Благодаря этому мы научились строить очень современные модели», говорит Джордж Хелд, вице-президент по развитию цифрового бизнеса «Билайн».
«Фотографии приходят к нам в систему, и нужно определить, есть на них человек или нет. Увидеть шапку, ботинок, руку, ухо, что угодно. Поэтому мы разрезаем каждое изображение на 30-35 слоев. Была проведена гигантская работа, чтобы найти подходящую для этого архитектуру и создать алгоритм, ведь любая ошибка приведет к тому, что мы пропустим людей на фотографиях. Нужны огромные вычислительные ресурсы, чтобы быстро обрабатывать каждый слой. Мы используем те же модели, что применяем и для таргетирования. Берем их составные части и переиспользуем на этом проекте».
Модель умеет искать не только человека целиком, но замечает все мелкие и подозрительные для леса артефакты на снимках. Сейчас идет первый этап тестирования, когда алгоритм отбрасывает все фотографии, где есть 98% процентная вероятность, что человека нет.
Оставшиеся снимки сразу попадают к добровольцам, которые ищут там людей, и при необходимости отправляют на точки поисковиков или дроны для дополнительной съемки. Пока система тестируется, отброшенные снимки тоже проверяют люди — но уже во вторую очередь.
Следующим этапом разработчики планируют научить алгоритм точнее определять на снимках людей и строить предиктивные модели их передвижений по лесу.
Зачем здесь 5G
Сейчас у системы есть два варианта. Первый — оффлайновая программа, чтобы обрабатывать снимки на ноутбуках в условиях, когда связи нет. Ее мощность ограничена, плюс ее необходимо обновлять при каждом подключении к сети, поскольку алгоритм постоянно учится. В полную силу работает онлайновый сервис — в нем фотографии загружаются на сервера «Билайна». Через дата центры прошло уже 15 миллионов снимков.
Лиза Алерт использует в поисках беспилотники DJI, потому что пользуется их программами для автономного полета. Один снимок с модели Mavic 2 Pro весит около 20 МБ, и после каждого полета приходится сгружать и передавать на сервис в среднем 20 ГБ фотографий. Это много даже для мест с хорошим покрытием сети.
Джордж Хелд считает, что работа поисковых алгоритмов — это аргумент в пользу построения 5G-сетей.
«Очень важно, чтобы информация передавалась по большой качественной сети, поэтому мы сейчас вкладываем огромные деньги в улучшение базовых станций, строится 5G сеть. Многие операторы говорят об этом с гордостью. Но самый большой вопрос — для чего она вообще нужна? Чтобы просто смотреть видео на ютубе? Оно будет в точности также хорошо работать и на 4G. Для 5G нужны реальные причины. Работа с «Лиза Алерт» — очень хороший пример, потому что огромное количество информации должно передаваться быстро».
Тепловизоры не нужны
В начале лета, в конкурсе поисковых технологий, в финал прошла только одна команда, которая полагалась на компьютерное зрение. Но она использовала для съемок тепловизор. Григорий Сергеев относится к этому со скепсисом.
«За 9 лет мы не нашли ни одного человека при помощи тепловизора. Всем хочется верить, что это классная вещь. Да, мы можем использовать его чтобы не прекращать поиски, например, ночью на открытых пространствах. Но для всего остального он не подходит. Трава не прозрачна, все кроны непрозрачны. Человек находится в лесу в одежде, а одежда имеет температуру окружающей среды. Тепловизор — классная фантазия, но для поисков он неэффективен. Мы попробовали все наши оборонные устройства, попробовали иностранные модели. Они подходят для дублирования, но учитывая стоимость и эффективность, я бы сказал тепловизорам нет».
На вопрос, почему ни у кого в том конкурсе не получилось эффективно применить компьютерное зрение, Георгий отвечает просто: «у них не было такой мощности для разработки, какая сейчас есть у нас».
