Карты распространения борщевика Сосновского и зачем мы сделали свою
Предыстория вопроса
Борщевик Сосновского - инвазивный сорняк, сок которого при попадании на кожу человека на солнце вызывает химические ожоги.
Изначально получил распространение в середине ХХ века как кормовое растение для молочного скота. Потом выяснилось, что в качестве корма борщевик Сосновского вызывает горечь молока, а как растение - вызывает ожоги у человека. Специально культивировать его перестали, но как сорняк он продолжил распространяться самостоятельно.
По оценкам учёных и специалистов сейчас заражено более миллиона гектаров в европейской части России.
Не стоит путать борщевик Сосновского с борщевиком сибирским. Борщевик сибирский - обычное растение, которое можно употреблять в пищу. Именно борщевик сибирский дал название борщу, так как изначально входил в состав ингредиентов супа.
О борщевике Сосновского в последнее время много пишут в СМИ, но он далеко не самое опасное растение, которое можно встретить в лесах России. Борщевик Сосновского, по крайней мере, не смертелен. К слову, на Хабре есть интересный цикл заметок о более ядовитых и смертельных растениях.
Тренд на Борщевик
Общественный интерес к картам борщевика Сосновского возрос в 2017 году. Этому способствовали:
доступность бесплатных спутниковых снимков Sentinel-2 (о том, как европейская программа Copernicus и спутники Sentinel, повлияли на разные отрасли я напишу как-нибудь отдельно)
возросший интерес к самому борщевику. По данным Google Trends видно появление скачков интереса каждое лето с 2017 года.
Карты распространения Борщевика
К настоящему времени существует больше десятка разных карт распространения Борщевика.
По способу наполнения они делятся на:
Краудсорсинговые - информация наносится на карту пользователями
Спутниковые - информация собирается на основе анализа спутникового ДЗЗ
Краудсорсинговые карты распространения борщевика Сосновского
Главным плюсом краудсорсинговых карт является то, что они, в теории, оперативно показывают самые социально значимые очаги борщевика, то есть, те места, где борщевик представляет наибольшую опасность для людей (а иначе бы без людей, никто не отметил бы его на карте). И на основе таких карт можно планировать тактические шаги по борьбе с сорняком.
На этом плюсы заканчиваются и начинается большой список компромиссов:
Краудсорсинговые карты не точны
Во многих картах в принципе не предусмотрено какой-либо информации, кроме указания точки заражения (не области) и текстового описания. На основе такой информации нельзя судить об объемах заражения и динамике.
Там, где можно указать полигон заражения, даже если не рассматривать вопросы точности, эти данные надо перепроверять. Вот пример абьюза одной из карт, на которую обратили внимание и популяризировали СМИ в мае 2021 года:
Борщевик в Кремле по данным краудсорсинга
Краудсорсинговые карты не подходят для оценки общей степени заражения
Можно спросить, а нужно ли искать борщевик там, где он не угрожает людям. Если ставить задачу глобальной победы или контроля над борщевиком, то нужно. Это вопрос экологической политики и экономики средств.
Нет понятного способа актуализации карт. По-хорошему, каждый ранее указанный очаг надо ежегодно перепроверять и обновлять статус. Кто этим будет заниматься - непонятно.
Одной из первых карт можно отметить карту РИВР (распространение инвазивных видов растений на примере борщевика Сосновского).
Одна из старейших карт распространения борщевика Сосновского. Наполняется профессионалами для профессионалов. Представляет большую ценность для научного изучения борщевика Сосновского.
Но, к сожалению, для целей планирования борьбы или сбора статистики, подходит очень ограниченно. Данные об очагах заражения обновляются от случая к случаю и карточки очагов не содержат данных о площадях.
Самой популярной среди обычных пользователей, наверное, является краудсорсинговая карта волонтёрского сообщества Антиборщевик.
Карта перезапускалась и улучшалась несколько раз. Последний перезапуск был в 2020 году: помимо возможности одновременного добавления очагов разными пользователями, добавили функционал комментариев, улучшили юзабилити.
Также на эту карту добавляются карты борщевика, распознанные по спутниковым снимкам. (об этом ниже)
Насколько мне известно, главный фокус сообщества это именно краудсорсинговая карта и ребята готовят ещё одно большое обновление по этой части.
Карта на геопортале Подмосковья - пример государственной краудсорсинговой карты
Карта может считать краудсорсинговой:
изначально она наполнялась на основе данных от муниципалитетов
сейчас карта также обновляется на основе поступающих заявок на портал Добродел
Помимо того, что карта является рабочим инструментом для органов власти, в плюсы можно записать актуальность и отображение статуса борьбы.
Минусами этой карты, помимо стандартных краудсорсинговых, являются:
Методология, по которой в качестве очагов выделяются кадастровые участки, а не зоны распространения борщевика. Это даёт ошибку как в случае с большими кадастрами, где борщевик может быть только на небольшой площади, так и в случае со скоплениями маленьких кадастровых участков (например, коттеджные посёлки), где выделяется один "крайний" кадастр, а остальные пропускаются.
Наличие непрозрачной дополнительной прослойки между пользователем, который оформил заявку на Доброделе, и конечной карты. Таким образом, нельзя объективно судить даже о том, насколько полно эта карта отражает ситуацию на Доброделе.
Тот же оператор может, например, взять и отклонить заявку пользователя, направив стандартную отписку. Нередки случаи, когда сначала приходит отписка, и только повторное обращение приводит к каким-то результатам.
Спутниковые карты распространения борщевика Сосновского
Как я уже писал, появление доступных спутниковых снимков Sentinel-2 дало толчок к картографированию борщевика. Несмотря на низкое разрешение в 10м на пиксель, борщевик Сосновского очень хорошо виден даже на таких снимках:
его яркий зелёный цвет хорошо выделяет его на фоне растительности
он очень быстро разрастается, поэтому очаги занимают большие видимые территории
в отличие от возделываемых с/х культур, у него отсутствует какая-либо упорядоченность текстуры (или, можно сказать, что текстура случайная)
У карт по снимкам есть ряд ограничений:
разрешающая способность снимка не позволяет распознать сорняк, который занимает менее 1 пикселя
сложно определить сорняк, если он смешан с другими растениями или объектами, или закрыт от съёмки (например, в лесу)
иногда бывают проблемы с доступностью снимков для нужной территории в нужное время
Помимо Sentinel-2, можно использовать высокоточные спутниковые снимки или съёмку БПЛА. В этом случае качество распознавания существенное повышается.
Ниже примеры распознавания борщевика на высокоточных космических снимках и ортофотопланах с БПЛА.
Спутниковый индекс борщевика Сосновского?
В 2018 году была защищена диссертация "Контроль зон произрастания борщевика Сосновского по спектральным характеристикам отражённых волн оптического диапазона".
В этой работе автор Дмитрий Рыжиков проанализировал спектральные отражения борщевика наземным спектрометром и на спутниковых снимках и заметил, что борщевик Сосновского достаточно хорошо можно определить по комбинации зеленого, синего и ближнего инфракрасного спектров.
На графике ниже иллюстрация из работы: по оси Х - разница между отражениями в зелёном и синем спектрах, по оси Y - отражение в ближнем инфракрасном
На основе комбинации этих трёх каналов он сформулировал вегетационный индекс борщевика Сосновского. Вместе с вегетационным индексом NDVI, который показывает уровень здоровья растительности, это индекс позволяет уже на каком-то уровне определять борщевик по спутнику, даже без использования ИИ моделей (хотя точность остаётся относительно невысокой).
Первая цитируемая спутниковая карта - карта Совзонда
В том же 2018 году компания Совзонд выпустила свою карту распространения борщевика по Московской области. Несмотря на свой возраст, она до сих попадает на первые страницы поиска по запросу "карта борщевика", а слой борщевика с неё многие используют у себя. Например, до середины 2021 года именно этот слой использовался в качестве основного на карте сообщества Антиборщевик.
Самая популярная - карта сообщества Антиборщевик
Изначально там был только слой с данными по Московской области от 2017 года, но в последнее время добавляется все больше и больше данных.
Отдельно можно отметить, что карту стараются максимально проверить через личное посещение очагов произрастания. В 2021 году главный автор карты лично проехал половину европейской России, чтобы верифицировать карту.
К сожалению, по Московской области спутниковая часть карты обновлена только по 2019 году, так как по 2020 году ребятам не удалось на своём стеке технологий собрать безоблачную мозайку по Московской области.
Закрытые карты администраций регионов
Насколько я знаю, администрации отдельных регионов заказывают себе карты распространения борщевик. К сожалению, несмотря на то, что эти карты делаются на наши с вами деньги, эти карты не выкладываются в общий доступ, и сказать что-то о них сложно.
Нерешенные проблемы всех публичных карт распространения борщевика
Сопоставимость и поддержка
Каждый раз приходят новые команды и делают новую карту, на новой технологии, с новыми данными и новой методологией
Даже сейчас, когда есть набор спутниковых данных за 5 лет, нет карт одного и того же региона в динамике
Поиск баланса между стремлением к идеальному "качеством" и практическим применением того, что уже получается
Ограниченность доступного технического ресурса (в основном для спутниковых карт)
Многие спутниковые карты борщевика сделаны на простых моделях, а иногда даже просто на ручном анализе спектров (например, по тому же индексу борщевика), которые фундаментально ограничены по точности
В общем, посмотрев на все это, мы решили сделать для себя ещё одну карту.
Зачем мы сделали ещё одну карту?
Главная причина - нам нужна была актуальная карта, которую мы бы могли использовать на практике.
Когда мы задумывались о своей карте зимой 2020-2021, единственная рабочая карта по Московской области была за 2017 год. Сейчас появилась за 2019 год. Надежды, что летом 2021 в публичном доступе появится карта за 2021 год, нет до сих пор.
Есть проект активистов из Борщевиктори по 2021 году, но предположу, что он будет завершен уже осенью. Кстати они ищут ищут волонтеров для верификации самых зараженных районов.
Вызов, который мы решали для себя – сделать карту во время сезона борьбы с борщевиком, чтобы можно было использовать ее для реальной работы в сезоне
Другие причины:
Нужен был свой движок, чтобы можно было в реальном времени анализировать свежие данные. Например, для контроля качества обработки борщевика.
Нас не устраивало качество доступных карт, как с точки зрения точности распознавания, так и закрытости информации по исходным данным для распознавания
Карта борщевика в Московской области по данным 2021 года
Так выглядит пример самой карты с распознанным борщевиком Сосновского (снимок Sentinel-2, 1 пиксель = 10х10 метров)
Согласно нашей карте, распознанная площадь заражения борщевиком по Московской области составила 34 тысячи гектар
Наиболее тяжёлая обстановка - в западной части. Так выглядит тепловая карта уровня заражения по минимальным административным единицам в Московской области:
Городские округа с наибольшей площадью заражения борщевиком:
Очевидно, что эти данные не полностью отражают реальную картину:
С одной стороны, все участки заражения борщевиком Сосновского меньше 10х10 метров или участки со смешанной растительностью не определяются из-за ограничений спутниковых снимков Sentinel-2.
Оптимизируя параметры моделей, мы ставили в приоритет Recall за счёт Precision. Задача была не пропустить участки борщевика там, где они есть, пусть и пришлось расплачиваться за это ~10-15% ложных срабатываний.
Уже в текущем виде карта позволяет уточнить контуры распространения борщевика и сократить расходы и время на его дальнейшую обработку.
Ниже представлено, насколько может отличаться контур обработки борщевика, нарисованный человеком в системе РГИС Московской области (жёлтый контур), и контур, распознанный моделью (красный контур).
Особенности технической реализации:
Карта сделана на основе Sentinel-2, с верификацией отдельных районов по высокоточным снимкам и ортофотопланам с БПЛА
Используются свежие данные за 2021 год (никто ещё не делал по 2021 году)
Используем модели компьютерного зрения (если коротко, то свёрточные сети тайлами от 5х5 пикселей), а не просто фильтры по спектрам или 1-пиксельные модели
Такой подход показал свою эффективность при анализе с/х земель, где одним из отличительных признаков является текстура
По нашей оценке, за счёт такого подхода удаётся повысить точность на 15-20%
Проанализировали множество снимков, начиная с 2018 года, чтобы иметь возможность оценить участки в динамике
Пришлось скачать свыше ~1 ТБ спутниковых снимков за все года
Примеры применения технологии картирования борщевика для других целей
Обе темы заслуживают отдельного подробного рассказа, поэтому в этой заметке только кратко их затрону.
Сделали MVP, который накладывает карту борщевика на кадастровый слой и определяет кадастровые участки с необработанным борщевиком
С юридической точки зрения, подобная система не может быть основанием для выписки предписаний. Но с такими данными в разы повышается эффективность работы инспекторов, которые могут заранее понять, куда надо ехать для проверки.
Научились проводить аудит подрядчиков по борьбе с борщевиком
Со спутника отлично видно, какие очаги борщевика были обработаны, а какие нет.
Если будем продолжать, то наметили для себя несколько направлений, куда двигаться дальше
Моделирование распространения. То есть прогнозировать границы очагов борщевика Сосновского в следующем году на основе текущего
Использование временных рядов для более точной оценки наличия и определения расцвета борщевика
Оценка распространения борщевика Сосновского в лесу на основе периметра леса
Заключительное слово и благодарности
Отдельно хочу поблагодарить своего коллегу Даниила Овсянникова, который в 2020 году облетал на БПЛА борщевик в большинстве районах Московской области, а потом провёл кучу бессонных ночей и выходных для того, чтобы подготовить корректную разметку данных для обучения моделей.