Одно из самых увлекательных дел, которое счастливая случайность может подкинуть учёному‑информатику — это сложная социотехническая задача из области, переживающей процесс цифровой трансформации. В моём случае это была задача подсчёта рыб. Недавно я работал в роли консультанта в сфере экологии, уделяя основное внимание подсчёту рыб, проплывающих через крупные плотины гидроэлектростанций. Занимаясь этим большим проектом, я узнал о том, как управляют системами создания наборов данных, в работе которых участвует человек, как координируют функционирование таких систем. Кроме этого я узнал о тех сложностях и неожиданностях, которые сопутствуют тому, кто пытается осмыслить результаты исследований и поделиться ими с теми, кому они интересны.
Обзор ситуации
Опишу обстановку, в которой проводятся подобные исследования. Большие плотины гидроэлектростанций подпадают под закон США об охране окружающей среды (Environmental Protection Act), за соблюдением которого следит Федеральная Комиссия по регулированию энергетики (Federal Energy Regulatory Commission, FERC). FERC — это независимое агентство правительства США, которое регулирует передачу и оптовую продажу электричества в стране. Агентство обладает полномочиями в сфере целого ряда видов деятельности, связанных с электричеством, и отвечает за выдачу лицензий и разрешений на строительство и эксплуатацию гидроэнергетических сооружений, в том числе — плотин. Эти лицензии и разрешения гарантируют, что гидроэнергетические сооружения безопасны и надёжны, и то, что они не оказывают негативного влияния на окружающую среду или на что‑то другое. Для того чтобы получить лицензию или разрешение FERC — компания, эксплуатирующая плотину, должна предоставить подробные планы и результаты исследований, демонстрирующие, что её сооружение соответствует нормативным требованиям. Этот процесс обычно включает в себя обстоятельный анализ и проведение консультаций с другими агентствами и заинтересованными сторонами. Если выясняется, что гидроэнергетическое сооружение нарушает какие‑либо стандарты, FERC ответственно за обеспечение выполнения всех действующих нормативов, добиваясь этого посредством ограничительных мер, штрафов, аннулирование арендных договоров, что приводит к утрате права на генерирование электроэнергии.
Плотины гидроэлектростанций — это, по сути, огромные батарейки. Они генерируют энергию так: с одной их стороны создаётся огромный резервуар, вода из которого проходит через турбины, находящиеся в плотине. Плотина, как правило, требует очень много места для резервуара с водой. Это значит, что такие сооружения обычно находятся в стороне от центров сосредоточения населения. Преобразование потенциальной энергии в кинетическую генерирует большие объёмы электричества. А те силы, которые сопутствуют этому процессу, разрушительно воздействуют на всё, что живёт в водоёмах или передвигается по ним. Особенно это касается рыб.
Ещё стоит отметить, что при строительстве плотин высока вероятность серьёзных нарушений в экосистеме водоёмов. Это ведёт к изменению поведения или численности популяции различных видов рыб. Это, в частности, вызывает у многих беспокойство относительно экологии района тихоокеанского северо‑запада США, так как в этом месте (администрация энергетики Бонневилля) основным источником электроэнергии являются гидроэлектростанции. Популяции рыб постоянно перемещаются вверх и вниз по течению рек, а плотины гидроэлектростанций могут играть роль барьеров, блокирующих пути передвижения рыб. Это ведёт к ухудшению ситуации с нерестом. Регулирующие органы, стремясь сделать плотины менее опасными для рыб, подвергают гидроэлектростанции ограничениям на объём генерируемой ими мощности. Компании, управляющие гидроэлектростанциями, должны продемонстрировать, что они не уничтожают рыб в больших количествах, или что иным образом не нарушают ритм их жизни. Особенно это важно из‑за того, что местные виды лососевых региона уже находятся под угрозой исчезновения (Salmon Status).
Компаниям, управляющим большими плотинами, чтобы продемонстрировать их соответствие правилам FERC, необходимо постоянно представлять данные, показывающие, что их текущая деятельность, в целом, не влияет на популяции рыб, находящиеся под угрозой. Обычно это делается путём проведения исследований передвижения рыб в рыбопропускных сооружениях. Такие исследования могут проводиться множеством различных способов, но всё сводится к получению одного главного набора данных, на котором основано всё остальное. Речь идёт о подсчёте рыб. Их считают в то время, когда они проходят через плотины гидроэлектростанций, используя сооружения наподобие рыбоподъёмных лестниц.
Подсчёт может осуществляться визуально: человек, обученный идентификации рыб, наблюдает за тем, как они проходят через некую контрольную точку, и считает их. После подсчёта рыбы могут подвергаться дополнительной классификации, выходящей за пределы определения их вида. Это может быть определение того, имеются ли на их телах хорошо заметные признаки болезней или повреждения, того, выращена ли рыба в питомнике, или она дикая, и прочего подобного. Рыбы, классифицируемые по таким признакам, могут отличаться друг от друга крайне незначительно. Подобная классификация требует тщательного наблюдения и проверки, так как отличительные признаки рыб (удалённый жировой плавник, поцарапанная средняя часть тела) могут быть видны лишь короткое время, когда рыба проплывает мимо наблюдателя. Таким образом — подсчёт рыб — это узкоспециализированная работа, требующая опыта в идентификации и классификации рыб разных видов, а так же — знаний о жизненном цикле рыб и о других их характеристиках. Это — работа, связанная с большими физическими нагрузками, так как рабочее место обычно находится в районах, удалённых от городских центров. И эту работу может быть непросто выполнить в сложных условиях окружающей среды, которые встречаются на плотинах гидроэлектростанций: плохое освещение, нерегулируемая температура и другие условия, неблагоприятные для человека.
Такие способы сбора данных — это очень хорошо, но при их использовании могут возникать различные ошибки, вызванные разными причинами. Например, иногда подсчёт рыб выполняется с использованием бумаги и ручки. При таком подходе возможны ошибки при записи и чтении данных. Ещё могут быть споры по поводу классификации конкретных видов рыб. Разные операторы плотин собирают данные о количестве рыб с разной степенью детализации (одни собирают данные ежечасно, другие — ежедневно или ежемесячно) и с разной сезонностью (например — собирают данные только в процессе реализации рыбой определённых схем миграции, называемых «ходом»). После сбора и подтверждения корректности данных, организации сопоставляют их с информацией о работе плотины. Делается это для того, чтобы увидеть, не оказывает ли что‑либо неблагоприятного или благоприятного воздействия на популяции рыб. Сбор всех этих фрагментов данных с использованием различных стандартов и уровней детализации подталкивает организации к поиску новых эффективных способов работы, применение которых возможно благодаря современным технологиям.
Применение технологий компьютерного зрения
Некоторые организации исследуют возможности использования компьютерного зрения и машинного обучения для того чтобы серьёзно автоматизировать подсчёт рыб. Деятельность операторов плотин регулируется FERC. Они, в любом случае, обязаны собирать данные о проходе рыб через плотины. Подобные данные ранее производились или кодировались так, что работать с ними было нелегко. В результате возникли интересные системы машинного обучения, предусматривающие наличие «оператора в контуре управления». В таких системах суждения и опыт экспертов профильного направления (учёных‑ихтиологов) комбинируются с постоянством и надёжностью алгоритмов машинного обучения. Это может помочь в деле сокращения количества источников ошибок и необъективных оценок в выходных наборах данных, используемых в системах машинного обучения. В случае с задачей подсчёта рыб это может помочь в обеспечении того, что решения систем будут основаны на новейших научных представлениях о таксономии рыб и о природоохранных целях. Это способно обеспечить более сбалансированный и всеобъемлющий подход к определению видов рыб или к их морфологической классификации. Алгоритмическая система способна уменьшить потребность в ручном сборе данных и их анализе благодаря автоматизации процесса идентификации и классификации рыб. Она может дать более своевременную и точную информацию о здоровье особей.
Разработка системы компьютерного зрения для жёстко регулируемых отраслей промышленности, к которым относятся гидроэнергетика и распределение электроэнергии, может оказаться непростой задачей из‑за того, что при её решении нужна высокая точность и строгое следование нормативным стандартам. Процесс создания подобной системы обычно включает в себя несколько шагов:
Определение пространства задачи
Перед началом создания системы важно чётко определить задачу, для решения которой предназначена эта система, а так же — цели, которых она должна достичь. Этот исходный этап обсуждения характеристик системы проходит, в основном, без упоминания каких‑либо технических ограничений. Он основан на том, какую именно проблему необходимо решить с помощью системы. Здесь выявляются конкретные действия, которые должна выполнять система. Например — идентификация видов рыб или стадий их жизненного цикла. Этот этап может оказаться особенно сложным при реализации проектов в жёстко регулируемых отраслях промышленности наподобие гидроэнергетики. Дело в том, что клиенты, для которых создаётся проект, подчиняются строгим законам, требующих от них того, чтобы любые инструменты или технологии, которые они используют, были бы надёжными и безопасными. Клиенты могут скептически относиться к новым системам машинного обучения. Они могут потребовать гарантий того, что такие системы тщательно протестированы, что применение этих систем не несёт рисков для окружающей среды, что они обеспечивают целостность данных, алгоритмическую прозрачность и контролируемость.
После того, как пространство задачи определено, могут быть приняты решения технического характера. Они касаются того, как именно будет реализована система. Например, предположим, что цель системы — оценка плотности популяции во время большого хода рыбы с использованием поведенческих шаблонов, таких, как скосячивание. Для создания такой системы может иметь смысл запись и разметка видео в реальном времени, что позволит видеть направления, в которых движется рыба. А если цель системы — идентификация болезней или повреждений в ситуации, когда мимо регистрирующего устройства проплывает сравнительно немного рыб? В такой ситуации можно задуматься о захвате неподвижных изображений и о разметке их частей для обучения классификаторов. Далее — вот более подробный гипотетический пример, учитывающий особенности организации — заказчика системы. Предположим, оператор плотины знает о том, что по рыбоходу может проходить только рыба, что в него не попадают ни другие живые организмы, ни естественный мусор. Оператора интересует «наилучшее предположение» относительно редких видов рыб, проплывающих по рыбоходу. В такой ситуации может быть достаточно реализовать универсальную систему детектирования объектов в видеокадре, позволяющую узнать о том, что в наблюдаемой области появилась рыба. Обнаружив рыбу, система, в определённый момент, делает фотографию, после чего отправляет эту фотографию человеку, который указывает то, к какому виду относится рыба. После того, как рыбе на фотоснимке назначили метку, данные могут использоваться для обучения классификатора, который разбивает рыб на категории «встречающиеся редко» и «встречающиеся часто».
Постановка целей, касающихся эффективности работы системы
Определение пространства задачи и сформированный на начальном этапе работы план построения технологической цепочки системы нужно донести до всех заинтересованных лиц. Всё это будет представлять собой исходные положения, на основе которых будут определяться цели, касающиеся эффективности работы системы. Такой подход должен способствовать обеспечению того, что все заинтересованные стороны, в целом, понимают задачу, а так же понимают границы возможностей предложенной реализации системы. На практике большинство операторов гидроэнергетических сооружений заинтересовано в решениях для автоматизированного подсчёта рыб, которые соответствуют пороговому уровню точности в 95% от той точности, которая обеспечивается обычным подсчётом, выполняемым человеком. Но ожидания относительно того, достижимы ли такие показатели, и того, в какой части работающей системы их ожидать — это то, что может подвергаться серьёзным обсуждениям. Постановка подобных целей — это настоящая социотехническая проблема, так как решить её нельзя, не принимая во внимание и ограничения, накладываемые реальным миром, и ограничения, касающиеся данных и самой системы. Эти ограничивающие факторы мы обсудим в разделе Препятствия.
Сбор и разметка обучающих данных
Для того чтобы научить модель выполнять действия, необходимые для работы системы, начать надо с создания обучающего набора данных. На практике это означает сбор большого количества изображений рыб. Эти изображения аннотируются, на них отмечают рыб разных видов. Делает это человек, обладающий опытом классификации рыб. После этого аннотированные изображения используются для обучения моделей. В ходе обучения алгоритм изучает признаки, характерные для рыб, относящихся к различным подклассам, и идентифицирует эти признаки на новых, ещё не встречавшихся ему изображениях, определяя виды рыб, которые имеются на этих изображениях. Конечной целью системы является минимизация работы людей по подсчёту рыб. Поэтому изображения с низким «показателем степени уверенности» (это — метрика, обычно выдаваемая моделями, ориентированными на детектирование объектов) могут быть особым образом помечены и отправлены человеку для идентификации рыб и разметки. Чем естественнее новая система будет интегрирована с существующей системой подсчёта рыб — тем лучше.
Выбор модели
После того, как будут собраны обучающие данные, приходит время сделать следующий шаг. Это — выбор подходящей модели машинного обучения и обучение её на имеющихся данных. Тут может применяться обучение с учителем, когда модель обучают распознавать различные категории рыб, демонстрируя ей размеченные данные. Во время написания этого текста для решения подобных задач часто выбирают системы глубокого обучения, основанные на заранее обученных моделях, вроде ImageNet. Модель, после обучения, должна быть проверена на размеченных данных, с которыми она ранее не встречалась. Её надо подвергнуть тонкой настройке путём модификации её параметров или путём улучшения учебного набора данных и повторного обучения модели.
Мониторинг эффективности системы
После того, как модель обучили и подвергли тонкой настройке, она может быть реализована как часть системы компьютерного зрения для постоянного использования. Кроме того, нужно организовать регулярный мониторинг показателей эффективности работы системы. Это позволит обеспечить соблюдение целей по точности работы системы и отсутствие дрейфа модели. Дрейф модели может быть вызван изменениями условий окружающей среды, таких, как прозрачность воды. Его причиной могут стать и морфологические изменения рыб, о чём было сказано в предыдущем разделе.
Именно в этот момент осуществляется переход в начало технологической цепочки по внедрению системы машинного обучения. Для того чтобы сделать работу системы эффективнее, вероятнее всего, понадобятся более точные и детальные обсуждения того, что именно ожидается от системы. После этого будет этап сбора дополнительных обучающих данных, потом будет выбор модели, настройка её параметров и мониторинг результатов. Обычно считается, что автоматические или полуавтоматические системы, подобные описываемой, используются по схеме «включил и забыл». Но процесс сбора, проверки, упорядочения наборов данных, а так же — процесс настройки гиперпараметров модели — это дела, которые требуют плотного участия специалистов. При их выполнении ни о каком «забыл» речи не идёт.
Препятствия
Для того чтобы система компьютерного зрения точно определяла бы и считала рыб на изображениях или в видеокадрах, она должна быть обучена на большом и разноплановом наборе данных. В него должны входить примеры рыб различных видов, обладающих различными морфологическими особенностями. Но реализация такого подхода не обходится без трудностей, которые представлены на следующей схеме. Эти трудности разобраны ниже.
Зависимость от знаний экспертов
Зависимость проекта от знаний экспертов — это проблема, которую стоит обсудить. Предположим, система слепо доверяет данным, размеченным экспертом, эти данные используются для обучения алгоритмов и оценки правильности их работы. В результате оказывается, что на такую систему могут повлиять ошибки и неточности в знаниях и суждениях конкретного эксперта. Это характерно для любой системы, в контуре управления которой присутствует человек. Например, если эксперты не знакомы с определёнными видами рыб, или с их морфологическими признаками, они могут быть не в состоянии точно отметить этих рыб на изображениях, что может привести к неправильной классификации таких рыб системой. Если в канал для пропуска воды попадают инвазивные виды рыб — они могут быть представлены в наборе данных в неоправданно большом количестве. Это может повлиять на подсчёт рыб тех видов, которые нуждаются в охране. Отличный реальный пример подобного связан с американским шэдом. В период миграции наблюдается движение сотен тысяч особей этой проходной сельди, что отвлекает внимание от чавычи, миграция которой происходит в тот же период. Методы ручного подсчёта рыб полностью зависят от суждений и наблюдений, проводимых отдельными людьми. Эти наблюдения и суждения могут подвергаться самым разным ошибкам и неточностям. Далее — если эксперт испытывает особый интерес к определённым видам рыб или к их морфологическим особенностям, то он, с большой долей вероятности, будет отмечать на изображениях именно таких рыб. В результате некоторые виды рыб будут либо чрезмерно, либо недостаточно представлены в наборе данных. Это может привести к последствиям, опасным для жизни рыб. Такое возможно в том случае, если алгоритмические системы используются для принятия важных решений, имеющих природоохранное значение.
Сложности, связанные со сбором данных
Условия окружающей среды, характерные для гидроэнергетических плотин, усложняют сбор данных. Недостаточное освещение и плохое качество изображений могут усложнить точную классификацию рыб, как проводимую людьми, так и автоматизированную. Аналогично — изменение условий, вроде снижения прозрачности воды после сезонного таяния снега, может привести к ухудшению видимости рыбы на изображениях. Идентификация и классификация мигрирующих рыб могут быть усложнены по особым причинам, из‑за существования большого количества их видов и подвидов, и из‑за того, как их тела меняются с возрастом. Таких рыб часто бывает сложно изучать, за ними сложно наблюдать. Причина этого — их миграционные привычки и сложные природные условия, в которых они обитают. Далее — разные организации часто используют различные системы классификации рыб. Это ведёт к появлению разных результатов по определению рыб, зависящих от родительской организации, занимающейся разметкой учебных данных. Если человек не сможет создать точную классификацию рыб для заполнения исходного набора данных — система машинного обучения не сможет точно определять рыб при использовании её в реальных условиях.
Дрейф модели
Одна из главных проблем, связанных с использованием машинного классификатора на непроверенных данных, заключается в риске возникновения дрейфа модели. В результате эффективность работы модели со временем снижается из‑за изменений в распределении исходных данных. Это может быть особенно важным там, где применяется жёсткое законодательное регулирование, где даже небольшое изменение в эффективности модели может иметь огромные последствия. Наборы данных, созданные людьми, которые просматривают изображения и отмечают на них рыб определённых видов, это удивительные артефакты, которые, по своей сути, крепко связаны с той местностью, где созданы, и которые нелегко воспроизвести. Исследования передвижений рыб часто включают в себя мониторинг сравнительно небольшого количества особей, что может усложнить точную оценку общих характеристик популяции рыб в более широкой области. Количество и типы рыб, проходящих через рыбопропускные сооружения плотины, могут сильно варьироваться в зависимости от времени года и от «хода» рыбы, перемещающейся по водоёмам. Это может усложнить сравнение данных, полученных в ходе различных исследований. Это может привести к тому, что сложнее будет сделать выводы о долгосрочном воздействии плотины на популяции рыб. Если система обучена на наборе данных, который размечен экспертом в течение одного сезона, то этот набор данных может оказаться недостаточно полным или недостаточно репрезентативным для работы с полным спектром видов рыб и их морфологических особенностей, встречающихся в дикой природе в течение всего года. Это может вести к переоценке или недооценке количества особей и видов рыб, представленных в конкретной местности. Таким образом, феномен дрейфа моделей — это реальная проблема, вклад в которую вносят и сложности, связанные со сбором данных, и зависимость обучающих наборов данных от знаний экспертов.
Организационное давление
И наконец, созданию системы сопутствует решение различных вопросов из сферы труда и заработной платы. Они являются частью пространства задачи, их источник — это мощное организационное давление. Дело в том, что подразделение для подсчёта рыб — это центр затрат, от которого оператор плотины с удовольствием бы избавился, или, по крайней мере, с удовольствием как можно сильнее снизил бы расходы на него. Поэтому технические решения, способные точно подсчитывать рыб, выглядят для операторов весьма привлекательно. Но внедрение таких решений поднимает вопросы о «призрачном труде», когда человеческие ресурсы используются для обучения и проверки моделей, но не признаются или не компенсируется. Замена работников‑людей на системы компьютерного зрения может серьёзно повлиять на уволенных работников, создав у них финансовые затруднения или вызвав устаревание их профессиональных навыков и опыта. Если опыт людей по идентификации рыб будет утерян, это может привести к принятию неоптимальных решений о защите определённых видов рыб. В итоге может снизиться и эффективность системы. Это означает более высокую опасность для природы в том случае, если технологии применяются как средство снижения затрат. Может случиться так, что, когда модель подвергнется дрейфу, некому будет это заметить и вернуть её в рабочее состояние.
Если соединить все эти соображения с долговременным глобальным сокращением популяции диких рыб, перед нами окажется ситуация, описываемая непростым набором условий, учтя которые, можно попытаться прийти к некоему решению, устраивающему все заинтересованные стороны.
В условиях ограниченности доступных обучающих данных, или в случае, когда они неточно отражают разнообразие видов рыб, проходящих через плотину, и их морфологических признаков, может пострадать точность алгоритма. Кроме того, тут появляются и соображения относительно утечки данных, когда модель может быть в состоянии получить из изображений конфиденциальную информацию. Например — о том, как именно рыбы двигаются внутри сооружений гидроэлектростанции. Если подумать об исследованиях, которые проводятся в сфере рыбоводства, то, согласно данной работе, окажется, что проанализированные популяции рыб крайне малы, а выводы намеренно сделаны весьма узконаправленными. Практически то же самое происходит, когда организации приходится, как минимум, обучать «одноразовую» модель для каждого проекта, или проверять выходные данные каждого классификатора на неких дополнительных ресурсах. Это находится за пределами интересов и возможностей организаций, которые видят одним из последствий реализации подобной системы снижение расходов на оплату труда.
Итоги
Социотехническая проблема подсчёта рыб — это узкоспециализированная задача, решение которой может найти широкое применение. Система машинного обучения, основанная на подсчёте рыб, если она будет реализована на должном уровне, может быть применена во множестве различных проектов, связанных с соблюдением требований охраны окружающей среды или с рыбоводством. Стремительная цифровая трансформация науки об окружающей среде привела к созданию инновационных наборов данных, ориентированных на решение интересных задач. Она привела к появлению новой группы профессионалов, обладающих грамотностью в сфере работы с данными и техническими возможностями по решению задач наподобие вышеописанной. Но создание наборов данных для проходных и полупроходных рыб, защищённых ESA — это масштабная и непростая задача. Это так из‑за ограниченной доступности данных, из‑за сложностей, связанных с классификацией рыб, из‑за того, что эта задача затрагивает множество заинтересованных лиц, и из‑за того, что для её решения приходится сталкиваться с водной средой, в которой живут изучаемые рыбы.
Более того, организации, подверженные регулированию, могут не знать о том, как проверять точность моделей машинного обучения. Их может больше интересовать подсчёт рыб, а не их изображения (или наоборот). Внедрение новых технологий, влияющих на организации или на наборы данных, которые недостаточно хорошо каталогизированы, означает, что может появиться что‑то новое, что нужно будет обнаруживать или подсчитывать с помощью этих технологий. Реализация системы компьютерного зрения, подобной описанной в этом материале, должна соответствовать требованиям FERC. Это значит, что при необходимости внесения в неё изменений нужно будет учесть мнения множества заинтересованных лиц. Среди них — федеральные агентства, региональные и муниципальные власти, природоохранные организации, представители общественности. Проводя такие исследования и регулярно отчитываясь FERC об их результатах, операторы плотин гидроэлектростанций могут продемонстрировать то, что они предпринимают усилия по минимизации воздействия, оказываемого плотинами на популяцию рыб. Они могут показать, что плотины не вредят общему состоянию местной популяции рыб. Но это, кроме того, означает и то, что результаты таких исследований могут быть проверены представителями общественности тех мест, где находятся гидроэлектростанции.
О, а приходите к нам работать? ? ?
Мы в wunderfund.io занимаемся высокочастотной алготорговлей с 2014 года. Высокочастотная торговля — это непрерывное соревнование лучших программистов и математиков всего мира. Присоединившись к нам, вы станете частью этой увлекательной схватки.
Мы предлагаем интересные и сложные задачи по анализу данных и low latency разработке для увлеченных исследователей и программистов. Гибкий график и никакой бюрократии, решения быстро принимаются и воплощаются в жизнь.
Сейчас мы ищем плюсовиков, питонистов, дата-инженеров и мл-рисерчеров.
