Всем привет! В этом материале рассказываем о проекте на стыке спорта и ИИ, который команда zool реализовала вместе с нашим бывшим коллегой Иваном, который также является президентом федерации кендо в Удмуртии. Совместно с нашей командой он решил дополнить судейство поединков инструментами искусственного интеллекта: для этого использовали ИИ-решение на базе видеоаналитики, адаптировали его под задачи кендо и протестировали на поединках. Ниже рассказываем, как и зачем объединили спорт и ИИ.

Наверное, не всем известно: кендо — это современное японское боевое искусство. Если на время опустить философию, хотя это неотъемлемая часть кендо, то суть спортивного поединка вот в чём: два противника наносят друг другу удары бамбуковыми мечами, синаями. Важны точные попадания в определённые зоны: голову, туловище, запястье, горло.

И вот здесь возникает проблема: касания бывают спорными. Судьи не всегда могут точно зафиксировать, был ли нанесён удар, просто не успевают уследить. 

Мы решили, что можем помочь улучшить процесс судейства с помощью видеоаналитики. Искусственному интеллекту можно доверить следить за спортсменами, распознавать касания и передавать судьям точные данные.

Иван и его группа по кендо
Иван и его группа по кендо

На что способен ИИ в кендо

Полная версия видео → https://vkvideo.ru/video-135767451_456239511?list=ln-oXvnmVHIkSxCZXgjNT

Примерно так можно проиллюстрировать работу системы с ИИ-видеоаналитикой в качестве судьи на поединках кендо.

Какую систему мы используем

Около года назад команда zool начала разрабатывать ИИ-решения на базе видеоаналитики для производств, складов и учреждений Вообще, это система с видеоаналитикой, то есть внутри неё нейронки, они анализируют картинку с камер, распознают нужные объекты или ситуации — оружие и номера, драки и падения, система фиксирует это всё в отчётауведомляет пользователей.

У этой системы широкая вариативность применения, и она проста в техническом оснащении. Для установки нужна только камера, подойдёт любая IP-камера наблюдения, поэтому мы без труда подключили систему в спортзале нашего кендо-клуба.

Самое главное для работы видеоаналитики — это обучить нейросети определять то, что нужно, в случае с кендо — касания синаем. Для этого нужно собрать данные. Много данных. Мы с командой и друзьями-кендоистами начали записывать тренировки: сотни часов, разные углы, разное освещение, разные противники. И помечали каждый кадр: «это касание в мен (шлем)», «это промах», «это неправильное распознавание».

Такие видео записывали на тренировках
Такие видео записывали на тренировках

В чём сложность 

Для качественного и безошибочного определения чего-либо нужно сначала обучить видеоаналитику на большом количестве видео, с разными ракурсами и качеством. И всё руками размечать: где объект в кадре, за чем следить. И если, например, для обучения по распознаванию автономеров не сложно найти доступные базы видео с машинами, то для кендо или других специфических ситуаций необходимо время, пока система соберёт собственную базу. 

Когда мы начали тестировать zool в своём зале, было смешно. Система принимала поднятую руку за синай, видела удары там, где их не было. А ещё на татами все одеты одинаково, и для компьютерного зрения отделить одного спортсмена от другого был вообще отдельный квест. Движения быстрые, разнообразные, свет часто отвратительный. Но справиться можно: отснять побольше собственных ракурсов и найти записи с поединками в сети.

Видео с тренировок
Видео с тренировок

Какое будущее у ИИ-судейства

Можно сказать точно: ИИ не заменяет судей, он призван помогать им. Решение — всегда за человеком. Помимо этого, система рассматривается как инструмент для обучения: судьи смогут разбирать аналитику поединков, работать с записями и использовать их при подготовке новичков, в том числе в формате тестирования.

Сейчас решения zool применяются на тренировочных поединках. Впереди у команды ещё много работы, прежде чем такие инструменты смогут использоваться в судействе официальных турниров. Всем аригато годзаймас, большое спасибо!