От идеи к реальности: как я собрал свой первый пет-проект по распознаванию языка жестов

[rPman]

Посмотрите, распознавание мигает, два соседних кадра, один 100% определяет, а соседний, отличающийся не значительно, уже нет.

Что бы это решить, а так же по той причие, что у вас маленький датасет, вы можете собрать его автоматически, вот на основе таких ошибочных случаев, берете соседние кадры, тот что распознался и тот что нет, и добавляете в обучающую выборку.

Так же в выборку нужно добавить равное по объему случаи где нет жестов но есть рука, это так же можно сделать в авторежиме, просто рукой жесты не показываете. Еще момент, нужно в выборку добавлять кадры построения жеста рукой, те что еще не являются жестом но через несколько кадров таковым станут, так как текущая модель уже распознает жесты, берете кадры ДО этого момента и добавляете в выборку.

[Darg_vet]

Есть отдельная выборка где вообще нет руки, но насчет выборки где нет жестов, но есть рука даже не думал. Надо попробовавть, спасибо)

[rPman]

очень важно в выборку добавить случаи, когда модель 'мигает', жест явно виден, визуально не отличается от соседнего кадра, но модель не видит его.

[yrub]

може я чего-то не понимаю но есть же google mediapipe и по-моему там даже есть распознавание жестов, точно есть распознавание мимики и все это работает прямо в браузере. Или был интерес сделать свой велосипед с нуля?

[Darg_vet]

Да, у mediapipe есть распознавание кисти и идею с распознаванием ASL я уже делал с помощью mediapipe(ксати получилось чуть лучше и намного быстрее), но тут была идея сделать что-то с нуля, собрать данные, закрепить знание кода и тп