Возникает разумный вопрос: а можно ли установить пол человека, основываясь только на его лице? Беглый поиск показал, что люди в основном умеют это делать достаточно хорошо (но не идеально), даже если скрыть подсказки типа волос, мейк-апа и одежды, причем они лучше определяют пол лица повернутого в 3/4, чем лиц, смотрящих вперед.
Если вы передаете нейросетке только лицо человека – попробуйте вырезать только это лицо, и показать группе людей. Возможно, сетка уже определяет пол точнее, чем они.
Возможно вообще бывают случаи, когда только по лицу установить пол нельзя. Мне не удалось найти работ на эти темы.
Нейросети для предсказания возраста и пола