Мультимодальные модели тотально страдают селективным восприятием

Мне кажется не стоит упускать такой момент - сеть учится на англоязычном массиве данных и думает соответственно на английском (и только потом переводит на русский). А в английском большой палец - не палец (finger), а thumb. Соответственно на картинке: 5 fingers and one thumb. А дальнейшие вопросы ещё больше сбивают сеть с толку и она начинает сочинять отмазки. Кроме того интересно как сеть ответит на вопрос сколько пальцев на ноге, при том что на ноге вообще нет fingers, там есть пять toes