Comments 5
На практике вам может помочь та же самая возможность «потрогать руками». Если дать возможность конечному пользователю вручную менять комбинации товаров для магазина на свое усмотрение и смотреть на прогноз совокупного спроса (или выигрыша относительно текущей ситуации), это значительно повышает его доверие ко всей системе в целом.
А можно более подробно что такое "потрогать руками" ?
Конечно, можно.
Имеется в виду создание простого инструмента - в виде небольшого веб-сервиса или даже эксель-файла - с возможностью пользователю задавать разные параметры и видеть, как меняется результат.
Когда будущий пользователь модели может потыкать/проверить разные сценарии её поведения, он понимает, что ничего страшного в ней нет, что результат адекватен по тем сценариям, которые его интересуют.
В случае оптимизации банально видит, что при вариантах, отличающихся от оптимального (того, что предлагает модель), эффект на целевые метрики ниже. И радуется)
Имеется в виду создание простого инструмента - в виде небольшого веб-сервиса или даже эксель-файла - с возможностью пользователю задавать разные параметры и видеть, как меняется результат.
Было бы лучше если бы было больше контекста, веб-сервис чего и задавать параметры чего? модели?
Применения модели в каждом конкретном случае.
Условно, если модель – классификатор, работающий по вектору признаков, скажем, человека, в сервисе есть пачка пресетов, выраженных в читаемом виде (например, JSON, в котором можно задать возраст, адрес, подписки, что угодно), и кнопка "классифицировать датапоинт". Пользователи смогут покрутить параметры независимо и увидеть результат.
После этого можно вставлять какие-то картинки, скажем, чувствительность модели к параметрам вещественного типа.
Все верно @NetBUG написал выше, большое спасибо.
Веб-сервис/эксель/etc. должен примерно показывать работу вашей модели в бою. Если это классификация, то пользователю нужно дать её потестить, если прогноз, то потестить прогноз - с возможностью менять значения признаков модели (тех, которые пользователь сможет менять в продуктиве) и, возможно, каких-то её параметров (горизонт/гранулярность прогноза, что-то ещё).
Если что-то осталось неясным, то можем разобрать ваш конкретный пример и что можно сделать в вашем случае.
Интерпретируемость ML-моделей: от инструментов до потребностей пользователя