Comments 4
Игорь Моисеев ... Покажет, какие ошибки анализа экспериментов приводят к тому, что выводы по проведенным экспериментам становятся невалидными
Большая просьба, передать г-ну Игорю Моисееву пожелание: рассмотреть ошибку выдачи экспериментаторам для тестирования современных мощных компьютеров и мобильных девайсов, которая привела к тому, что при анализе экспериментов очевидно был сделан вывод "у меня все работает"
вывод по проведенным экспериментам у Вас стал абсолютно невалидным, ибо у подавляющего большинства моего окружения, пользующегося компьютерами и другими устройствами категории "не топовое и 3+ лет от роду" сайт и сервисы OZON безбожно тормозят и вырабатывают привычки "ничего никуда не вводить и ничего нажимать не менее 30 секунд после предыдущего действия, ибо бесполезно"
Озон топчик :)
рассмотреть ошибку выдачи экспериментаторам
Каким экспериментаторам? АБ тест ведь проводится на обычных пользователях. Просто части пользователей показываются некоторые изменения, а часть наблюдает обычное поведение. Поэтому какие устройства есть у реальных пользователей, те и формируют результат тестирования.
Может быть речь о том, что вообще уделять больше внимания маломощным устройствам при выкатке фич? Здесь у меня опыт такой, что Озон вполне нормально работает на устройствах старше 3 лет. Наверное, нужен более конкретный пример.
У меня просьба к вам разобраться что такое A/B тестирование прежде чем писать комментарий слабо относящийся к теме.
Приглашаем на Ozon Tech Community A/B-testing Meetup