Comments 25
одной половине даёте контрольный вариант продукта, а другой — с реализованной гипотезой
А почему вы начинаете вот с такого описания, а потом, как-то легко разделяете во времени первый продукт и второй? Если время другое, то и рынок другой, а значит никакого сопоставления не получится. Соотвественно вопрос, как вы вообще обеспечиваете одновременно две версии одного ПО да ещё и на новых пользователях?
Пользователи скачивают дистрибутив программы с сайта, 50% дается оригинальный инсталлятор, 50%- модифицированный. Ну или 1%, в зависимости от требований.
Нормально так, выложили игрушку ММО, половина народу с одним бинарником, половина с другим… Или там ПО по работе с видео, и опаньки — ни документация ни гайды не совпадает с тем что пользователь видит в интерфейсе и у службы поддержки телефон горит.
Ну ок, прокатило, пользователи разными программами пользуются и часть решила купить условно бесплатную прогу, как узнать какие это были пользователи или. может они вообще старой версией пользовались до нового релиза?
Ну ок, прокатило, пользователи разными программами пользуются и часть решила купить условно бесплатную прогу, как узнать какие это были пользователи или. может они вообще старой версией пользовались до нового релиза?
В случае с feature toggles бинарник один. У нас есть микросервис feature toggles, где мы можем включать/выключать фичу для конкретного пользователя.
может они вообще старой версией пользовались до нового релиза?
У нас в пользовательском соглашении написано, что мы можем собирать и отсылать метрики. В метриках есть: идентификатор пользователя, версия продукта.
То есть работает это всё только для постоянно находящихся в онлайне.
Например, есть программа, пусть будет VLC player с возможность её покупки, люди её качают, и на сайте потом кто-то решил купить, какие именно функции были у его бинарника активны, да фиг их знает, если покупка была на сайте, то есть связать конкретного покупателя и пользователя тут нельзя. Вернее, связать можно, если бы это были разные версии продукта и покупались бы разные, но отличались одной кнопкой, а пользователи точно знали что им нужно. Я вот к чему всё говорю.
Например, есть программа, пусть будет VLC player с возможность её покупки, люди её качают, и на сайте потом кто-то решил купить, какие именно функции были у его бинарника активны, да фиг их знает, если покупка была на сайте, то есть связать конкретного покупателя и пользователя тут нельзя. Вернее, связать можно, если бы это были разные версии продукта и покупались бы разные, но отличались одной кнопкой, а пользователи точно знали что им нужно. Я вот к чему всё говорю.
Как это вас с MMO на VLC переключило.
какие именно функции были у его бинарника активны, да фиг их знает
У нас есть еще device id. И возможность передавать любые параметры. Вызвать какой-нибудь GetUserName и передать в аналитику не составляет особого труда.
Минуса за то, что вы не согласны с тем, что в разный период времени рынок — совршенно разный? Ну так посмотрите на Forex, к примеру.
Вы уж определитесь что продаёте-то. Игрушки, видеоплееры или валюту. Как определитесь, так вам дадут соответствующий контексту ответ. Для другого контекста ответ будет другим. И да, для продажи валюты аб-тестирование, возможно, не подходит совсем. Такое тоже бывает.
Я говрил о рынке, я ничем не торгую. Не зависимо от того, что вы продаёте, ситуация на рынке всегда разная, вы можете вчера продать одни товар, сегодня его же, но сегодня у людей зарплата и продажи будут отличатсья от вчерашнего дня, завтра в соседнем магазине закончился товар у конкурентов и продажи ещё выросли, а послезавтра доллар подскочил и ваш товар нафик уже никому не нужен. Если вы сначала подбиваете статистику по одному товару, потом по другому, то грош цена этой статистике, только продажи в один и тот же период времени покажут хорошую картину и вот это вот я должен на протяжении трёх комментов разжёвывать и получать за это минуса? Тут я должен поплакаться что не буду больше комментировать, но я буду, только желания вот совсем уже нет.
Три минуса за первый коммент, то есть нормально. Мы берём йогурт, хотим посмотреть можно ли его улучшить, добавляем клубнику. Потом продаём чистый йогурт в пятницу. когда народ на выходные затаривается — зашибись продажи — супер, всё посчтиали, теперь продаём вместо обычного только клубнику, опачки — продажи плохие, нафик эту клубнику и руки оторвать технологу. Это согласно оценке моего комментария. А подумать головой и согласиться, что продавать одновременно оба продукта и посмотреть статистику это не то же самое, что по очереди, тут нет, надо заминусить.
Именно поэтому мой первый комментарий заканчивался вопросом. Потому что любое ПО развивается инкрементно. Соответственно, вывод напрашивался сам собой, статистика собранная для версии 1.01, сравнивается со статистикой версии 1.02.
Цитирую:
Очевидно, что тут НЕ подразумевается одновременное существование двух версий.
Цитирую свой заминусованный вопрос:
Вы сами-то свою статью читали?
Нет, в комментариях объяснили как получается, что версий может быть две: просто делаем из пользователей дураков, мы им говорим что мы фишку сделали, а половина её не видит, а их друзья им говорят что они — лохи, потому что у них всё работает. Или же чел в документацию смотрит, а там нет вообще ни слова, что это работает так, оно всё подругому. а он за это деньги заплатил.
Хотя я не спорю, что идея здравая, сделать меню в котором чекбоксами переключать поведение и у половины пользователей, просто выставить по умолчанию другую настройку, да для примитивных опций реализовывать это слишком затратно, да и пользователю объяснять что это такое будет тяжело, потому что это не для него делалось, но в теории — да, изящное решение и всегда пользователя можно «отправить в конфиг». Ну и пусть у них и слжится впечатление, что настройки делали не очень умные люди, потому что там реальный мусор.
Второй момент разъяснили, что если человек пользовался какой-то программой, потом её удалил, и купил новую на сайте, то сопоставив ID компьютера, можно понять какую версию на нём тестировали, что привела к покупке. Вот только, как раз про это всё можно было рассказать в статье, а не лепить минусы человеку, который всё прочёл и культурно спросил то, что не понял.
Цитирую:
— Давайте выпустим изменение и посмотрим вырастут ли метрики!
Так что выпуск изменений под девизом «мне повезёт!» скорее всего не приведёт к стабильному увеличению метрик продукта.
Очевидно, что тут НЕ подразумевается одновременное существование двух версий.
Цитирую свой заминусованный вопрос:
А почему вы начинаете вот с такого описания, а потом, как-то легко разделяете во времени первый продукт и второй?
Вы сами-то свою статью читали?
Нет, в комментариях объяснили как получается, что версий может быть две: просто делаем из пользователей дураков, мы им говорим что мы фишку сделали, а половина её не видит, а их друзья им говорят что они — лохи, потому что у них всё работает. Или же чел в документацию смотрит, а там нет вообще ни слова, что это работает так, оно всё подругому. а он за это деньги заплатил.
Хотя я не спорю, что идея здравая, сделать меню в котором чекбоксами переключать поведение и у половины пользователей, просто выставить по умолчанию другую настройку, да для примитивных опций реализовывать это слишком затратно, да и пользователю объяснять что это такое будет тяжело, потому что это не для него делалось, но в теории — да, изящное решение и всегда пользователя можно «отправить в конфиг». Ну и пусть у них и слжится впечатление, что настройки делали не очень умные люди, потому что там реальный мусор.
Второй момент разъяснили, что если человек пользовался какой-то программой, потом её удалил, и купил новую на сайте, то сопоставив ID компьютера, можно понять какую версию на нём тестировали, что привела к покупке. Вот только, как раз про это всё можно было рассказать в статье, а не лепить минусы человеку, который всё прочёл и культурно спросил то, что не понял.
Очевидно, что этот текст в блоке «как делать не надо».
Как-то вы всё понимаете, хм, альтернативно.
А ничего, что вот такая последовательность:
В интернете кто–то неправ
Определение
Подразумевает, что после этого банального поределения, нам расскажут что тут кто-то неправ? Ну соответствено, это определение, только как затравка к статье и было прочтено. А дальше — вода, где основной вопрос, в котором как раз нюансы того, что
АБ–тесты нужны нам чтобы обеспечить проверяемый рост метрик продукта, который вызван именно улучшением продукта
улучшение продукта в ПО, связано с новым номером версии. И совсем не озвучивается ни кто тут неправ ни что делать с тем, что сменилась версия и люди обновлились все.
Невижу я тут никакой альтернатвности, улучшили ПО. народ выкчал новую версию, теперь статистика только за прошлый период, вот это и привело меня к вопросу.
улучшение продукта в ПО, связано с новым номером версии.
Только у вас в голове.
Невижу я тут никакой альтернатвности, улучшили ПО. народ выкчал новую версию, теперь статистика только за прошлый период, вот это и привело меня к вопросу.
То есть вы не только статью не прочли, но и ответы на собственные вопросы, где вам уже раз пять всё объяснили? Поразительное упорство!
как вы вообще обеспечиваете одновременно две версии одного ПО
Например через Feature Toggles
На самом деле про A\B-тесты написано дофига всего.
Чего действительно немного, так это описания инструментария, с помощью которого можно развернуть подобное тестирование на готовом проекте.
Чего действительно немного, так это описания инструментария, с помощью которого можно развернуть подобное тестирование на готовом проекте.
А у вас мобильное приложение, сайт или что–то другое?
Сайт. Без движка (HTML + JS)
Наверняка есть готовые решения, но можно сделать и своими силами. Вам нужно написать код, который будет присваивать новому пользователю случайным образом тег вида «тест 1: вариация Х». У вас получится группы пользователей одинакового размера. Этот тег устанавливается как свойство пользователя в системе аналитики, которую вы используете. Дальше в самой системе делается отчёт с графиками ключевых метрик для пользователей из вариации А и Б.
Sign up to leave a comment.
Банальности про АБ–тест