Как перестать беспокоиться и начать верить A/B-тестам

[nin-jin]

у наших сервисов больше 500 миллионов пользователей

99.99% которых на ваши сервисы давно уже и не заходят. А 99.99% из тех, что заходят — боты, попрошайки и прочие не заинтересованные в собственно знакомстве.

[kislovm]

Конечно же, не все зарегистрированные пользователи каждый день пользуются нашим сервисом, но их доля значительно больше, чем вы утверждаете. На Badoo много лет работает система фотоверификации: пользователь может убедиться, что общается с реальным человеком с реальными фотографиями. В войне с ботами давно уверенно побеждаем. Узнать подробнее о нашей системе антиспама можно здесь: habr.com/ru/company/oleg-bunin/blog/426843

[nin-jin]

Значительно больше полумиллиона?

Мне понравился доклад. Особенно та его часть, где утверждается, что меньше 1% нормальных пользователей (то есть меньше 5 миллионов) вы отправляете в "скрытый бан", где они не могут найти себе пару, и пишут как им одиноко, а вы злорадно так приговариваете "так тебе и надо, скотина этакая".

Ну и, наконец, я зарегался, накликал дневной лимит в 600 лайков. Меня лайкнуло 7 аккаунтов. Пять из них проигнорировали мою "открывашку". Одна дала 3 односложных ответа и сдулась. И одна ищет "мужчину, который будет её обеспечивать".

[kruslan]

Точно! Они заинтересованы в $mol!

[Serega_Shabalin]

Спасибо за статью. Расскажите, пожалуйста, чем пользуетесь для запуска и контроля тестов, для сбора метрик, для формирования отчётов.

Понимаю, что это не в рамках этой статьи, но интересно узнать, как выглядит команда, проводящая тесты. Это отдельная гильдия аналитиков, помогающая всем командам при необходимости, или экспертиза есть внутри всех команд?

[kislovm]

Почти на каждом этапе мы используем собственные решения и они, к сожалению, не opensource, про её часть у нас есть статья habr.com/ru/company/badoo/blog/278089. Система полностью автоматизирована. Команды проводящей тесты у нас нет — тест обычно создает ответственный продакт или разработчик, а метрики в системе бизнес-аналитики считаются автоматически. Отдельная команда аналитиков у нас тоже есть, они являются частью департамента BI, который занимается сбором и анализом данных.