Pull to refresh
5
0
Артём Марченко @artemmarchenko

Программист, менеджер продукта, вот это всё

Send message

How to choose the appropriate level of statistical significance for an AB-test

Reading time 9 min
Views 974

Nowadays a lot of product managers have to confirm most of their decisions with AB-tests. Yet, it is far not always clear how to choose the parameters for the test. A particularly difficult parameter to tune is often the level of statistical significance. If we choose too high level - tests will fail even though improvements do exist. If we choose too low level - we'll be getting lots of "confirmations" of false improvements.

When we make decisions based on AB-tests, once in a while we'll be making mistakes. We can limit the losses caused by such mistakes by choosing the appropriate level of statistical significance.

Read more
Rating 0
Comments 0

Как выбрать уровень статистической значимости для AB-теста и как интерпретировать результат

Reading time 10 min
Views 13K

AB-тесты сейчас применяет, возможно, каждый второй менеджер продукта, однако далеко не всегда ясно, как же интерпретировать результат теста и какой уровень статистической значимости использовать. Используем слишком высокий - тесты возможных улучшений будут проваливаться, хотя улучшения на самом деле есть. Используем слишком низкий - часто будем получать "подтверждения" ложных улучшений.

Независимо от выбранного уровня значимости, принимая решения по результатам AB-тестов, время от времени мы будем ошибаться и наносить ущерб бизнесу. Выбирая уровень статистической значимости тестов (или что то же самое - граничные p-value), мы можем ограничить количество ошибок и балансировать между пользой от оправданно успешных экспериментов и ущербом от ошибочно успешных.

Читать далее
Total votes 2: ↑2 and ↓0 +2
Comments 0

Простой, но гибкий калькулятор для расчёта общей стоимости ипотеки

Reading time 3 min
Views 46K

Полная стоимость квартиры, купленной в ипотеку


Хотите посчитать, во что на самом деле обойдётся вам квартира именно с вашим сложным графиком оплаты страховки, ремонтом и тем, что вы планируете платить коммуналку лишь несколько месяцев пока не сдадите квартиру жильцу?


Здесь можно скачать файл excel с калькулятором, здесь — посмотреть в Google Sheets (скопируйте себе для модифицирования).


Смело добавляйте колонки для типов платежей, которые хотите учитывать, меняйте цифры под ваши условия и получайте результат.

Читать дальше →
Total votes 22: ↑20 and ↓2 +18
Comments 19

Information

Rating
Does not participate
Location
Helsinki, Southern Finland, Финляндия
Registered
Activity