Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 11
Очень не понятно, если примеры выдуманные, то почему
Не будем сейчас задаваться вопросом о необходимом размере выборки для тестирования.Если можно сразу выдумать пару сотен кейсов и убрать данную фразу, от которой сильно веет негативом.
Этот вопрос нетривиальный. Профессор, который вел у меня курс статистики, рассказывал, что когда у него спрашивают, сколько ему нужно времени, чтобы оценить размер выборки, он говорит от 1 минуты до 3-х лет.
Для того, чтобы оценить необходимый размер выборки, нужно поставить гипотезу. Например, что чувствительность более 90%. Всегда нужно что-то сравнивать. Надеюсь, что данные статьи вызовут интерес, и я еще об этом напишу.
Для того, чтобы оценить необходимый размер выборки, нужно поставить гипотезу. Например, что чувствительность более 90%. Всегда нужно что-то сравнивать. Надеюсь, что данные статьи вызовут интерес, и я еще об этом напишу.
Надеюсь, что данные статьи вызовут интерес, и я еще об этом напишу.Еще как вызовут!
А так — вопрос действительно нетривиальный. Но для себя я нижнюю грань установил таким образом: в литературе говорится, что т-тест показывает значимые различия при сравнении двух выборок от 30 кейсов. Соответственно выборка в 30 кейсов — для меня тот минимум, при котором можно говорить о статистически обоснованных результатах. Тут не идет речь о репрезентативности и прочем.
И в дальнейшем было бы очень интересно почитать Ваш цикл статей и подискутировать с Вами в комментариях под ними.
И в дальнейшем было бы очень интересно почитать Ваш цикл статей и подискутировать с Вами в комментариях под ними.Спасибо!
в литературе говорится, что т-тест показывает значимые различия при сравнении двух выборок от 30 кейсов.Оценка размера выборки основана на связи 4-х параметров: ошибок первого и второго рода, размера эффекта (отношение разности средних значений к стандартному отклонению) и собственно размера выборки. Зная 3 параметра, можно вычислить 4-й. Большой эффект доказать гораздо проще, чем маленький.
В интернете есть информация, если загуглить power analysis.
С этим поспорить трудно, но в жизни обычно происходит так: клиент говорит, почему вот здесь конкретно нету значимых различий, и если на каждый такой запрос отвечать академически, то можно не работать, а только отвечать.
И, если можно пожелание, хотелось бы видеть в статьях не дихотомию, а какое нибудь дискретное распределение.
И, если можно пожелание, хотелось бы видеть в статьях не дихотомию, а какое нибудь дискретное распределение.
Да, в этом вы правы.
По поводу статей, у меня есть желание написать на следующие топики: хи-квадрат тест, t-тест, определение размера выборки, согласие случайных величин (agreement), а также ANOVA модели. Две из них уже практически готовы. Сложных распределений, к сожалению, не могу обещать, т.к. стараюсь писать о том, в чем разбираюсь.
По поводу статей, у меня есть желание написать на следующие топики: хи-квадрат тест, t-тест, определение размера выборки, согласие случайных величин (agreement), а также ANOVA модели. Две из них уже практически готовы. Сложных распределений, к сожалению, не могу обещать, т.к. стараюсь писать о том, в чем разбираюсь.
Спасибо, интересно, полезно!
Замечания:
Не хватает определения?
Приведите пожалуйста ссылки на источники. На вики и здесь приводят другое объяснение.
Сам тоже имею некоторый опыт оценки бинарных классификаторов. Вообще, на основе confusion matrix гораздо больше метрик основано, многое можно добавить. Есть примечательная работа (pdf) на тему. Что ещё интересно — на википедии на русском языке статей практиески нет, зато английская ими изобилует.
P.S. Интересно было бы реалиовать возможность коллективного доведения туториалов до ума. Первый TC инициализирует неплохой черновик. Затем с помощью коллективного разума получается первоклассный туториал. Таким образом можно было бы делиться опытом не одному человеку, а группе.
Замечания:
Отношение правдоподобия (Likelihood quotient). Важная характеристика для оценки теста.
Не хватает определения?
В литературе тест считается хорошим, если LR+ и LR- больше 3 (относится к медицинским тестам).
Приведите пожалуйста ссылки на источники. На вики и здесь приводят другое объяснение.
Сам тоже имею некоторый опыт оценки бинарных классификаторов. Вообще, на основе confusion matrix гораздо больше метрик основано, многое можно добавить. Есть примечательная работа (pdf) на тему. Что ещё интересно — на википедии на русском языке статей практиески нет, зато английская ими изобилует.
P.S. Интересно было бы реалиовать возможность коллективного доведения туториалов до ума. Первый TC инициализирует неплохой черновик. Затем с помощью коллективного разума получается первоклассный туториал. Таким образом можно было бы делиться опытом не одному человеку, а группе.
Спасибо за различную информацию, здорово, что людям интересны похожие темы.
Насчет Likelyhood rate, я читал это в курсе лекций, ссылка на источник Sackett, D. L. et al. Evidence-based medicine: How to practice and teach EBP (2000). Сам оригинал не читал и найти в бесплатном электронном виде не смог.
Насчет коллективного разума всеми руками за! Единственный вопрос как это реализовать, т.к. формат вообще вики. Я писал изначально в гугл докс, могу расшарить общую папку всем желающим. Открыт для всех предложений!
Насчет Likelyhood rate, я читал это в курсе лекций, ссылка на источник Sackett, D. L. et al. Evidence-based medicine: How to practice and teach EBP (2000). Сам оригинал не читал и найти в бесплатном электронном виде не смог.
Насчет коллективного разума всеми руками за! Единственный вопрос как это реализовать, т.к. формат вообще вики. Я писал изначально в гугл докс, могу расшарить общую папку всем желающим. Открыт для всех предложений!
Дорогой автор, Вы имели возможность изучить следующий обзор: ссылка? Там написано чуть-чуть больше, чем Вы затрагиваете в своей статье.
Все-таки бинарных классификаторов много, а вы являете «с потолка» один из них без явного указания, вроде бы, на то какой именно.
Все-таки бинарных классификаторов много, а вы являете «с потолка» один из них без явного указания, вроде бы, на то какой именно.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Статистические тесты в R. Часть 1: Бинарная классификация