Типичные распределения вероятности: шпаргалка data scientist-а

[ls18]

Отличная статья. Как раз сейчас в университете проходили теорвер. Спасибо.

[BosonBeard]

Земной поклон! Как раз в очередной раз пытаюсь освоить статистику и анализ данных, очень в тему.

[Ryppka]

Спасибо за хороший перевод интересной статьи. Вопрос для обсуждения: мне кажется, что по русски нельзя сказать «количество раз», правильно будет «число раз». А Вам?

[kayan]

Да почему нельзя… В контексте там как: «количественное распределение» — почему? — потому что «количества раз». «Числа раз того, как что-то произойдёт» — ещё хуже.

[Alexeyslav]

Не проще тогда записать «количество событий»?

[kayan]

«Количество событий того, как что-то произойдёт»? :) Надо в контексте фразу смотреть, причём не в предложении, а в абзаце целиком. Это же, всё-таки, перевод, а не изложение своими словами мыслей автора.

[Ryppka]

количественное — потому что не качественное. Если про число раз — то дискретное, но все равно количественное. Если про непрерывную величину — то непрерывное, но тоже количественное. Теорвер весь количественный сверху донизу и снизу доверху. Просто я привык, что все, что дискретное, в «штуках» и в «головах» считают — то число, численность и т.д.

[kayan]

Мысль понял. Поправил на менее толкосбивающее «распределение количества». От количеств по контексту всё равно не получается уехать.

[funca]

а мне можно

[burzzo]

Как меня учил один проф. по выпуклой оптимизации, С.Бойд — «Не относитесь к этому слишком серьёзно» Можете забить на эти распределения и построить своё эмпирическое по имеющимся данным и всё равно придётсся сделать гипотезу про хвосты плотности распределения. p.s. Диаграмма с тем что data science — включает всё на свете — клоунада да и только.

[GeMir]

«Эта статья только о тех распределениях, у которых исходы – одиночные числа.» — я что-то пропустил или вы сейчас и нормальное, и все остальные непрерывные распределения, упоминаемые в статье, окрестили дискретными?

[GeMir]

Ок, вопрос снят, смутило слово «одиночные».

Обещанного в статье пунктира, по которому следует вырезать иллюстрацию, кстати, так и не нашлось ни в переводе, ни в оригинале.

[lostpassword]

Он является только избранным data scientists.

[kayan]

Да, не многомерные имеется в виду (автор для новичков не стал умное слово говорить). Про пунктир единственное моё объяснение — Шон так шутит.

[Labunsky]

del

[Sorokinv]

Супердетализированная карта распределений вероятности потрясает :)

[Oskal174]

Автор, где ты был пару лет назад, когда мне нужно было это сдавать :) Спасибо!

[glincow]

Более подробная версия карты из статьи (пояснено, что скрывается за стрелочками):

[SanekZhitnik]

Вот еще одна визуализация. По каждому распределению есть краткая информация в pdf.

[kayan]

Эта ссылка есть и у автора, и в переводе. По ссылке интерактивная схема — можно подержать курсор где нужно — и она подсветит только соответствующие связи.

[lxsmkv]

data scientist'y такая шпаргалка не (должна быть) нужна. Они дышат этими распределениями.

[funca]

стоя за компанию, когда математики их курят.

[BD9]

Не «функция плотности распределения (ФПР)», а «плотность функции распределения (ПФР)». Первично понятие «функция распределения».
Про «хвосты распределения» в русскоязычной среде говорят, что они «тяжелее», а не «толще».

Теория вероятности и математическая статистика есть две отрасли математики, в которых обычно сильны российские и русские математики, т.ч. труды на русском языке — первичны. При этом СШАшное обучение в этих разделах хромает на обе ноги.

Собираюсь написать статью о заблуждениях в ТВ и МС. Если у меня будет приглашение, то вероятность написания статьи резко повысится…

[kayan]

Разумеется, функция плотности, а не плотность функции. Есть распределение и его плотность. Они оба описываются функциональной зависимостью. Поэтому «функция распределения» и «функция плотности распределения».
Про тяжесть в русском — согласен, но автор пишет для новичков, и термины у него не все политкорректны. Тем более что дальше шутка про толстые хвосты.

[DarkGenius]

Тогда "теория вероятностЕЙ", если уж на то пошло.

[Bronx]

Теория вероятности и математическая статистика есть две отрасли математики, в которых обычно сильны российские и русские математики, т.ч. труды на русском языке — первичны.

Но только именно в советской/российской экономической статистике почему-то традиционно используются метрики вроде «средний доход на душу населения» вместо более показательных и робастных вроде «медианный доход на домохозяйство».

При этом СШАшное обучение в этих разделах хромает на обе ноги.

С какого класса в российских школах начинают изучать основы статистики (histograms, dot plots, mean, median, mode etc)? Насколько я помню, статистику и теорвер в школе не преподают практически совсем (слегка затрагивая в последних классах), в основном идёт алгебра и матан. А в США тема «Measurements & Data» (измерения, гистограммы и т.п.) даётся прямо с детского сада, а «Statistics & Probability» — с шестого по восьмой, причём достаточно глубоко — я такое только в вузе начал получать.

[kayan]

И США и Россия-СССР сделали свой вклад в развитие тервера и статистики. Справедливости ради — строгое научное оформление тервера всё-таки, скорее, российская заслуга (как минимум, даже не очень знакомому с темой человеку вспомнятся Марков и Колмогоров). С другой стороны, практические результаты её применения в в виде статистики больше связаны с американскими фамилиями (Фишер, Пирсон, Стьюдент-Госсет тот же). Первичность российских трудов в тервере как следствие — скорее да, чем нет. В статистике — наверное, наоборот.

даётся прямо c детского сада

Ну вашу фразу прочесть — так там в младшей школе уже диссер пишут. :) Это, во-первых, стандарты уровня знаний, а не программа обучения, степень наплевательства на которые так же зависит от региона, как и у нас. Во-вторых, задачи типа "разложи яблоки по цветам… сколько в каждой кучке яблок", так же, конечно есть и в России. В-третьих, соглашусь с тем, что вряд ли у нас широко распространены графики в детских садах, но я лично это считаю не недостатком, а разницей в, условно, работе с информацией. У американцев традиционно очень визуальный, но вместе с тем практично-инженерный способ подачи и решения задач. У нас, соответственно, более абстрактный и свободный. Пруфа прямо сейчас не дам, но на такое сравнение наталкивался.

[kayan]

Извините, про "американцев" Пирсона, Фишера и Госсета — я, конечно, ерунду сказал. :) Англоязычную иностранную школу в целом имел в виду, как противопоставление российской. Про чистых американцев — это, например, Вальд и его тест.