Pull to refresh
  • by relevance
  • by date
  • by rating

Погрешности, толпы, измерения, или где-то я это всё слышал.

Crowdsourcing

Написать этот пост меня побудил пост про орешки. К сожалению, я не читал книгу на которую ссылается автор, но всё-таки позволю себе некоторым образом по-обсуждать данную тему.

Предлагается эксперимент, в котором люди измеряют количество орешков в посуде. Орешков много и лежат они не аккуратно, поэтому измерить точно их количество представляется довольно затруднительным. И вот тут начинается особая магия.

Читать дальше →
Total votes 122: ↑95 and ↓27+68
Views1.5K
Comments 80

Парадокс Монти-Холла и имитационное моделирование

Lumber room

Парадокс Монти Холла


Парадокс Монти Холла — одна из известных задач теории вероятностей, решение которой, на первый взгляд, противоречит здравому смыслу. Задача формулируется как описание гипотетической игры, основанной на американском телешоу «Let’s Make a Deal», и названа в честь ведущего этой передачи. Наиболее распространенная формулировка этой задачи, опубликованная в 1990 году в журнале Parade Magazine, звучит следующим образом:
Представьте, что вы стали участником игры, в которой вам нужно выбрать одну из трех дверей. За одной из дверей находится автомобиль, за двумя другими дверями — козы. Вы выбираете одну из дверей, например, номер 1, после этого ведущий, который знает, где находится автомобиль, а где — козы, открывает одну из оставшихся дверей, например, номер 3, за которой находится коза. После этого он спрашивает вас, не желаете ли вы изменить свой выбор и выбрать дверь номер 2. Увеличатся ли ваши шансы выиграть автомобиль, если вы примете предложение ведущего и измените свой выбор?

Остальное под катом
Total votes 27: ↑21 and ↓6+15
Views2.3K
Comments 60

Поднять 100 долларов или пройти мимо? Теория вероятностей в повседневной работе

GTD
Удивительное дело, но мы чаще действуем полагаясь на интуицию, чем на здравый смысл и расчет. К сожалению, это касается не только личной жизни, но и работы. Помните старую историю о том, стоит ли Биллу Гейтсу подбирать бумажку в сто долларов из под ног? Шутники рассчитывали сколько зарабатывает Гейтс в минуту и утверждали, что поднимая бумажку он тратит свое время неэффективно.

Как вы считаете, стоило ему поднимать эти деньги? Не спешите с ответом. Пусть Гейтс зарабатывает в минуту 64 тысячи долларов. Это условное число. Нужно ли поднять бумажку в сто долларов? Подумайте.

И тут мы получаем, ловушку, которая заложена изначально в самой постановке вопроса. Гейтс не затрачивает свое личное время для того, чтобы приумножать состояние, это делают деньги на банковских счетах. Поэтому нагнувшись, Билл получит дополнительные сто долларов и это выигрышная ситуация для него. Чувствуете разницу в постановке вопроса? Я не беру в рассмотрение то, что эмоционально как и любой человек, он обрадуется тому, что нашел такую купюру. И это будет связано с тем, что найти сто долларов редкая удача и мало кто может похвастаться этим. Вы находили сто долларов? Только отвечайте честно. Если да, то что ощущали? Вероятность такого события крайне мала, отсюда высокая эмоциональная окраска.

Об автобусе и горилле на поле, шоу на ТВ и открытие двери с гоночным автомобилем, который можно забрать домой. Теория вероятностей в действии.

Читать дальше →
Total votes 247: ↑169 and ↓78+91
Views17K
Comments 264

Усложнение памяти в нейросетях

Artificial Intelligence
Читая статью «21 век: что такое жизнь с точки зрения физики» наткнулся на описание памяти как в живой так и не живой материи. Под памятью в живой материи все понимают, что имеется в виду, ну а под памятью в неживой подразумеваются все способы хранения информации в вашем компьютере и множество других способов. Итак, с точки зрения автора статьи Г. Иваницкого отличительной чертой жизни является использование памяти для прогнозирования
Читать дальше →
Total votes 14: ↑8 and ↓6+2
Views1.1K
Comments 51

Определение площади сложной фигуры с помощью теории вероятностей

Algorithms
Sandbox

Зачем определять площадь сложной фигуры?


Да мало ли зачем. Например, возникла необходимость определить площадь территории на карте. Конечно, можно посмотреть в справочнике или поискать в интернете, но иногда и территории бывают нестандартными — допустим, вы озаботились проблемами лесов в пойме Амазонки и хотите ежемесячно измерять площадь зелёных пятен на фотографиях со спутника. Если вы ботаник (в хорошем смысле слова), то вам может понадобиться измерить площадь листовой поверхности разных сортов одного растения. Или, к примеру, более прозаичная задача — нужно зашпатлевать кусок стены, а банки шпатлёвки хватает только на 1 кв. м. — нужно выяснить, покупать одну банку или раскошелиться на две.

Читать дальше →
Total votes 22: ↑10 and ↓12-2
Views17K
Comments 16

О сортировке контента на основе оценок пользователей

Website developmentAlgorithms
Написать этот пост меня привлекла эта статья. Многие ее помнят по вот этой картинке.
image
Статья затрагивает правильную тему, однако с точки зрения математики и здравого смысла она в корне не верна.
Читать дальше →
Total votes 133: ↑117 and ↓16+101
Views16K
Comments 62

О сортировке контента на основе оценок пользователей: Часть 2

Website developmentAlgorithmsMathematics
Прошлая статья привлекла большой интерес. И даже, на некоторое время, стала лучшей за 24 часа. У меня появилось несколько идей и на часть вопросов в комментариях нужно ответить более развернуто.
image

Читать дальше →
Total votes 67: ↑52 and ↓15+37
Views9.9K
Comments 36

О сортировке контента на основе оценок пользователей: Часть 3

Website developmentAlgorithmsMathematics
В прошлой статье я вывел формулу, которая прогнозирует рейтинг на основе оценок статьи и средней оценки по сайту. Думал в этой статье, я покажу качество ее прогноза, улучшу прогноз за счет дисперсии. Однако, появилась еще одна проблема.
image
Читать дальше →
Total votes 58: ↑44 and ↓14+30
Views14K
Comments 4

О создании персональных рейтингов. Вроде IMHO.net

Website developmentAlgorithmsMathematics
В прошлых статьях я затрагивал тему простых рейтингов. В комментариях меня попросили расписать тему рейтингов, которые выдают для каждого пользователя свои.
Читать дальше →
Total votes 31: ↑27 and ↓4+23
Views6.6K
Comments 1

Как выглядит беспорядок или были ли у фашистов самонаводящиеся ракеты

Mathematics
Translation
13 июня 1944 года, через неделю после вторжения союзников в Нормандию, громкий жужжащий звук прогремел в небе избитого боями Лондона. Источником звука было недавно разработанное немецкое орудие войны: воздушная бомба V-1. Будучи предшественником крылатых ракет, V-1 была самоходной бомбой, управляемой с помощью гироскопов, питалась она от простого пульсирующего воздушно-реактивного двигателя, который поглощал воздух и воспламенял топливо 50 раз в секунду. Такая высокая частота пульсации давала бомбе характерный звук, зарабатывая ей прозвище «жужжащая бомба» (в оригинале – «buzz bomb» – прим. перев.).
Читать дальше →
Total votes 318: ↑312 and ↓6+306
Views149K
Comments 114

Фильтр Калмана

AlgorithmsMathematics
Tutorial


В интернете, в том числе и на хабре, можно найти много информации про фильтр Калмана. Но тяжело найти легкоперевариваемый вывод самих формул. Без вывода вся эта наука воспринимается как некое шаманство, формулы выглядят как безликий набор символов, а главное, многие простые утверждения, лежащие на поверхности теории, оказываются за пределами понимания. Целью этой статьи будет рассказать об этом фильтре на как можно более доступном языке.
Фильтр Калмана — это мощнейший инструмент фильтрации данных. Основной его принцип состоит в том, что при фильтрации используется информация о физике самого явления. Скажем, если вы фильтруете данные со спидометра машины, то инерционность машины дает вам право воспринимать слишком быстрые скачки скорости как ошибку измерения. Фильтр Калмана интересен тем, что в каком-то смысле, это самый лучший фильтр. Подробнее обсудим ниже, что конкретно означают слова «самый лучший». В конце статьи я покажу, что во многих случаях формулы можно до такой степени упростить, что от них почти ничего и не останется.
Читать дальше →
Total votes 178: ↑173 and ↓5+168
Views336K
Comments 84

Ломаем спички, или Алиса в стране математических ошибок

Mathematics
Sandbox
Есть у меня любимый форум, посвящённый головоломкам. Недавно я наткнулся там на следующую задачу:

Сидел однажды Вася у себя на кухне и от нечего делать спички ломал. Поломал, поломал и задумался — чему равна вероятность того, что по крайней мере одна спичка будет переломана точно посередине? Запас спичек у Васи неограничен.


Я довольно быстро доказал, что вероятность этого события равна нулю. Гордый собой, я запостил решение и ответ, ожидая плюсика в карму. Оказалось, однако, что авторский ответ совсем другой: 1 — 1/e. Забегая вперёд, скажу, что этот ответ неверен.

Неправильные авторские решения — довольно частое явление в интернет-головоломках. И я ни за что не стал бы писать этот пост, если бы автором задачи, а также её неверного решения, не был британский логик и алгебраист Чарльз Л. Доджсон, более известный под псевдонимом Льюис Кэрролл.
Скандалы, интриги, расследования
Total votes 228: ↑218 and ↓10+208
Views75K
Comments 381

Вероятностные модели: байесовские сети

Surfingbird corporate blogData Mining
Tutorial
В этом блоге мы уже много о чём поговорили: были краткие описания основных рекомендательных алгоритмов (постановка задачи, user-based и item-based, SVD: 1, 2, 3, 4), о нескольких моделях для работы с контентом (наивный Байес, LDA, обзор методов анализа текстов), был цикл статей о холодном старте (постановка задачи, текстмайнинг, теги), была мини-серия о многоруких бандитах (часть 1, часть 2).

Чтобы двигаться дальше и поместить эти и многие другие методы в общий контекст, нам нужно выработать некую общую базу, научиться языку, на котором разговаривают современные методы обработки данных, – языку графических вероятностных моделей. Сегодня – первая часть этого рассказа, самая простая, с картинками и пояснениями.


Читать дальше →
Total votes 49: ↑47 and ↓2+45
Views80K
Comments 35

Вероятностные модели: примеры и картинки

Surfingbird corporate blogData Mining
Tutorial
Сегодня – вторая серия цикла, начатого в прошлый раз; тогда мы поговорили о направленных графических вероятностных моделях, нарисовали главные картинки этой науки и обсудили, каким зависимостям и независимостям они соответствуют. Сегодня – ряд иллюстраций к материалу прошлого раза; мы обсудим несколько важных и интересных моделей, нарисуем соответствующие им картинки и увидим, каким факторизациям совместного распределения всех переменных они соответствуют.


Читать дальше →
Total votes 49: ↑48 and ↓1+47
Views55K
Comments 10

Теория вероятностей и антропогенный фактор

Mathematics
Sandbox
image

Введение


Среди людей бытует мнение, что человек, поступивший на математический факультет, обязательно выйдет оттуда учителем математики. Это не я придумал, это по опыту, ибо довольно большое количество не очень образованных людей спрашивало, куда я собираюсь идти работать после окончания ВУЗа. Разумеется, найти можно и куда более обширные области применения своих знаний. Одна из них связана с теорией вероятности. Я не хочу вникать в сложные подробности предмета, т.к. люди, не имеющие нужной математической базы, скорее всего запутаются. Но и говорить совсем ни о чем не хочется. Поэтому я хочу написать про связь человека и этой самой теории вероятностей, причем на простом, понятном любому языке. Если интересно — прошу под кат.
Читать дальше →
Total votes 19: ↑13 and ↓6+7
Views41K
Comments 36

Разбор «лохотрона» на игральных картах

AlgorithmsMathematics
Вместо вступления

В стандартной колоде для покера 54 карты. Без двух джокеров, которые не участвуют в игре, выходит 52 карты. Если вы хорошенько перемешаете колоду, то, возможно, создадите уникальную комбинацию из карт, которую никогда никто не создавал до вас. Потому что различных вариантов расположений 52 карт равно: image


Что-то мне подсказывает, что комбинация на изображении не так уникальна.

Теперь к теме

Недавно я узнал про метод «барного развода» на игральных картах, благодаря которому «умные дяди» выигрывают приличные суммы. Суть такова:
«Разводчик» приходит в бар и некоторое время болтает с окружающими, чаще всего присоединяется к большим компаниям молодых людей. Он пытается влиться в компанию и стать «своим» среди окружающих. После того, как он заслужил некоторое доверие и к нему привыкли, разводчик выбирает самого вспыльчивого и разводит его на спор:

Я слышал, что у [блондинов/низких людей/тех, кто носит кепки/любой подходящий вариант] интуиция просто отстой! Вот спорим, что ты не сможешь угадать (в этот момент разводчик достает колоду карт) цвет каждой следующей карты? Можешь перетасовать колоду, как захочешь! За каждую угаданную карту плачу по тысяче рублей! А если не угадаешь, то ты даешь мне два рубля, потом докидываешь до четырех, до восьми рублей и дальше, ну ты понял? И чтобы было честно — остановить игру может лишь тот, кто проигрывает в общем счете, у кого выигрыш меньше. Идет?


Большинство читателей уже поняли схему и с улыбкой прикидывают сумму, которую может выиграть разводчик.
Мне стало интересно, до каких пор игрок выигрывает и как нужно действовать, чтобы увеличить шансы на выигрыш (лучший способ — отказаться от игры!). Естественно, правило про остановку игры я не учитываю, с ним выиграть невозможно.
Читать дальше →
Total votes 145: ↑123 and ↓22+101
Views108K
Comments 125

Тщетные попытки победить лотерею

AlgorithmsMathematics
Представим воображаемого хитрого дядю, который хочет обмануть и заработать деньги на «лопухах». Назовем его Геннадий Обмануев.
В самый обычный вторник, Геннадию Обмануеву вдруг пришла гениальная идея: создать лотерею, в которой каждый игрок может сам указывать свой шанс на победу и, следовательно, множитель выигрыша и играть на выставленных им правилах! Для того, чтобы всегда оставаться в плюсе, Геннадий в конце каждой удачной игры берет символическую плату в 5% от выигрыша.


*если кратко об игре

Как и в случае с казино, чем дольше игрок играет в такую игру — тем более вероятно, что он, в конце концов, проиграет. Но неужели нельзя обмануть хитрого дядю, придумав чудесную тактику, благодаря которой можно увеличить свои шансы на победу?
Читать дальше →
Total votes 62: ↑37 and ↓25+12
Views53K
Comments 60

Вероятностные модели: искусство расставлять скобки

Surfingbird corporate blogData Mining
Tutorial
После большого перерыва продолжаем цикл о графических вероятностных моделях (часть 1, часть 2). Сегодня мы наконец-то от постановок задач перейдём к алгоритмам; поговорим мы о самом простом, но часто полезном алгоритме вывода на фактор-графах – алгоритме передачи сообщений. Или, как его ещё можно назвать, алгоритме правильной расстановки скобок.


by sergey-lesiuk
Читать дальше →
Total votes 51: ↑48 and ↓3+45
Views25K
Comments 2

Вероятностные модели: борьба с циклами и вариационные приближения

Surfingbird corporate blogData Mining
В четвёртой серии цикла о графических вероятностных моделях (часть 1, часть 2, часть 3) мы продолжим разговор о том, как справляться со сложными фактор-графами. В прошлый раз мы изучили алгоритм передачи сообщений, который, правда, работает только в тех случаях, когда фактор-граф представляет собой дерево, и в каждом узле можно без проблем пересчитать распределения грубой силой. Что делать в по-настоящему интересных случаях, когда в графе есть большие содержательные циклы, мы начнём обсуждать сегодня – поговорим о паре относительно простых методов и обсудим очень мощный, но непростой в использовании инструмент – вариационные приближения.


Читать дальше →
Total votes 44: ↑40 and ↓4+36
Views14K
Comments 2