А вы уже читаете блог о рациональности lesswrong.com?

    Пару месяцев назад я наткнулся на потрясающий блог о рациональности: lesswrong.com

    Основной его автор — Eliezer Yudkowsky, учёный, занимающийся Искуственным Интеллектом, сооснователь Machine Intelligence Research Institute. Именно он написал один из важнейших разделов блога, так называемые Core sequences — серию блогозаписей, рассказывающую о том, как научиться мыслить рационально.

    Блог покрывает множество важных тем, начиная с истории науки и Байесовского вывода и заканчивая квантовой механикой и когнитивной психологией.

    Несколько интересных фактов для привлечения внимания:
    • Алхимики 18 века считали, что огонь — есть ни что иное, как следствие существования некого «Флогистон». С его помощью они могли объяснить что угодно. «Почему дерево превращается в пепел?» «Что это за оранжевая штука, которую ещё называют огонь?» «Почему огонь тухнет в герметичном контейнере?» Ответ был один — Флогистон.
    • В 1975 году учёные провели эксперимент: Выбрали некоторое историческое событие (конфликт между британцами и гурками в 1814), о котором не слышал ни один человек из группы испытуемых, и набор возможных исходов: победу британцев, победу гурок, ничью и мирный договор, ничью и отсутствие мирного договора. Испытуемых разделили на пять групп, четырём из них сообщили событие и один из результатов (сказав, что он действительно был таким), а пятой — лишь о самом событии, но не говорили, чем закончилось дело. Затем их попросили посчитать вероятность каждого из возможных исходов. Оказалось, что каждая из групп присвоила существенно большую вероятность тому варианту, который им назвали правильным. Это когнитивное искажение называется Hindsight Bias.
    • Существует теория, гласящая, что время — избыточный параметр во всех уравнениях. Есть только причина и следствие. Фундаментальные уравнения в ней описываются без его использования. Timeless Physics


    После того, как я начал читать этот блог, мои взгляды на мир сильно изменились; как мне кажется, в лучшую сторону. Рекомендую того же и вам, во имя науки!

    P.S. Также Elizer пишет фанфик по миру Гарри Поттера — Harry Potter and the Methods of Rationality, который в более лёгкой форме рассказывает о тех же вещах.

    UPD: В комментариях подсказывают, что и блог и фик переводят на русский: lesswrong.ru/w/Main_Page и hpmor.ru соответственно.

    Only registered users can participate in poll. Log in, please.

    Читаете ли вы lesswrong?

    • 2.4%Да, уже прочёл core sequences21
    • 7.9%Да, в процессе чтения69
    • 1.7%Читал, но не понравилось15
    • 69.9%Не читал, но теперь хочу почитать609
    • 18.0%Не читал, и читать не собираюсь157

    Читаете ли вы The Methods of Rationality?

    • 9.1%Да, уже прочёл всё, что есть70
    • 8.6%Да, но ещё не дошёл до последней написанной главы66
    • 1.4%Читал, но не понравилось11
    • 50.1%Не читал, но теперь хочу почитать386
    • 30.9%Не читал, и читать не собираюсь238

    Similar posts

    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 36

      +1
      День лессвронга и Юдковского на хабре?:)

      Я бы предложил еще опрос: Если вы уже знакомы с данным сайтом, его автором и «фанфиком» о ГП, то как давно?

      Например, про самого Юдковского я узнал из лекций «Сверхтехнологии и общество в 21 веке» в 2008 году, а ГПиМР заценил года 2 назад.
      +4
      Ох. Прежде чем начать читать блог о рациональности, надо найти и прочитать блог — как найти на все время?)
        0
        – Как это вы успеваете, Филипп Филиппович? – с уважением спросил врач.
        – Успевает всюду тот, кто никуда не торопится, – назидательно объяснил хозяин.

        думаю, нет смысла указывать источник
          0
          Могу ответить на это стихом:
          What is this life if full of care, we have no time to stand and stare?
          No time to stand beneath the boughs and stare as long as sheep or cows.
          No time to see, when woods we pass, where squirrels hide their nuts in grass.
          No time to see in broad daylight, streams full of stars like skies at night.
          No time to turn at beauty's glance, and watch her feet how they can dance.
          No time to wait till her mouth can enrich that smile her mouth began.
          A poor life this if full of care, we have no time to stand and stare.
        +1
        Читал фанфик — не понравилось. Первая треть, где Гарри пытается анализировать магию с научной точки зрения, интересна. Но дальше он превращается в Мэри-Сью.
          +1
          Гарри и у Роулинг Мэри-Сью. Но некоторая вина автора тоже есть, дав Гарри научный подход, он его усилил, что не пошло на пользу персонажу.
          +1
          Есть ребята, потихоньку переводящие блог из топика на русский язык. Кому в переводе читать удобнее (или просто легче, как мне), советую. LessWrong.ru.
          Правда, вступление на главной странице изложено как-то нерационально — по моему мнению, оно похоже больше на рекламную завлекаловку, чем на рациональное описание ресурса. Но сами материалы хороши — ту же статью про когнитивные искажения перечитал уже на два раза, например.
            0
            Спасибо, добавил в топик.
              +1
              Я кстати лично знаю человека, занимающегося этим переводом LessWrong, и он хотел бы присоединиться к Хабру. Соответственно если кому-то не жалко инвайта — дам его электронную почту :).
            +9
            Драко Малфой залетел от Гари Поттера!!!
              0
              Есть перевод фанфика про поттера: hpmor.ru. И о нём на хабре уже даже писали: Гарри Поттер и методы рационального мышления
                0
                Спасибо, добавил в топик.
                +2
                Не совсем понятно в чем польза второго эксперимента (конфликт между британцами и гурками, когнитивные искажения) — результат мне кажется вполне предсказуемым и правильным.

                Рассуждая эмпирически, если не известно ничего о сторонах конфликта — вероятности всех исходов равны. Если же нам известно что победили, скажем, гурки — логично предположить что у них было какое-либо превосходство над противником и вероятность их победы была выше чем у противника. Такой эксперимент, по моему мнению, не отражает когнитивные искажения восприятия человека, а отличия в результатах — прямое следствие отличий во входной информации.

                Объясните пожалуйста, если я что-то неправильно понял.
                  0
                  Тоже непонятно. Группы вычисляли (ну, то есть прикидывали) вероятности обладая разным количеством разной информации. Что странного в том, что они получили разные результаты?
                    0
                    На вычисление вероятности не должен влить результат события. Если я дам вам монетку и скажу, что она только что падала аверсом вверх, то это не должно повлиять на вашу оценку вероятности.

                    Из переведённой статьи:
                    Когнитивные искажения, связанные со знанием «задним числом», происходят, когда субъект, узнав окончательный итог событий, дает гораздо большую оценку предсказуемости именно этого итога, чем субъекты, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-все-это-время-чувствовал-что-так-оно-и-есть».
                      0
                      Вы даете мне монетку. Просите оценить вероятность выпадения орла. Я говорю, например 50%.

                      После этого вы подбрасываете, сообщаете мне результат (неважно какой) и в тот же момент я узнаю (неважно как), что с вероятностью 70% эта монетка произведена на заводе, монетки которого падают орлом вдвое чаще, чем решкой.
                      Вы вновь просите меня оценить вероятность выпадения орла на момент начала эксперимента. Рационально ли будет с моей стороны изменить свою оценку вероятности?
                        0
                        Да, рационально. Если не ошибаюсь, по формуле Байеса оценка вероятности будет 37/60. Причём результат моего подбрасывания монеты в этом случае действительно будет неважен. Но результат боя — это результат единичного проведения эксперимента «бой» (результат броска монеты, который неважен), а не способ изготовления и не начальные условия.

                        Думаю, наше непонимание друг друга основано на разном представлении об эксперименте. Я предполагаю, что каждой группе выдали кусок одинаковых сведений о размерах войск, расположении, вооружении и т. п. И вся разница выданной информации заключалась лишь в словах: «А победили в итоге X». Возможно, я предполагаю это необоснованно, но иначе вся суть эксперимента становится для меня загадкой. По ссылке в моём предыдущем комментарии вы можете легко найти абзац про эксперимент (собственно, именно этой информацией я и руководствуюсь).
                          0
                          Эксперимент с честной монетой и эксперимент с появлением новой информации о монете отличаются тем, что в первом случае бросок монеты не дает никакой новой информации о состоянии монеты, а во втором случае — дает.
                          То есть возвращаясь к гурхам, суть разногласий в том, дает ли информация о результате сражения какую-то новую информацию о силе армий по сравнению с историческими отчетами о размере войск и т.д. На мой взгляд ( и студенты со мной согласны) — да, дает, вы, видимо считаете, что нет (и я могу понять такое мнение), но в любом случае это уже вопрос, выходящий далеко за рамки математики и формальной логики.
                          Почему такое мнение заклеймили неправильным и обозвали когнитивным искажением — непонятно. На мой взгляд, неряшливо проведенный эксперимент налицо.

                          Хотя что доказать-то пытались — очевидно, только фразы «задним умом крепки» и то, что люди любят восклицать «а я это с самого начала знал» — это донаучное знание.
                            0
                            Да, вашу точку зрения я тоже вполне понимаю. И даже сейчас склоняюсь к ней больше, чем до начала нашей дискуссии. Возможно, мы не знаем каких-то тонкостей проведения эксперимента, но возможно, что эксперимент и правда — так себе.

                            Ну вот такие вещи как «знание задним числом» очевидны не всегда (или по крайней мере не всем). Точнее даже так. С точки зрения автора статьи об искажениях многие эксперты подвержены им даже в случае серьёзного риска (например, риска потерять награду в несколько месячных зарплат) и даже в случае, когда они предупреждены о возможности искажения. Опять же, цитата из статьи:
                            В эксперименте, основанном на реальном деле, Камин и Рахлинский [Kamin and Rachlinski, 1995] попросили две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57 % экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56 % респондентов этой группы заключили, что город был преступно халатен. Отсюда видно, что судьи не могут просто инструктировать присяжных, чтобы те избежали эффекта знания задним числом: Меры против предвзятости (debiasing manipulation) не работают.
                        0
                        Как раз таки должно. На ваше восприятие влияет тот факт что в реальном мире почти всегда вероятность выпадения монетки аверсом ~50%. В гипотетической ситуации, когда мы не располагаем информацией о том что такое «монетка», а знаем только то что у нее есть 2 состояния — предсказывать что эти состояния как равновозможные — не оптимальная стратегия.

                        Давайте заменим монету на что-то более непредсказуемое. Скажем, у вас есть программа, которая реализует какую-то сложную (и вам неизвестную, то есть не обязательно случайную) функцию F. Функция определена на множестве целых чисел. Результат функции — 0 или 1. Вам известно, что F(123) = 1. Как предугадать вероятность F(124) = 1, которая будет наиболее близко к реальной?

                        Начальная вероятность действительно 50/50, так как у нас нет никаких данных. Но после первого эксперимента, мы получили некоторую информацию о F: эта функция точно не возвращает 0 на все целые числа. Возможно, тем не менее, что она возвращает 1 на все целые числа. Значит оптимальное предположение о вероятности результата 1 уже будет чуть-чуть сдвинуто в сторону максимума. Так как у нас нет никакой другой информации, единственное что мы можем предположить чтобы оказаться близко к правильному решению (обратите внимание, не угадать решение — это невозможно при таком количестве информации, а только с максимальной вероятностью оказаться ближе к нему чем если бы мы угадали иначе) — предположить что вероятность F(124) = 1 равна 1 (то есть 100%).

                        Математически, количество экспериментов = 1, количество результатов 1 равно 1, P(F(x) = 1) = 1/1 = 1 (и P(F(x) = 0) = 0/1 = 0).

                        >Если я дам вам монетку и скажу, что она только что падала аверсом вверх
                        Если это происходит в абстрактной математической вселенной я скажу что скорее всего эта монетка всегда падает аверсом вверх.
                          0
                          С моей точки зрения ваш пример выглядит так: у нас есть информация о том, что в одном случае из бесконечности мы получаем 1. На основе этого мы желаем вывод, что в другом случае получить 1 более вероятно. Оно и правда более вероятно, но на величину, стремящуюся к нулю (один, делённое на бесконечность).

                          Математически. Давайте рассмотрим множество M всех функций F, на вход которых подаётся целое число, а на выходе либо 0, либо 1. Теперь из всего этого множество выделим подмножество M1, функции которого дают F(123) = 1. Очевидно, что наша функция — одна из функций этого подмножества. Думаю, вы согласитесь с тем, что мощность подмножества M1, равна мощности подмножества M/M1,(так как подмножества взаимнооднозначны — каждая функция из M1 имеет один и только один аналог из M/M1, отличающийся лишь значением, выдаваемым на F(123)). Теперь выделим из подмножества M1 подмножество M11 — функции, которые дают F(124) = 1. Аналогичными рассуждениями можем доказать, что мощности подмножеств M11 и M1/M11 равны. Соответственно, вероятность того, что наша функция попадает в M11, а не в M1/M11 равна 0,5.

                          В своём рассуждении вы фокусируетесь на одном из вариантов просто потому что он кажется «не таким как все» — возможно, что F выдаёт всегда 1. Но с точки зрения математики он равновероятен остальным — настолько же возможно, что F(x) = x%2, например. Или, что F(x) = 1 только для x < 124.

                          Теперь возьмём «странную» монетку. «Странность» в том, что вероятность выпадения орла равна p. Причём, p неизвестно, но постоянно (не меняется от броска к броску). Известно, что только что выпадал орёл, а надо узнать, больше ли 0,5 вероятность того, что в следующий раз выпадет орёл (собственно, это и есть p).
                          Если один раз выпал орёл, то это означает, что p принадлежит (0;1]. В идеальном случае, это особо ничем не поможет. Это показывает только то, что можно ожидать выпадения орла с не меньшей вероятностью, чем выпадение решки.
                          Однако, такое происходит, потому что мы считаем распределение p случайным.

                          Если я брошу монетку дважды, и оба раза она упадёт орлом вверх, то будет ли это означать, что в третий раз она вероятнее упадёт орлом вверх, чем решкой? Для случайного распределения — нет. В идеальном случае и тысяча бросков подряд с результатом «орёл» никак не помогут нам предположить вероятность тысячепервого орла.

                          С другой стороны, эмпирический способ получения информации работает совсем не так. И всё же он, похоже, работает, потому что распределение не случайно. Однако, чтобы руководствоваться эмпирической моделью, нужно доказать, что плотность распределения p не случайна. Для реальной монетки это ощущается на интуитивном уровне, что является неправильным подходом к рационализму. Да, я б тоже после тысячи орлов подряд поставил на тысячепервого орла, но ставить 1 к 1000 (или 1 к 10, или 1 к 100, или 1 к 500) было бы нерационально в идеальном случае, пока я не доказал, что распределение p мне это позволяет (например, что оно равномерно — p может быть любым с равной вероятностью). В общем, похоже, проблема в подмене случайного распределения равномерным (Какова вероятность, что вы встретите за углом динозавра? — 50%, либо встречу, либо нет). Подчёркиваю, что я сам не уверен в данных выкладках, но похоже, что так оно и работает у нас всех. Мы подозреваем, что p может быть равновероятно любым, хотя может оказаться, что «странные» монетки выпускает только один завод в мире, и у них p всегда меньше 0,5, а с тысячей орлов мне просто фатально не повезло.

                          Вот такая вот простыня ни о чём, к концу которой я сам уже четыре раза запутался.
                            0
                            >Соответственно, вероятность того, что наша функция попадает в M11, а не в M1/M11 равна 0,5.

                            Увы, но вероятность определяется не столько размером, откуда делается выборка, но больше определяется способом, каким делается эта выборка.

                            Ваши рассуждения о вероятности 0.5 верны для случая (и некоторых других, но не всех, что важно) с равномерно распределенной плотностью вероятности выборки функции из М, но это всего лишь частный случай.

                            В то время как люди делают предположения и о характере процесса (т.е. о распределении плотности вероятности) при оценке собственно вероятности какого либо события. Другое дело, что эти предположения часто ложны сами по себе либо основаны на ложных предпосылках.
                              0
                              Да, о подмене понятий и бездоказательном суждении о распределении я сказал во второй половине своего предыдущего комментария.
                              +1
                              Так как мне на хватило знаний теории вероятности чтобы сформулировать математически верное доказательство, я попросил помощи у соответствующего сообщества: math.stackexchange.com/questions/322479/guessing-the-probability-by-results-of-just-1-experiment

                              Пока что в ответах поддерживают 1, но строгого математического доказательства еще нет. Попробую написать скрипт-эксперимент когда будет пара свободных минут.
                        0
                        Разумеется, испытуемым дали какую-то информацию о конфликтной ситуации. Вероятности попросили посчитать, притворившись, что не знают названный им результат. Когнитивное искажение в том, что человек гораздо уверенее объясняет что-то постфактум, и считает, что смог бы предсказать этот результат заранее. Посмотрите, например, на рыночных аналитиков.

                        Более формально, ожидаемое значение апостериорной вероятности равно априорной вероятности. Но когда люди считают вероятность, у них выходит иначе: вот и когнитивное искажение.
                          0
                          Вероятности попросили посчитать, притворившись, что не знают названный им результат.

                          Про это на lesswrong ничего не сказано.

                          На самом деле, беглый гуглинг показывает, что, видимо было несколько экспериментов, в некоторых из которых студентам явно говорили игнорировать знание об исходе битвы, а в некоторых — нет.

                          Если не предлагали игнорировать, то, повторюсь, студенты «посчитали» разные вероятности на основе разных данных. Если же предлагали, то некое когнитивное искажение налицо, но непонятно что конкретно померяли. По фактам выходит вот что: студентам приказали не думать о белой обезьяне, а они думали. О чем это говорит? Не совсем понятно.

                          Мнение мое, могу, конечно ошибаться, но вот было бы интересно разобраться в таком примере.
                            +2
                            И еще момент: слона-то я в переводе пункта про флогистон и не приметил.
                            В источнике прямо сказано. «To both questions, the 18th-century chemists answered, „phlogiston“.» — химики 18-го века, не алхимики.
                            Флогистон — на тот момент вполне научная теория. Ну, да опровергнутая, но по тогдашним меркам вполне научная. Понятно, что многие тогдашние химики, включая автора теории флогистона были еще и алхимиками, но флогистон — это уже не алхимия.
                            Поводов хохотать над теорией флогистона не больше, чем над теорией эфира или теорией о том, что орбита вращения земли — строго окружность. Они опровергнуты и это нормальный научный процесс
                              0
                              Флогистин приводят в пример как теорию которая ничего не могла предсказать. Ее использовали лишь пост-фактум для объяснения полученных эффектов.
                                0
                                Гм, а так ли это?
                                Теория флогистона утверждает, в частности: в вещественных телах содержится субстанция «флогистон», которая
                                а). конечна
                                б). выделяется при горении

                                В некоторых телах больше флогистона, в некоторых — меньше.
                                Теория предсказывает:
                                а). Любые, даже еще не открытые вещества теряют в весе пригорении
                                б). Горение конечно

                                Как опровергнуть — найти либо вещество, увеличивающееся в весе при горении, либо вещество горящее бесконечно. Собственно, первое и было сделано.

                                Чтобы утверждать, что теория не имеет предсказательной силы надо понимать, что эти предсказания уже были сделаны другой научной теорией раньше. Что как-то неочевидно. До флогистона-то только алхимия.
                                0
                                Рационалисты ужасно не любят вспоминать про научные теории прошлого, оказавшиеся потом ошибочными.
                                  0
                                  Нет любят. Это же прикольно.
                          • UFO just landed and posted this here
                            +1
                            дубль
                              0
                              Ну, вообще, коль сам ничего подобного не создал интернете, то вроде и критиковать не гоже…
                              Однако, я бы сказал, что материал с этого сайта недостаточно краток для текстов о рациональности, особенно когда дело касается математики.

                              Only users with full accounts can post comments. Log in, please.