Гонка искусственных интеллектов началась: нейросети осваивают всё больше неожиданных и интересных задач, которые они могли бы решать, и всё больше компаний и стартапов пытаются вывести их на качественно новый уровень, за которым лежит прохождение теста Тьюринга и сингулярность. Пока одни сыплют щедрыми обещаниями для тех, кто мечтает всех обойти («Первым триллионером станет тот, кто занимается ИИ»), другие стращают ужасами сингулярности и непредсказуемости отношений человечества и ИИ. Однако и те, и другие рассуждают в рамках одной парадигмы: ИИ неизбежен — вопрос только в том, принесёт нам он беды, процветание или сложную смесь того, и другого — тогда в каких пропорциях?



Но есть и третий путь, альтернатива миру безальтернативного превосходства ИИ, в котором мы сдаёмся ему на милость — надеясь, что это, и правда, будет милость. Это возможности самого человеческого мозга. В статье «Люди даже не поймут, как стали киборгами» я обрисовал идею теоретически: нейроинтерфейсы, разработка которых ведётся с не меньшим успехом, но меньшим апломбом, чем идёт развитие нейросетей, способны вывести человека и человечество в целом на новый уровень интеллектуальной мощи, который вполне способен отсрочить для нас наступление момента, когда мы превратимся в домашних питомцев на заботливом попечении роботов и «Скайнета», и продлить нам время, когда мы можем ещё позволить себе ощущать себя венцами творения — теперь уже собственного, а не эволюции, богов или Инженеров.

Доброго времени суток, уважаемые Хабровчане! Предлагаю оценить, поучаствовать и прокомментировать разработанный мной социально-информационный исследовательский проект «Свободные знания». Проект реализован в виде приложения ВКонтакте:

Джеймс Шуровьески, финансовый аналитик New York Times и Wall Street Journal, анализируя в книге Мудрость толпы результаты масштабных и многоплановых исследований — в области военной истории и политики, поведенческой экономики, биологических систем и повседневной психологии — убедительно доказывает, что коллективный потенциал большой группы так называемых простых людей всегда выше, нежели у избранных индивидов, пусть даже входящих в интеллектуальную элиту.

Идея простыми словами: если взять большую группу людей и задать каждому определенный вопрос, а потом посчитать средний ответ, то он, с большой долей вероятности, будет ближе к истине, чем ответы экспертов.

Приводятся потрясающие эксперименты:

Группе людей предлагают определить на глаз вес быка. Усредненный ответ практически равен истинному. Тоже самое, например, повторяют для определения количества дражже в пакетике с конфетами. Определяют почти точное количество.

Или вот еще пример: пропала подлодка, один из исследователей собрал группу людей с широкими диапазоном познаний и, на основе их ответов, составил коллективный прогноз. Подлодку нашли через 5 месяцев в 200-х метрах от места, указанного группой.

Электронный вариант книги легко находится гуглом :)

Создал блог "Коллективный разум" на хабре, посвященный этим идеям. Давайте повторим подобные эксперименты и проверим на практике, насколько мудрым окажется коллективный разум хабра :)

UPD: Опубликовал первый эксперимент

Для тех кто пропустил вчерашнее обсуждение книги «Мудрость толпы», можно ознакомиться здесь.

Попробуем здесь опровергнуть или подтвердить описанные там идеи. Предлагаю первый (может быть корявый) эксперимент.
В книге, например, определяли на глаз вес быка, а мы попробуем определить количество орешков в тарелке. В идеале, конечно, каждый должен был бы
анонимно вводить ответ и не видеть, что отвечают другие, но, поскольку, такой возможности здесь нет, можно попробовать пока так.

Прошу навскидку оценить сколько орешков лежит в тарелке (это не ваза) и указать это в комменте. По возможности, перед ответом, не смотрите что отвечали другие.

Когда наберется (если вообще наберется) хотябы 100 ответов, я посчитаю среднее арифметическое всех ответов и сравню с правильным ответом. Теоретически, если верить книге, и если эксперимент
не слишком грубый, средний ответ должен быть очень близким к верному. Пожалуйста, отвечайте серьезно и не пишите заведомо неправильных ответов (0, 100000, итп)



UPD: Не минусуйте, дайте состояться эксперименту ;) Для тех кто задает себе вопрос, какое отношение все это имеет к IT: почитайте, пожалуйста, ссылку на обсуждение книги

UPD: Эксперимент завершен! В тарелке было ровно 135 орешков. Хотя каждый по-отдельности давал, как правило, сильно отличающийся результат, среднее арифметическое получилось: 139.28!! Всего было 257 ответов. Дубликаты (несколько ответов от одного пользователя) и «9999999» я не считал. Результат очень интересный, будем продолжать экспериментировать. Правда, этот топик почему-то стоил мне кармы — тоже, наверное, проявление коллективной мудрости :)

Решил высказать свое мнение о «коллективной мудрости» в отдельном посте.
Обсуждение книги «Мудрость толпы», породившее этот мой пост, можно прочесть здесь.

Многим понравился недавний эксперимент, в котором надо было определить количество орешков в тарелке. Несмотря на то, что эксперимент был простой, грубый и “ненаучный”, коллективный ответ хабрапользователей оказался очень точным. Тем не менее, было много разоблачителей, которые назвали эксперимент бредом, а метод — бесполезным в реальной жизни. Мало кто хочет верить в то, что толпа может генерировать мудрые ответы на серьезные вопросы ;) Признаю за собой вину в том, что не смог грамотно выразить суть идеи и многим, наверное, показалось, что я говорю о какой-то магии. Поэтому прежде чем проводить следующие эксперименты, я бы хотел немного рассказать о серьезных проектах, где идеи о “мудрости толпы” успешно применяются.

Здравствуйте. Как я и обещал, я выкладываю результаты Эксперимента №2, задачей которого было более детальное исследование явления выдачи большим количеством людей при усреднении правильного ответа (или невыдачи).

Спасибо всем, кто принял участие в опросе.

Прежде чем перейти к результатам, бегло рассмотрим методы анализа результатов экспериментов и измерений, широко применяемых в науке и технике. Те, кто с этим знакомы, могут сразу же переходить к пункту 2. А он, как и все прочие пункты — под катом.

А что если попробывать что нибудь по сложнее?

Сколько погонных метров в рулоне бумаги?

UPD:

Средний ответ составил 63.61.
Реальное количество погонных метров 36.62

Из результатов эксперимента можно сделать вывод, что теория «Мудрости толпы» не совсем верна. Для ответа на более сложные вопросы, необходим опыт в определенной сфере. А группа экспертов обладает гораздо большими знаниями в конкретном вопросе.

Меня заинтересовало прямое применение «коллективного разума» для инвестиций. Получается, что если организовать и обобщить мнения многих инвесторов специальным образом, то можно получить инвестиционные прогнозы, превосходящие по своей эффективности результаты лучших профессиональных аналитиков.

Для любопытствующих — вот как получилась страничка с прогнозами по акциям, согласно коллективному разуму на данный момент. А подробности — под катом.

«Мудрость толпы» («МТ») — одно из важнейших понятий веба на сегодня, возможно, самое важное для социальных СМИ, но это и одно из наименее понятных явлений. Когда Джеймс Шуровьески написал книгу «Мудрость толпы» в 2004 году, он исследовал фондовый рынок и другие классические примеры социальной психологии, но среда «веб 2.0» тогда только начинала формироваться. Настало время найти применение его идеям относительно социальных сетей, там где они и смогут полностью раскрыться.

Теория МТ не означает, что люди становятся умнее в группах, совсем нет. Любой, кто видел разъяренную толпу, это подтвердит. Но коллектив, в которым присутствуют правильная постановка задачи и правильные внутренние связи, может стать мудрее. При этих условиях группа людей более мудра, чем любой её единственный участник.

Стандартный пример (на хабре уже проводилось в прошлом году 3 аналогичных испытания 1, 2 и 3): предположим, что у вас есть коробка с монетами. Спросите несколько сотен человек, сколько монет внутри. Когда вы подведете итоги опроса, возможно, что все предположения будут неправильными. Но если найти среднее арифметическое всех ответов, то результат будет достаточно близок к правильному.

Сеть, с ее низким барьером для входа и размытыми социальными границами, является уникальной средой для исследования тонкостей коллективного разума. В сети можно найти множество примеров: результаты поиска google, торренты, хабратопики на главной странице (в статье приведен другой пример). В каждом примере за результатами стоит усредненное мнение большой группы людей.

Нужно знать всего несколько вещей, чтобы коллективный разум начал работать.

Мои предыдущие обсуждения в хабра-сообществе оказались крайне полезными для развития TIKR.ru. В прошлом мы обсуждали поисковик по акциям, инвестиционные портфели, прогнозы по акциям и социальную сеть для инвесторов в акции российских компаний.

Приглашаю добрых хабра-людей к обсуждению нашего нового функционала. Главная идея — дать пользователям возможность наглядно отображать влияние новостей на изменение в цене акций. Что получилось, можно увидеть на примере графика акций Норникеля.

Для графиков с акциями западных компаний Гугл отбирает новости автоматически на основе индекса цитирования. По российским компаниям такого нет. Мы посчитали, что в наших реалиях гораздо лучше работают принципы таких проектов, как digg.com и news2.ru, где пользователи сами определяют, какие новости являются важнее путем простого голосования. Таким образом, новости из «Последних» в хронологическом порядке попадают в «Актуальные», где порядок высчитывается с учетом голосов пользователей. Вот что из этого получилось: