Мудрость толпы под управлением компьютера: гибридный интеллект учится предсказывать непредсказуемое

[@napa3um]

«Мудрость толпы» уже давно формализована и широко используется в практических решениях. Давно известно, что можно добиться высокой предсказательной силы модели, собирая её из субмоделей, каждая из которых имеет предсказательную силу лишь незначительно больше 0.5. Например, можно взять несколько различных архитектур нейросетей, обучать их по-разному и на разном наборе данных, затем выбрать из них те, которые «угадывают» больше половины прогнозов на тестовых данных и объединить их в одну «кворумную» модель, у которой предсказательная сила будет значительно выше 0.5. Естественные нейросети (мозги) тоже уже давно (если сильно обобщить, до, например, ставок на спорт, — то задолго до появления компьютеров) объединяют в такие модели — так называемые «биржы мнений» (озвучивается событие и его возможные исходы, а люди ставят деньги на эти исходы с плечом, соответствующим всем сделанным на бирже ставкам). Тут экономика выступает в качестве эволюционного принципа — плохо предсказывающие мозги теряют деньги и, в итоге, возможность ставить в следующих вопросах, на биржах остаются мозги с эффективностью больше 0.5, а вся биржа, в итоге, получает ещё большую предсказательную силу. Даже была на Гиктаймсе, вроде бы, статья о такой бирже внутри компании Гугл.

Проблема в приложении этой идеи к торговле на бирже заключается в том, что сама по себе биржа ценных бумаг — точно такая же «биржа мнений», и борьба двух бирж превращается в игру с нулевой суммой (за вычетом комиссий брокеров и самой биржи). Потому в своём математическом пределе Cindicator как и любой другой алгоритм может показывать прибыль только на (сравнительно) небольших отрезках времени, а затем рынок автоматически подстроится, и издержки на новые адаптации Cindicator'а будут примерно равны как раз величине этой прибыли. И так по кругу.

[@RuddyRudeman]

Немножко критики. «Подтверждено научными статьями» без референсов на научные статьи — моветон. На статье вики (Экспериментов, подтверждающих его наличие, было проведено достаточно.)
есть ссылка на книгу (не научную работу), и вывод из нее:

It reports on the treasure trove of data coming from The Good Judgment Project, showing that accurately selected amateur forecasters (and the confidence they had in their forecasts) were often more accurately tuned than experts

вольный перевод

В ней описан бесценный источник информации из Проекта Здравого Суждения, показывающий, что тщательно отобранные начинающие аналитики часто делали более точные прогнозы, чем эксперты

Браво. Из тысячи людей, занимающихся аналитикой, мы выбрали одного с наименьшим среднеквадратичным отклонением от постериорных результатов. И назвали его Суперпредсказывателем. Чё?

Теперь к альтернативе доминирования АИ над людьми. Мы не хотим, чтобы нами управляли роботы! Поэтому мы будем нейрончиками, дающими роботам пережеванные данные (наши суждения), как овечки, а роботы будут сами выбирать, кого из нас слушать а кого считать белым шумом. Нууу.

И про мудрость толпы. Исследований ЗА в статье нет. Зато полно исследований, опровергающих это заблуждение (чтобы дать источник и не выглядеть голословно самому: первая половина Overcoming Bias Элизера Юдовски содержит в футноутах к каждой главе ссылки на тексты социологических научных статей и препринтов). В статье не предложено ни одного объяснения или гипотезы, почему и как усредненное мнение должно быть хорошим предсказанием. Все равно что сказать, что LES fitting — наилучший универсальный способ аппроксимации произвольного набора данных.
А еще если бы на самом деле мудрость толпы в интерпретации этой статьи существовало, то из этого можно было бы сделать вывод, что в голове человека есть какой то магический источник Истины, не требующих свидетельств, на который наложен гауссоподобный шум. Только в таком случае усреднение гипотез можно считать максимально вероятной гипотезой! А предмет, выдающий больше Истины чем потребил свидетельств фактически эквивалентен Вечному двигателю.

Я бы резюмировал статью так:
Имея достаточно большую выборку людей, можно найти тех, кто имеет лучшие навыки анализа. Кроме того, для стационарных случайных процессов можно подобрать такую весовую функцию из мнений лучших аналитиков, которая будет лучше отдельных аналитиков. Использовать нейросетку чтобы по тестовой выборке выбрать лучших аналитиков — интересная идея, если предположить, что скрытые закономерности, которыми пользовались аналитики, универсальны и неизменны для предсказываемого процесса. И уж точно ничего хорошего не выдет, если сделать репрезентативный соцопрос населения о том, каковы простые множители числа 16634527. Как ни усредняй.

Так может не вносить лишние сложности, и научить нейросеть на чистых данных, вместо того, чтобы мучать аналитиков вероятно бесполезной для них работой?

[@Tetriz]

Как-то появилось ощущение, что при достаточно большом количестве белковых участников в такой сетке, модель из «сделать усредненное предсказание на базе лучших оценок» выподится в «сделать предсказание на базе оценки общего поведения белкового социума». Ведь «плохих» оценщиков в любой массе всегда больше и благодаря своему количеству и, соответствующему поведению, они тоже являются частью условий задачи. Грубо говоря, если в такую сеть подключить каждого (ну или репрезентативное число), то можно не оценивать мнения, а просто моделировать реальность.

[@mistik_max]

Да у ИИ большое будущее, и мы сейчас только на ранней стадии его развития..

[@qwertyhp]

отложив ещё на какое-то время наступление сингулярности — то есть момента, когда скорость и сложность развития технологий опередит возможности человека осознавать происходящее.

Но еще раньше наступит момент, когда скорость и сложность развития технологий опередит возможности человека ПРАВИЛЬНО осознавать происходящее. И именно это обстоятельство сулит очень многие беды. Потому что прямое негативное воздействие на общество — это, безусловно, плохо. Но когда общество реагирует таким образом, что тем самым встает на неверный путь развития — это вряд ли лучше.
Что до «мудрости толпы» — … Сомневаюсь я. В частных применения — вполне возможно. Но как универсальный метод вряд ли доказуемо. Если уж обобщать возможности людей, то в большой массе всегда есть вероятность наличия человека с необычными способностями, который скорее создает определенное будущее, нежели предсказывает его. А, создавая — просто описывает.
Что до ИИ, то к нему есть несколько весьма актуальных вопросов:
1. Насколько вероятно, что человеческий интеллект — это тоже ИИ?
2. Насколько вероятно, что Реальность — это Матрица?
3. Каков должен быть алгоритм симбиоза человека и ИИ/машины, чтобы в случае [глобальной катастрофы и] внезапной потери ИИ-симбиота человечество не скатилось до неандертальцев?
Последний вопрос возник из соображения, что человек, как представитель животного мира Земли, возник и эволюционировал в естественных условиях. Ему не нужны были для этого заводы, энергетика, и прочее. Сорвал/поймал — съел — переварил — усвоил. С ИИ дело обстоит совсем иначе. Поэтому резонный вопрос: какова должна быть «подушка безопасности» на случай, если вдруг ИИ нас оставит?

[@SeoTec]

А чем вам неадертальцы не понравились? Последние исследования и расшифровка генома неадертальцев показала, что они были более высокоразвиты чем хомо, у них был больше мозг, сложные технологии. И они не вымерли, а растволрились при сходе хомо из африки, ибо их было гораздо меньше. У всех белых людей от 2.5-до 3.5 % генома неадертальца. У африканцеф этих генов нет. Они чистые хомосапиенс. От неадертальцев, европецы унаследовали белую кожу, прямые волосы, иммунитет, большой мозг и интеллект. Что касается ИИ, все что сегодня есть это варианты комбинаторики, а не интеллект. Он не может адаптироваться и ничего создать. На это способен только человеческий мозг. Все остальное PR и шумиха. ИИ может обыграть гроссмейстера в шахматы, но не может открыть электричество или теорию относительности. Ибо шахматы это комбинаторика. Так что вернее сказать, что мы скатимся до хомосапиенс, а не до неандертальцев.

[@Teemon]

Показалось, что Cindicator хочет набрать «толпу», а потом вычленить и использовать предсказания наиболее эффективных «предсказателей» в своих целях

[@EgorKotkin]

Это не так. Практика показывает, что точность предсказаний «всей толпой» в среднем вдвое выше, чем попадания самых точных из её отдельных участников.

[@Teemon]

А есть ли какие-нибудь ссылочки по этому делу?
На первый взгляд это должно выглядеть так: самые точны участники должны «окупать» неверные предсказания «толпы» — если, скажем, профессионалы дают 80% правильных ответов и составляют 10% толпы, а непрофессионалы дают 20% правильных ответов и составляют 90% толпы — мы будем «по нулям» — т.е. точность предстказаний будет 50\50…
Всё-таки непонятно за счет чего «толпа» должна быть «умнее» отдельно взятых — значит, статистически «толпа» должна быть «умнее» опять же, среднестатистического индивида…
Ведь предполагается что «толпа» делает предсказания не на основе «брейншторминга» или каких-то других методов, где синергетический эффект может проявиться.

[@EgorKotkin]

А есть ли какие-нибудь ссылочки по этому делу?

В статье есть ссылка на конкретный пример:

Всего в ходе конкурса на основе прогнозов участников робот смоделировал 27 сделок, 17 из которых были прибыльными. В результате за время конкурса модельный портфель вырос на 2,8% в валюте (47% годовых).

Автором самых точных прогнозов стал инвестор с 10-летним стажем, он получит главный приз — iPhone 7, еще 24 участника получат денежные призы от организаторов конкурса.

Интересно, что у победителя конкурса результат торговли составил бы +1,48% (25% годовых), что в почти два раза ниже доходности, продемонстрированной гибридным интеллектом.

[@Optimuss]

По результатам 27-и сделок делается вывод?.. Статистика грустно смеется в уголку)