Мудрость толпы под управлением компьютера: гибридный интеллект учится предсказывать непредсказуемое

«Мудрость толпы» уже давно формализована и широко используется в практических решениях. Давно известно, что можно добиться высокой предсказательной силы модели, собирая её из субмоделей, каждая из которых имеет предсказательную силу лишь незначительно больше 0.5. Например, можно взять несколько различных архитектур нейросетей, обучать их по-разному и на разном наборе данных, затем выбрать из них те, которые «угадывают» больше половины прогнозов на тестовых данных и объединить их в одну «кворумную» модель, у которой предсказательная сила будет значительно выше 0.5. Естественные нейросети (мозги) тоже уже давно (если сильно обобщить, до, например, ставок на спорт, — то задолго до появления компьютеров) объединяют в такие модели — так называемые «биржы мнений» (озвучивается событие и его возможные исходы, а люди ставят деньги на эти исходы с плечом, соответствующим всем сделанным на бирже ставкам). Тут экономика выступает в качестве эволюционного принципа — плохо предсказывающие мозги теряют деньги и, в итоге, возможность ставить в следующих вопросах, на биржах остаются мозги с эффективностью больше 0.5, а вся биржа, в итоге, получает ещё большую предсказательную силу. Даже была на Гиктаймсе, вроде бы, статья о такой бирже внутри компании Гугл.

Проблема в приложении этой идеи к торговле на бирже заключается в том, что сама по себе биржа ценных бумаг — точно такая же «биржа мнений», и борьба двух бирж превращается в игру с нулевой суммой (за вычетом комиссий брокеров и самой биржи). Потому в своём математическом пределе Cindicator как и любой другой алгоритм может показывать прибыль только на (сравнительно) небольших отрезках времени, а затем рынок автоматически подстроится, и издержки на новые адаптации Cindicator'а будут примерно равны как раз величине этой прибыли. И так по кругу.

Немножко критики. «Подтверждено научными статьями» без референсов на научные статьи — моветон. На статье вики (Экспериментов, подтверждающих его наличие, было проведено достаточно.)
есть ссылка на книгу (не научную работу), и вывод из нее:

It reports on the treasure trove of data coming from The Good Judgment Project, showing that accurately selected amateur forecasters (and the confidence they had in their forecasts) were often more accurately tuned than experts

вольный перевод

В ней описан бесценный источник информации из Проекта Здравого Суждения, показывающий, что тщательно отобранные начинающие аналитики часто делали более точные прогнозы, чем эксперты

Браво. Из тысячи людей, занимающихся аналитикой, мы выбрали одного с наименьшим среднеквадратичным отклонением от постериорных результатов. И назвали его Суперпредсказывателем. Чё?

Теперь к альтернативе доминирования АИ над людьми. Мы не хотим, чтобы нами управляли роботы! Поэтому мы будем нейрончиками, дающими роботам пережеванные данные (наши суждения), как овечки, а роботы будут сами выбирать, кого из нас слушать а кого считать белым шумом. Нууу.

И про мудрость толпы. Исследований ЗА в статье нет. Зато полно исследований, опровергающих это заблуждение (чтобы дать источник и не выглядеть голословно самому: первая половина Overcoming Bias Элизера Юдовски содержит в футноутах к каждой главе ссылки на тексты социологических научных статей и препринтов). В статье не предложено ни одного объяснения или гипотезы, почему и как усредненное мнение должно быть хорошим предсказанием. Все равно что сказать, что LES fitting — наилучший универсальный способ аппроксимации произвольного набора данных.
А еще если бы на самом деле мудрость толпы в интерпретации этой статьи существовало, то из этого можно было бы сделать вывод, что в голове человека есть какой то магический источник Истины, не требующих свидетельств, на который наложен гауссоподобный шум. Только в таком случае усреднение гипотез можно считать максимально вероятной гипотезой! А предмет, выдающий больше Истины чем потребил свидетельств фактически эквивалентен Вечному двигателю.

Я бы резюмировал статью так:
Имея достаточно большую выборку людей, можно найти тех, кто имеет лучшие навыки анализа. Кроме того, для стационарных случайных процессов можно подобрать такую весовую функцию из мнений лучших аналитиков, которая будет лучше отдельных аналитиков. Использовать нейросетку чтобы по тестовой выборке выбрать лучших аналитиков — интересная идея, если предположить, что скрытые закономерности, которыми пользовались аналитики, универсальны и неизменны для предсказываемого процесса. И уж точно ничего хорошего не выдет, если сделать репрезентативный соцопрос населения о том, каковы простые множители числа 16634527. Как ни усредняй.

Так может не вносить лишние сложности, и научить нейросеть на чистых данных, вместо того, чтобы мучать аналитиков вероятно бесполезной для них работой?

Как-то появилось ощущение, что при достаточно большом количестве белковых участников в такой сетке, модель из «сделать усредненное предсказание на базе лучших оценок» выподится в «сделать предсказание на базе оценки общего поведения белкового социума». Ведь «плохих» оценщиков в любой массе всегда больше и благодаря своему количеству и, соответствующему поведению, они тоже являются частью условий задачи. Грубо говоря, если в такую сеть подключить каждого (ну или репрезентативное число), то можно не оценивать мнения, а просто моделировать реальность.

отложив ещё на какое-то время наступление сингулярности — то есть момента, когда скорость и сложность развития технологий опередит возможности человека осознавать происходящее.

Но еще раньше наступит момент, когда скорость и сложность развития технологий опередит возможности человека ПРАВИЛЬНО осознавать происходящее. И именно это обстоятельство сулит очень многие беды. Потому что прямое негативное воздействие на общество — это, безусловно, плохо. Но когда общество реагирует таким образом, что тем самым встает на неверный путь развития — это вряд ли лучше.
Что до «мудрости толпы» — … Сомневаюсь я. В частных применения — вполне возможно. Но как универсальный метод вряд ли доказуемо. Если уж обобщать возможности людей, то в большой массе всегда есть вероятность наличия человека с необычными способностями, который скорее создает определенное будущее, нежели предсказывает его. А, создавая — просто описывает.
Что до ИИ, то к нему есть несколько весьма актуальных вопросов:
1. Насколько вероятно, что человеческий интеллект — это тоже ИИ?
2. Насколько вероятно, что Реальность — это Матрица?
3. Каков должен быть алгоритм симбиоза человека и ИИ/машины, чтобы в случае [глобальной катастрофы и] внезапной потери ИИ-симбиота человечество не скатилось до неандертальцев?
Последний вопрос возник из соображения, что человек, как представитель животного мира Земли, возник и эволюционировал в естественных условиях. Ему не нужны были для этого заводы, энергетика, и прочее. Сорвал/поймал — съел — переварил — усвоил. С ИИ дело обстоит совсем иначе. Поэтому резонный вопрос: какова должна быть «подушка безопасности» на случай, если вдруг ИИ нас оставит?

Большинство участников торгов ценными бумагами на биржах остается в аутсайдерах и «кормит» меньшинство. Стратегия «Мнение толпы» на ФР не работает…

Показалось, что Cindicator хочет набрать «толпу», а потом вычленить и использовать предсказания наиболее эффективных «предсказателей» в своих целях

По результатам 27-и сделок делается вывод?.. Статистика грустно смеется в уголку)