Громкие заявления требуют убедительных доказательств.
Карл Саган (оригинал)
Преамбула
Однажды вечером много лет назад на первом курсе в славном городе Долгопрудном прогуливался с товарищами по коридорам университета, как вдруг совершенно случайно, мы увидели на двери объявление: «Лекция: Славянские руны. Чудинов». Стоит отметить, это не самая популярная для физтеха тема лекций. Из любопытства мы заглянули на огонек и даже честно попытались понять, что же нам пытаются рассказать. Примерно через десять минут мы уже не могли сдерживать смех и попытались в мягкой форме спросить, действительно ли автор верит в то, что он говорит, и не нарушают ли его теории ряд научных принципов. Автор честно признался, что они не очень-то стараются следовать каким-то там принципам, а пытаются разобраться в сути вопроса и вообще всё, что он говорит, это чистая правда — смотрите на эти фотографии, они всё доказывают — вот тут вот точно «Мара» написано.
Что же в сухом остатке с той самой лекции? Далеко не последний университет проводит в своих стенах лекцию сомнительного качества (с продажей книг выступающего, конечно же) и мало того, что выступает бесплатной площадкой для такого рода личностей, так еще и бьёт по своему статусу. Казалось бы, возможно это единичный случай. Например, та же лекция была прочитана в лектории Политехнического музея. В последствии администрация признала эту лекцию и ряд других лженаучными и даже организовали отличную лекцию "Что такое любительская лингвистика", прочитанную академиком Зализняком.
Однако, оказалось, что это не исключение.
Никогда такого не было и вот опять
Сегодня с удивлением обнаружил следующий пост
К еще большому удивлению обнаружил соответствующий пост на Хабре. Конечно же, я не могу утверждать, что данная работа является псевдонаучной. Но как и во многих других случаях у нас есть повод усомниться.
Для иллюстрации общей идеи, рассмотрим несколько примеров встречающихся на Хабре и за его пределами. В качестве основного примера разберем несколько статей по известной и популярной в информатике задаче SAT. Задача имеет довольно простую формулировку и поэтому получила достаточное внимание среди неспециалистов, которые предлагают разнообразные решения. Как правило большинство таких работ не удовлетворяет базовым научным принципам написания статей и поэтому является отличным примером для разбора ошибок.
В то же время эта задача достаточно широко известна и несколько раз освещалась на Хабре, чтобы быть хорошим иллюстративным материалом для общей идеи. Мы постараемся не просто проанализировать эти работы, но и выявить некоторые общие черты между «сомнительными» работами и постараемся использовать полученные правила для упомянутого выше проекта «Планетарный Передатчик Энергии».
Решение задачи P ?= NP
За примерами далеко ходить не нужно: здесь, здесь и здесь, тысячи их! Поиск выдает еще больше результатов, но для иллюстрации и этих достаточно.
Для эксперта в SAT скорее всего сразу всё будет ясно, как только он увидит статью с доказательствами, однако представим, что у нас нет совершенно никаких знаний в области вычислительной сложности и мы пытаемся разобраться насколько нам стоит доверять данной работе.
Первое о чем стоит задуматься, что говорят эксперты? Статья из Википедии приводит нас к следующей работе: "Reasons to believe by Scott Aaronson", то, что это действительно эксперт мы можем убедиться, заглянув в его CV. Автор последовательно доказывает, что ни одна из современных математических техник, не позволяет дать какой бы это ни было ответ на вопрос о NP vs. P.
Второй вопрос, а где данная статья была опубликована? Даже поверхностный поиск по запросу: «computational complexity conference» даёт хорошее представление, что над данной задачей и в предметной области работает ряд выдающихся экспертов (а так же такие организации как IEEE, ACM etc), которые в состоянии оценить работу в деталях.
Третий вопрос, в чем эта работа принципиально отличается от других? Это довольно интересный вопрос, когда-то мне посчастливилось побывать на лекции Дональда Кнута на летней школе посвященной SAT/SMT и в неформальной беседе, прозвучала фраза, что по тому, как выглядит список ссылок в работе и по обзору литературы можно понять насколько глубокой является статья. Интуиция здесь примерно следующая: если автор даёт качественный детальный обзор литературы, включая современные работы из топовых конференций\журналов, то значит у него есть хорошее понимание предметной области и позиционирования своей работы.
Список можно продолжать и продолжать, но нас на самом деле интересует более общий вопрос нежели проблема NP vs. P.
Абстрактный Петрик в вакууме
На хабре, как и на многих других ресурсах, есть огромное количество статей, о результатах которых только эксперты могут дать однозначный ответ. Приведу для примера несколько работ из чулана: вот, тут и конечно же шедевр «Белорусские военные изучают торсионные поля».
Безусловно, никто не является специалистом в каждой области и поэтому, если опубликовать на Хабре технические выкладки по какой-то узкой предметной области, то 99% не сможет вникнуть в детали и вести предметный разговор на уровне конкретных формул, доказательств и теорий. Это вовсе не означает, что сообщество не может оценить качество работы по каким-то формальным критериям.
Мы приходим к старой проблеме определения качества научно-популярного материала, представленного широкой публике. И тут совершенно не хотелось бы изобретать велосипед. С подобной проблемой сталкиваются многие организации и можно оценить их решения и попробовать понять можем ли мы их адаптировать для Хабра.
Письмо TEDx
Наиболее адекватными и грамотным решением, на мой взгляд, является письмо TEDx A letter to the tedx community on tedx and bad-science.
Почему TEDx? Во многом TEDx и Хабр схожи: основная ценность ресурса — контент созданный пользователями. С одной стороны ресурс тематический (различные топики в TEDx и Хабы), с другой стороны материал представляют широкой публике. Ни TEDx, ни Хабр не проводят и не предназначены для публикации оригинальных научных исследований и предполагают, что материал должен быть понятен неспециалисту по крайне мере на уровне идей, пример отличной статьи в подобном формате. Нельзя сказать, что ресурсы схожи во всем и поэтому нельзя бездумно скопировать решение и применять его направо и налево, но используя специфику ресурса, мы можем сделать первый шаг в адаптации и создании такого решения.
Далее, приведем короткий список вопросов из письма (точнее их адаптацию для хабра), которыми стоит задаться скептику, когда перед ним новая «прорывная» работа и заодно приведем короткий комментарий согласно этим вопросам по проекту «Планетарный Передатчик Энергии».
- Данная работа не убедила достаточного количества экспертов: единственное подтверждение корректности, которое мы видим исходит от академика РАСХН и РАЕН
- Работа не имеет экспериментального подтверждения, повторенного другими учеными (эффект Моцарта)
- Авторы делают невероятно самоуверенные утверждения: «Это бесконечный источник природной энергии для всего человечества»
- Упрощают картину настолько, что содержание невозможно опровергнуть: критерий Поппера, должен существовать выполнимый эксперимент, который мог бы опровергнуть данную теорию (желательно перед тем, как авторам переведут 10^6 рублей)
- Тема работы: бесконечная энергия, путешествие во времени, алхимия и т.д. см. комментарий выше про бесконечную энергию.
- Работа содержит огромное количество общей информации, не позволяющей читателю разобраться в работе: этот пункт, как и остальные субъективен, можно получить личную оценку пробежавшись по материалу
- Отсутствуют серьезная научная репутация: если эта работа будет опубликована в Physical Review Letters, то я в тот же момент переведу 10к+ на развитие проекта
- Авторы единственные обладают подобным знанием: как же так за 100 лет, никто другой не придумал как собрать Башню Тесла?
- Отсутствую сторонние источники информации о проекте: мне не удалось найти ни одного стороннего ресурса дающего экспертную оценку данному проекту
- В оригинальном письме помечено как «БОЛЬШОЙ КРАСНЫЙ ФЛАГ»: продает связанную продукцию, услуги или план
- Авторы проявляют излишнюю назойливость в доступе к площадке: с моей позиции это сложно проанализировать, но известно, что администрация уже удаляла статью с ресурса
Как и в любом другом случае все эти утверждения и вопросы не могут однозначно сказать является ли работа качественной или нет, но они позволяют читателю получить некоторую общую оценку качества работы с точки зрения базовых научных принципов.
Вместо заключения
Данная статья прежде всего направлена на развитие дискуссии о том, какие критерии должны применяться к статьям на Хабре. Должно ли сообщество иметь некоторый перечень вопросов, на которые необходимо получить ответ прежде чем кто-то сможет использовать Хабр как площадку для продвижения своих идей?
Есть ли какие-то общие принципы, которым мы должны следовать? Сообщество регулирует интерес к статьям с помощью голосования, но значит ли, что у нас не должно быть никакого стандарта, какими должны быть статьи? Будем ли это цензурой и давлением, если перед публикацией подобных статей, к ним будут предъявляться какие-то требования соблюдения определенных норм?
Конечно же не существует серебряной пули, которая решит все проблемы, но проблема сама не исчезнет, если её игнорировать.
