Сегодня искусственный интеллект и, в особенности, машинное обучение, кажутся максимально прикладными дисциплинами. Но наблюдаемый нами прогресс стоит на плечах серьёзных фундаментальных исследований, которые не перестают двигаться дальше.
Я попал в эту отрасль науки сравнительно недавно — после того, как меня, как научного журналиста, позвали освещать достижения Института искусственного интеллекта AIRI. При этом я оставался физиком-теоретиком, ведущим свои исследования, и мне сразу бросились в глаза отличия между этими двумя областями наук.
Воспользовавшись Днём российской науки в качестве повода, я хочу поделиться различиями между физикой и исследованиями в области искусственного интеллекта, которые я для себя отметил.
Прежде, чем начать, я сделаю несколько замечаний.
Во-первых, формат работы физиков, в особенности, экспериментаторов, мало отличается от такового у химиков или биологов, поэтому в данном случае имеет смысл говорить о целом пласте естественных наук. То же самое можно сказать и об исследованиях в области ИИ, обобщаясь до уровня Computer science, дисциплины в которой плавно перетекают одна в другую.
К началу XXI века разные науки стали проникать друг в друга, благодаря чему появились такие области как биоинформатика или вычислительная физика. Тем не менее, если не касаться таких междисциплинарных случаев, то есть определенные отличия в том, как учёные подходят к делу по разные стороны этих границ. Вот об этом я и буду рассказывать.
Конференционная наука
Первое, что меня удивило на новом месте работы, так это отношение к конференциям.
В физике конференции являются скорее поводом скататься в командировку и встретиться с коллегами из других городов и даже стран и в меньшей степени способом рассказать о достижениях своей группы. Для последнего специалисты по естественным наукам в первую очередь полагаются на публикации в рецензируемых журналах, реже — на препринты, то есть выложенные в публичный доступ статьи, которые ещё не прошли проверку рецензентами.
Журналы отличаются друг от друга по степени престижности, которую оценивают разнообразные рейтинги, например, SJR или JCR. Согласно им полезность журнала отражает ряд критериев, включающих, как правило, число выходящих статей, их цитируемость и так далее. Весь рейтинг делится на четыре квартиля, и заветной целью большинства учёных становится попадание их статьи в журнал из перечня первой из них — Q1.
В области ИИ журнальная система также работает. Но параллельно ей существуют рейтинги конференций в области информатики, важнейшим из которых стал рейтинг CORE, созданный Ассоциацей компьютерных исследований и образования Австралазии. Согласно последнему, мероприятия ранжируются с помощью букв от C до A, и венчается всё конференциями категории A* — ведущими событиями в своей области. Выделяют также неранжируемые или локальные конференции.
Нет, конечно, я слышал, что рейтинги конференций составляют и для физиков. Но открытием для меня стало то, что попадание исследования на конференцию категории A* — это нередко бо́льшая радость для учёного, занимающегося ИИ, чем публикация в журнале первого квартиля.
Лого конференции NeurIPS, престижнейшего мероприятия для специалистов по машинному обучению. Рассказывал про него в своём прошлом посте.
Различается также и строгость отбора, с которым сталкиваются заявки на конференции высшего уровня. В случае с A* они проходят полноценное рецензирование у нескольких рефери — всё как в нормальном научном журнале. Примечательно, что обычно это рецензирование слепое (рефери не видят авторов, только заголовки) и открытое — все ответы и переписка доступны любому желающему. Далеко не каждый журнал Q1 по физике или биологии может похвастаться тем же самым!
Препринты
Препринт, напомню, — это неотрецензированная статья. Обычно их выкладывают на специальные ресурсы: arXiv, bioRxiv и тому подобные. Это преследует две главные цели: «застолбить» какое-нибудь открытие, а также дать возможность коллегам поскорее ознакомиться с исследованием, в особенности тем, у кого нет подписки на журналы с платными статьями.
В компьютерных и естественных науках отношение к препринтам немного отличается. Скажем, физики нечасто воспринимают препринты всерьёз, ожидая полноценной проверки рецензентами. Это оправдано, поскольку многим препринтам так никогда и не суждено пройти этот порог. К примеру, в случае с bioRxiv доля таких статей составляет треть. В машинном обучении, по моим ощущениям, к препринтам относятся более доверительно, а ссылки на них чаще можно встретить в списках литературы.
Конечно, и сама физика в этом вопросе неоднородна. Так, препринты очень любят в астрономии, физике высоких энергий и вычислительной физике. Однако нельзя не отметить, что все упомянутые области очень тесно связаны с компьютерными науками и, в особенности, с машинным обучением, и это не случайно.
Открытость и закрытость
В сообществе ИИ-исследователей споры про открытость и закрытость знаний принимают более высокий градус, чем в остальной науке. Из-за близости этой области к IT многие энтузиасты разделяют философию открытого программного обеспечения и принципы открытых знаний как таковых. Несогласие с политикой крупных научных издательств в конечном итоге вылилось в бойкот со стороны исследователей.
Бойкот, впрочем, не был массовым — всего 3000 исследователей на 2018 год. Всё это время число публикаций по компьютерным наукам и искусственному интеллекту в рецензируемых журналах демонстрировало рекордный по меркам остальных наук рост.
График показывает, во сколько раз растёт число рецензируемых публикаций со временем. Источник: E. Hand / Science; (Data) Yoav Shoham et al., The AI Index 2017 Annual Report (2017)
На другой чаше весов находятся бизнес-интересы крупных игроков вроде OpenAI или DeepMind. За стенами их лабораторий также активно идут исследования, но какая-либо информация о них обычно скрыта от комьюнити до тех пор, пока на рынок не будет выпущен готовый продукт. В статьях и докладах по машинному обучению часто можно ощутить это разделение на «мы» и «они», которого я никогда не встречал в физике.
Заголовки
Иная философия и культура часто отражается в мастерстве заголовка научной статьи. Если заголовки физиков или химиков почти всегда сдержаны, то их коллеги, разрабатывающие модели машинного обучения, на мой взгляд, чаще могут позволить себе выбрать весёлый акроним (PROSTATA: a framework for protein stability assessment using transformers), вставить отсылку к поп-культуре (Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?), а то и вовсе пуститься во все тяжкие (Fifty Shades of Ratings: How to Benefit from a Negative Feedback in Top-N Recommendations Tasks).
Любовь к звёздам
Ну и совсем вроде мелочь, но бросается в глаза — любовь ставить звёздочки и употреблять слово «star» в названии модели и алгоритма. Например, знаменитые алгоритмы планирования пути A*, D*, Theta* и им подобные (про первый, кстати, мы недавно выпустили очень хороший текст на Хабре, не проходите мимо!), нашумевший алгоритм Q* от OpenAI, ИИ для победы в Starcraft II AlphaStar, звёздообразные архитектуры моделей — список можно продолжать долго. А самые престижные конференции по ML имеют какой рейтинг? Правильно, A*!
Почему так?
Не считая последнего пункта (я бы даже сказал, пунктика), у упомянутых выше отличий есть фундаментальные причины.
Во-первых, область исследований искусственного интеллекта очень быстро развивается, но при этом не связана по рукам и ногам капризной аппаратной базой, реактивами, дорогими или редкими приборами и так далее (хотя и требует мощных вычислительных ресурсов, да). Методы придумываются и проверяются с помощью вычислительных экспериментов очень быстро — это обуславливает их короткий срок устаревания, который становится меньше, чем время на рецензирование в журнале первого квартиля. Поэтому проще поскорее рассказать о них на конференции или с помощью препринта, чем через основной канал научной коммуникации, и скорее двигаться дальше.
Исследования, основанные на одних лишь вычислениях, реже подвержены систематическим ошибкам или проблемам с интерпретацией результатов эксперимента, а результат виден сразу. Справедливости ради, стоит отметить, что трудности с воспроизводимостью имеют место и в машинном обучении. Тем не менее, там это не стало такой проблемой, как, к примеру, в онкобиологии, из-за чего кредит доверия, которое ML-сообщество выдаёт авторитетным научным группам, велико, а их препринтам доверяют на слово.
Также свою лепту вносит то, что локомотивами исследований в области искусственного интеллекта являются крупные корпорации. Бизнес-задачи подгоняют и без того бешеный темп исследований. Наконец, уже упомянутая ранее близость учёных к IT-сообществу приводит к более низкой значимости научных формальностей — это объясняет как любовь к открытым препринтам, так и к броским заголовкам.
В заключение отмечу, что вышеописанные различия — это исключительно мой опыт. Я допускаю и не опровергаю, что с вашей позиции всё может выглядеть иначе. Возможно, какие-то из отличий я преувеличил, а какие-то — упустил. Буду рад обсудить это с вами в комментариях.
