От моделей галактик до атомов – простые уловки в реализации ИИ ускоряют симуляции в миллиарды раз

Автор оригинала: Matthew Hutson
  • Перевод


Для моделирования таких чрезвычайно сложных природных явлений, как взаимодействие субатомных частиц или влияния тумана на климат, требуется потратить много часов даже на самых быстрых суперкомпьютерах. Эмуляторы, алгоритмы, быстро аппроксимирующие результаты детальных симуляций, предлагают способ обойти это ограничение. В новой работе, опубликованной в онлайне, показано, как ИИ с лёгкостью может выдавать точные эмуляторы, способные ускорять симуляции в различных областях науки в миллиарды раз.

«Это серьёзное достижение», — говорит Дональд Лукас, занимающийся симуляцией климата в Ливерморской национальной лаборатории, не принимавший участия в данной работе. Он говорит, что новая система автоматически создаёт эмуляторы, работающие лучше и быстрее чем те, что вручную разрабатывает и обучает его команда. Новые эмуляторы можно использовать для улучшения моделей, которые они имитируют, и повышении эффективности работы учёных. Если работа пройдёт экспертную оценку, говорит Лукас, «это всё очень сильно изменит».

Типичная компьютерная симуляция может подсчитывать шаг за шагом, как физические воздействия влияют на атомы, облака, галактики – всё, что моделируют. Эмуляторы на основе такого варианта ИИ, как машинное обучение (МО), пропускают этап трудоёмкого воспроизведения природы. Получив требуемые входные и выходные данные полной симуляции, эмуляторы ищут закономерности и учатся строить догадки о том, что симуляция сделает с новым набором входных данных. Однако для создания обучающих данных требуется многократно запускать полную симуляцию – то есть, делать именно то, от чего должны избавлять эмуляторы.

Новые эмуляторы основаны на нейросетях – системах МО, вдохновлённых структурой человеческого мозга – и им требуется куда как меньше учиться. Нейросети состоят из простых вычислительных элементов, связываемых друг с другом определённым образом для выполнения определённых задач. Обычно связность элементов изменяется в процессе обучения. Однако техника под названием «поиск нейронной архитектуры» позволяет определить наиболее эффективную схему соединения для заданной задачи.

Основанная на этой технике технология Deep Emulator Network Search (DENSE) полагается на обобщённую схему поиска нейронной архитектуры, в разработке которой участвовала Мелоди Гуан, специалист по информатике из Стэнфордского университета. Она случайным образом вставляет вычислительные слои между входными и выходными, а потом проверяет и обучает получившуюся связь на ограниченном наборе данных. Если добавленный слой улучшает эффективность работы, то вероятность его появления в будущих вариациях сети возрастает. Повторение процесса улучшает эмулятор. Гуан говорит, что с «восторгом» следит за тем, как её работу используют «для целей получения научных открытий». Мухаммад Касим, физик из Оксфордского университета, руководивший исследованием, говорит, что его команда основывала свою работу на работе Гуан, поскольку такой подход достигает баланса между точностью и эффективностью.

Исследователи использовали DENSE для разработки эмуляторов 10 симуляций – по физике, астрономии, геологии и климатологии. Одна симуляция, к примеру, моделирует то, как сажа и другие взвешенные частицы в атмосфере отражают и поглощают солнечный свет, изменяя глобальный климат. Её работа может занять тысячи часов компьютерного времени, поэтому Данкан Уотсон-Пэррис, специалист по физике атмосферы из Оксфорда и соавтор исследования иногда использует эмулятор с МО. Однако, по его словам, эмулятор сложно настраивать, и он не может выдавать результаты с высоким разрешением вне зависимости от количества получаемых им данных.

Эмуляторы, создаваемые технологией DENSE, показывают превосходные результаты несмотря на отсутствие данных. Когда их снабдили специальными графическими чипами, они продемонстрировали ускорение от 100 000 до 2 млрд раз по сравнению с соответствующими симуляциями. Подобное ускорение нередко свойственно эмуляторам, однако их результаты также оказались и чрезвычайно точными: в одном сравнении результаты эмулятора астрономии оказались более чем на 99% идентичными результатам полноценной симуляции, а по результатам 10 симуляций эмуляторы на основе нейросетей показали лучшие результаты по сравнению с обычными. Касим говорит, что думал, что симуляторам DENSE для достижения подобной точности для каждой симуляции понадобятся десятки тысяч обучающих примеров. Но в большинстве случаев пришлось использовать лишь несколько тысяч примеров, а в случае со взвешенными атмосферными частицами – всего несколько десятков.

«Очень крутой результат, — сказал Лоуренс Перро-Левасье, астрофизик из Монреальского университета, занятый симулированием галактик, свет которых подвергается гравитационному линзированию, вызванному другими галактиками. – Впечатляет, что одну и ту же методологию можно применять для таких разных задач, и что им удалось обучить её на таком малом количестве примеров».

Лукас говорит, что эмуляторы DENSE, кроме того, что работают быстро и точно, имеют ещё одно интересное применение. Они могут решать «обратные задачи» – определять лучшие параметры модели для правильного предсказания результатов. А затем эти параметры можно использовать для улучшения полноценных симуляций.

Касим говорит, что DENSE может даже позволить учёным интерпретировать данные на лету. Его команда изучает поведение плазмы в экстремальных условиях, создаваемых гигантским рентгеновским лазером в Стэнфорде, где время эксперимента очень ценно. Анализировать их данные в реальном времени – к примеру, моделировать температуру и плотность плазмы – невозможно, поскольку на требуемые симуляции может уйти несколько дней, которых нет у исследователей, пользующихся лазером. Однако, по его словам, эмулятор DENSE мог бы интерпретировать данные достаточно быстро для того, чтобы они успели изменить эксперимент. «Надеемся, что в будущем мы сможем проводить анализ практически сразу».

Комментарии 15

    +3
    Эмуляторы, создаваемые технологией DENSE, показывают превосходные результаты несмотря на отсутствие данных.
    Это не эмуляторы, а гадальные системы.
      +1
      Нормальные эмуляторы. К примеру, эмулятор энергосистемы работает по однофазной модели, показывая полностью удовлетворяющие заказчиков результаты, несмотря на отсутствие данных по трёхфазной сети.
      В приведённой Вами цитате сформулировано, конечно, не очень — речь, по-моему, о том, что для построения аналитической модели часто требуются данные, которые невозможно получить с необходимой степенью точности и достоверности, или которых слишком много. Можно было бы построить адекватную модель проще с гораздо меньшей потребностью в данных (как в приведённом примере выше с однофазной моделью трёхфазной сети) — но тогда очень важно угадать с корректностью упрощённой модели. То есть, Как Вы и написали, получаются гадальные модели.
      Предложенный подход описывает как раз способ не-аналитически получить адекватные упрощённые модели. Если я правильно понял.
        0
        Как мне кажется, есть два варианта моделей:
        1. Упрощение известных, но маловажных элементов, типа вашего примера однофазной модели для трёхфазной сети или mip-maping для Dreamworks — они в своё время рендерили все модели как высокополигональные, но году в 2010 (если не вру) году до них дошло, что у горизонта не нужно считать все ворсинки на, к примеру, хвосте у лисы, а потом результат уменьшать в несколько раз — это дорого по ресурсам и бесполезно, проще использовать низкополигональную модель.
        2. Упрощение неизвестных элементов. Получается теория эфира: вот модель, вот действительная её часть, а вот эфир, и нам всё равно, существует ли эфир, числа-то вроде сходятся.
        Так вот, IMHO, при использовании нейросетей получим тот самый второй случай — который, как и в теория эфира, в большинстве случаев будет полезен, но иногда в корне неверен.
          0
          Получается теория эфира
          а что такого? Если результаты адекватны? Напомню, что заметную часть технических расчётов чуть ли не до середины 20го века вполне можно было строить на теории флогистона.
          иногда в корне неверен.
          Это к любой модели относится. Причём задачу определения границ применимости иногда можно решить очень не скоро, с моделью Ньютона это заняло почти два века.
            0
            Можно, но до появления ОТО/СТО, на сколько понимаю, ядерная энергетика не могла развиваться, базиса не было.
            Хотя и сейчас флогистон с эфиром заменили на тёмную материю и довольны, точности хватает.
              0
              ядерная энергетика не могла развиваться, базиса не было.
              это — не могло. А великое множество других направлений вполне могло бы существовать и на этой теории.
              флогистон с эфиром заменили на тёмную материю и довольны, точности хватает.
              вот да :-)
              0
              «Числа сходятся» — ещё не значит, что результаты действительно сопоставимы. 2 + 2 километра и 2 + 2 килограмма, в обоих случаях дадут одинаковый результат = 4. Но это будут не сопоставимые цифры, а просто схожие. И момент этой «иллюзии адекватности» очень важен для понимания вероятных проблем и последствий.
                0
                эта проблема как раз в нейросетях решается более естественным образом, чем аналитически. Для уравнений главное 2+2, а за физикой должен следить разработчик. Для сетей наоборот, главное км и кг, а вот за тем, чтобы было 4, нужно присматривать.
            0
            Просто раньше задачи математической физики решались численно (система дифференциальных уравнений) или аналитически (возможно только для простых частных случаев, например движение жидкости вокруг сферы). Теперь к этим двум способам добавился третий — при помощи нейросетей.
              0
              Совершенно согласен. Замечу только, что изменение способа получения решений приводит и к изменению способов построения модели.
          +1
          Это ж насколько неэффективно работают эти симуляторы, что ускоряются в миллиарды раз (и это, похоже, не предел)…
            0
            Представим, что у нас симулятор металлического стержня, один конец которого нагревается. Мы исследуем перенос энергии, рассматривая процесс на уровне отдельных молекул. Симулятор сложный, занимает кучу вычислительных ресурсов, требует уйму времени для каждого такта. Но получаем вполне достоверные данные.

            Меняем симулятор на дифференциальное уравнение — вычисление температуры становится практически моментальным для любой точки стержня в любой момент времени. Ускорение вполне может на порядки потянуть (зависит от количества рассматриваемых частиц в первой версии симулятора). Пример грубый, но нейросеть порой и представляет собой некую приближённую реализацию сложной математической функции, которая вычисляется сильно проще и быстрее, чем моделирование всей моделируемой системы на микроуровне.
            +1
            Эмуляторы, создаваемые технологией DENSE, показывают превосходные результаты несмотря на отсутствие данных.
            Надеюсь имеются в виду то, что результаты вычислений практически полностью совпадают с реальностью, а не просто то, что они были получены (вне зависимости от верности полученных значений) за меньший промежуток времени, чем если бы вычислялись традиционным способом.

            Чтобы не получилось как в анекдоте про секретарш и скорость печати.

            Как я понял алгоритм воспроизводит человеческую интуицию, что ли.
              0
              Эффект бабочки. Даже если это похоже на правильный результат, это антинаучно. В конце концов ИИ просто старается дать ожидаемый результат, как верный пес виляя хвостом. Похоже на самообман. Или обман инвесторов.
                0

                Так а почему антинаучно? Наука она про повторяемый и верифицируемый результат.
                Если модель показывает результат, соответствуемый требованиям, на out-of-sample данных при корректно проведенном эксперименте, то в чем самообман? Тем более, никто не мешает, сделав некое открытие на эмуляторе, верифицировать его на полноценном просчете. Но время на просчет тысяч экспериментов, которые не привели к открытию, при этом сэкономится.

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое