Сегодня, в преддверии старта нового потока курса «Математика и Machine Learning для Data Science», делимся с вами полезным переводом статьи из MIT Technology Review о том, как исследователи Колтеха научили ИИ решать дифференциальные уравнения частных производных, зачем это нужно и как может изменить мир. Все подробности вы найдёте под катом.
Если только вы не физик или инженер, у вас нет особых причин знать о дифференциальных уравнениях в частных производных. И после многих лет работы в аспирантуре, когда я изучала машиностроение, с тех пор я не использовала их в реальной жизни.
Но у таких уравнений (далее для простоты используем английское сокращение PDE) есть своя магия. Это категория математических уравнений, по-настоящему хорошо описывающих изменения в пространстве и времени, и, таким образом, очень удобных при описании физических явлений в нашей Вселенной. С их помощью можно смоделировать все — от планетарных орбит до тектоники плит и мешающей полету турбулентности воздуха, что, в свою очередь, позволяет делать полезные вещи, например, прогнозировать сейсмическую активность и проектировать безопасные самолеты.
Подвох в том, что PDE, как известно, трудно решить. И здесь значение слова «решение», пожалуй, лучше проиллюстрировать. Например, вы пытаетесь смоделировать турбулентность воздуха, чтобы протестировать новую конструкцию самолета. Существует известное PDE под названием уравнение Навье — Стокса, применяемое для описания движения любой жидкости. Решение уравнения Навье — Стокса позволяет сделать «снимок» движения воздуха (ветровых условий) в любой момент и смоделировать, как он будет продолжать двигаться или как он двигался раньше.
Эти вычисления очень сложны и требуют больших вычислительных затрат, поэтому дисциплины, работающие с большим количеством PDE, для выполнения математических расчетов часто полагаются на суперкомпьютеры. Именно поэтому специалисты области ИИ проявляют особый интерес к этим уравнениям. Если бы мы могли использовать глубокое обучение, чтобы ускорить решение, это могло бы принести много пользы в научных исследованиях и инженерии.
Исследователи Колтеха внедрили новую методику глубокого изучения для решения PDE, которая значительно точнее методов глубокого изучения, разработанных ранее. Метод также достаточно обобщен для того, чтобы решать целые семейства PDE, такие как уравнение Навье — Стокса для любого типа жидкости, без необходимости нового обучения. Наконец, это в 1000 раз быстрее, чем традиционные математические формулы, что уменьшает зависимость от суперкомпьютеров и увеличивает вычислительные возможности моделирования задач еще больше. И это хорошо. Дайте два!
[прим. перев. — Подзаголовок — отсылка к «U Can’t Touch This» за авторством рэпера MC Hammer]
Прежде чем мы погрузимся в то, как это сделали исследователи, давайте сначала оценим результаты. На gif внизу видно впечатляющую демонстрацию. В первой колонке показаны два снимка движения жидкости; вторая колонка показывает, как жидкость продолжала двигаться на самом деле; а третья колонка показывает прогноз нейронной сети. В основном он выглядит идентично второму.
Статья наделала много шума в Твиттере и даже репер MC Hammer сделал репост.
Но вернемся к тому, как ученые добились этого.
Первое, что следует понять, — нейронные сети в своей основе — это аппроксиматоры. Когда они тренируются на наборе входных и выходных данных, они на самом деле вычисляют функцию, или ряд математических операций, переводящих одни данные в другие. Подумайте о детекторе кошек. Вы тренируете нейронную сеть, подавая ей много изображений кошек и другие изображения, обозначая группы как 1 и 0. Затем нейронная сеть ищет лучшую функцию, преобразующую каждое изображение кошки в 1, а изображения всего остального — в 0. Так сеть может посмотреть на изображение и сказать, изображена ли на ней кошка. Она использует найденную функцию, чтобы вычислить свой ответ, и если обучение было успешным, то в большинстве случаев распознавание будет корректным.
Удобно, что аппроксимация функций — именно то, что нам нужно при решении PDE. В конечном счете нужно найти функцию, которая лучше всего описывает, скажем, движение частиц воздуха в пространстве и времени.
Вот в чем суть работы. Нейронные сети обычно обучены аппроксимации функций между входами и выходами, определенными в евклидовом пространстве, это классический график с осями x, y и z. Но на этот раз исследователи решили определить входы и выходы в пространстве Фурье — особом типе пространства для построения волновых частот. Дело в том, что нечто, подобное движению воздуха, на самом деле можно описать как комбинацию волн, говорит Анима Анандкумар, профессор Калифорнийского университета, которая вместе со своими коллегами, профессорами Эндрю Стюартом и Каушиком Бхаттачарьей, руководила исследованиями. Общее направление ветра на макроуровне похоже на низкую частоту с очень длинными, вялыми волнами, в то время как маленькие вихри, образующиеся на микроуровне, похожи на высокие частоты с очень короткими и быстрыми волнами.
Почему это так важно? Потому что намного проще аппроксимировать функцию Фурье в пространстве Фурье, чем бороться с PDE в евклидовом пространстве. Такой подход значительно упрощает работу нейронной сети. Это также залог значительного повышения точности: помимо огромного преимущества в скорости по сравнению с традиционными методами новый метод уменьшает частоту ошибок при решении задач Навье — Стокса на 30 % по сравнению с предшествующими методами глубокого обучения.
Все это очень разумно, а кроме того, у метода есть возможность обобщения. Предшествующие методы глубокого изучения должны обучаться отдельно для каждого типа жидкости, в случае с этим методом достаточно одного обучения, чтобы справиться со всеми жидкостями, что подтверждено экспериментами исследователей. Хотя они еще не пытались распространить подход на другие среды, метод также должен быть способен работать с земной корой при решении связанных с сейсмической активностью PDE или с типами материалов при решении связанных с теплопроводностью PDE.
Преподаватели и их аспиранты проводили это исследование не только ради удовольствия от теорий. Они хотят привнести ИИ в новые для него научные дисциплины. Именно благодаря беседам с сотрудниками разного профиля, работающими в области климатологии, сейсмологии и материаловедения, Анандкумар первая стала решать проблему PDE вместе со своими коллегами и студентами. Сейчас они работают над тем, чтобы применить метод на практике с другими исследователями из Колтеха и Национальной лаборатории Лоуренса Беркли.
Одна из тем исследований особенно волнует Анандкумар — это изменение климата. Уравнение Навье — Стокса хорошо подходит не только в моделировании воздушной турбулентности; это уравнение также используется при моделировании погодных условий. «Хорошие, точные прогнозы погоды в глобальном масштабе — это сложная задача, — говорит она, — и даже на самых больших суперкомпьютерах мы не можем сегодня делать прогнозы в глобальном масштабе». Поэтому, если мы сможем использовать новый метод для ускорения всей работы, это будет иметь огромное влияние.
«Есть много, много других приложений метода, — добавляет она. — В этом смысле ограничений нет, поскольку у нас есть общий способ ускорить работу со всеми этими приложениями».
Теперь искусственный интеллект умеет решать диффуры, что дальше? Может, вы будете одним из тех, кто научит его решать ещё более сложные задачи.
А мы с удовольствием поможем вам в этом, даря специальный промокод HABR, который приплюсует 10% к скидке на баннере.
Если только вы не физик или инженер, у вас нет особых причин знать о дифференциальных уравнениях в частных производных. И после многих лет работы в аспирантуре, когда я изучала машиностроение, с тех пор я не использовала их в реальной жизни.
Но у таких уравнений (далее для простоты используем английское сокращение PDE) есть своя магия. Это категория математических уравнений, по-настоящему хорошо описывающих изменения в пространстве и времени, и, таким образом, очень удобных при описании физических явлений в нашей Вселенной. С их помощью можно смоделировать все — от планетарных орбит до тектоники плит и мешающей полету турбулентности воздуха, что, в свою очередь, позволяет делать полезные вещи, например, прогнозировать сейсмическую активность и проектировать безопасные самолеты.
Подвох в том, что PDE, как известно, трудно решить. И здесь значение слова «решение», пожалуй, лучше проиллюстрировать. Например, вы пытаетесь смоделировать турбулентность воздуха, чтобы протестировать новую конструкцию самолета. Существует известное PDE под названием уравнение Навье — Стокса, применяемое для описания движения любой жидкости. Решение уравнения Навье — Стокса позволяет сделать «снимок» движения воздуха (ветровых условий) в любой момент и смоделировать, как он будет продолжать двигаться или как он двигался раньше.
Эти вычисления очень сложны и требуют больших вычислительных затрат, поэтому дисциплины, работающие с большим количеством PDE, для выполнения математических расчетов часто полагаются на суперкомпьютеры. Именно поэтому специалисты области ИИ проявляют особый интерес к этим уравнениям. Если бы мы могли использовать глубокое обучение, чтобы ускорить решение, это могло бы принести много пользы в научных исследованиях и инженерии.
Исследователи Колтеха внедрили новую методику глубокого изучения для решения PDE, которая значительно точнее методов глубокого изучения, разработанных ранее. Метод также достаточно обобщен для того, чтобы решать целые семейства PDE, такие как уравнение Навье — Стокса для любого типа жидкости, без необходимости нового обучения. Наконец, это в 1000 раз быстрее, чем традиционные математические формулы, что уменьшает зависимость от суперкомпьютеров и увеличивает вычислительные возможности моделирования задач еще больше. И это хорошо. Дайте два!
Hammertime
[прим. перев. — Подзаголовок — отсылка к «U Can’t Touch This» за авторством рэпера MC Hammer]
Прежде чем мы погрузимся в то, как это сделали исследователи, давайте сначала оценим результаты. На gif внизу видно впечатляющую демонстрацию. В первой колонке показаны два снимка движения жидкости; вторая колонка показывает, как жидкость продолжала двигаться на самом деле; а третья колонка показывает прогноз нейронной сети. В основном он выглядит идентично второму.
Статья наделала много шума в Твиттере и даже репер MC Hammer сделал репост.
Но вернемся к тому, как ученые добились этого.
Когда функция подходит
Первое, что следует понять, — нейронные сети в своей основе — это аппроксиматоры. Когда они тренируются на наборе входных и выходных данных, они на самом деле вычисляют функцию, или ряд математических операций, переводящих одни данные в другие. Подумайте о детекторе кошек. Вы тренируете нейронную сеть, подавая ей много изображений кошек и другие изображения, обозначая группы как 1 и 0. Затем нейронная сеть ищет лучшую функцию, преобразующую каждое изображение кошки в 1, а изображения всего остального — в 0. Так сеть может посмотреть на изображение и сказать, изображена ли на ней кошка. Она использует найденную функцию, чтобы вычислить свой ответ, и если обучение было успешным, то в большинстве случаев распознавание будет корректным.
Удобно, что аппроксимация функций — именно то, что нам нужно при решении PDE. В конечном счете нужно найти функцию, которая лучше всего описывает, скажем, движение частиц воздуха в пространстве и времени.
Вот в чем суть работы. Нейронные сети обычно обучены аппроксимации функций между входами и выходами, определенными в евклидовом пространстве, это классический график с осями x, y и z. Но на этот раз исследователи решили определить входы и выходы в пространстве Фурье — особом типе пространства для построения волновых частот. Дело в том, что нечто, подобное движению воздуха, на самом деле можно описать как комбинацию волн, говорит Анима Анандкумар, профессор Калифорнийского университета, которая вместе со своими коллегами, профессорами Эндрю Стюартом и Каушиком Бхаттачарьей, руководила исследованиями. Общее направление ветра на макроуровне похоже на низкую частоту с очень длинными, вялыми волнами, в то время как маленькие вихри, образующиеся на микроуровне, похожи на высокие частоты с очень короткими и быстрыми волнами.
Почему это так важно? Потому что намного проще аппроксимировать функцию Фурье в пространстве Фурье, чем бороться с PDE в евклидовом пространстве. Такой подход значительно упрощает работу нейронной сети. Это также залог значительного повышения точности: помимо огромного преимущества в скорости по сравнению с традиционными методами новый метод уменьшает частоту ошибок при решении задач Навье — Стокса на 30 % по сравнению с предшествующими методами глубокого обучения.
Все это очень разумно, а кроме того, у метода есть возможность обобщения. Предшествующие методы глубокого изучения должны обучаться отдельно для каждого типа жидкости, в случае с этим методом достаточно одного обучения, чтобы справиться со всеми жидкостями, что подтверждено экспериментами исследователей. Хотя они еще не пытались распространить подход на другие среды, метод также должен быть способен работать с земной корой при решении связанных с сейсмической активностью PDE или с типами материалов при решении связанных с теплопроводностью PDE.
Суперсимуляция
Преподаватели и их аспиранты проводили это исследование не только ради удовольствия от теорий. Они хотят привнести ИИ в новые для него научные дисциплины. Именно благодаря беседам с сотрудниками разного профиля, работающими в области климатологии, сейсмологии и материаловедения, Анандкумар первая стала решать проблему PDE вместе со своими коллегами и студентами. Сейчас они работают над тем, чтобы применить метод на практике с другими исследователями из Колтеха и Национальной лаборатории Лоуренса Беркли.
Одна из тем исследований особенно волнует Анандкумар — это изменение климата. Уравнение Навье — Стокса хорошо подходит не только в моделировании воздушной турбулентности; это уравнение также используется при моделировании погодных условий. «Хорошие, точные прогнозы погоды в глобальном масштабе — это сложная задача, — говорит она, — и даже на самых больших суперкомпьютерах мы не можем сегодня делать прогнозы в глобальном масштабе». Поэтому, если мы сможем использовать новый метод для ускорения всей работы, это будет иметь огромное влияние.
«Есть много, много других приложений метода, — добавляет она. — В этом смысле ограничений нет, поскольку у нас есть общий способ ускорить работу со всеми этими приложениями».
Теперь искусственный интеллект умеет решать диффуры, что дальше? Может, вы будете одним из тех, кто научит его решать ещё более сложные задачи.
А мы с удовольствием поможем вам в этом, даря специальный промокод HABR, который приплюсует 10% к скидке на баннере.
- Курс «Математика и Machine Learning для Data Science»
- Курс по Machine Learning
- Продвинутый курс «Machine Learning Pro + Deep Learning»
- Обучение профессии Data Science
- Обучение профессии Data Analyst
- Онлайн-буткемп по Data Analytics
Eще курсы
