Пропускная способность в суперкомпьютерах на несколько порядков выше, чем у распределенных узлов. Кроме того, важна еще задержка. Пропускная способность может быть высокой, но задержка на любую передачу данных большой, и скорость вычислений в итоге маленькой
И еще молекулярную динамику в пористых средах можно моделировать, чтобы понять, какими реагентами нефть лучше извлекать. И еще теоретически можно их комбинировать (гидродинамика+молекулярная динамика).
А я бы предположил, что скорее всего они будут моделировать гидродинамику в пористых средах (породах с неизвлекаемой нефтью), чтобы понять, как ее оттуда извлечь. Так что это не Big Data в традиционном понимании и не нейронные сети. Источник: мой знакомый занимается исследованиями в научном институте по проблемам нефтедобычи в Саудовской Аравии. Так вот они на суперкомпьютерах моделируют гидродинамику.
А как вы учитываете погрешности самого лидара? Валидируете ли вы лидары на тестовых стендах перед измерениями? Потому что то, что разработчики лидаров пишут в своих спецификациях, часто относится к очень определенным стерильным условиям, насколько я знаю.
Это не так просто. В индустрии автономного вождения это отдельная ниша--создание синтетических картинок как будто бы из камеры автономного автомобиля. К примеру, очень важно качественно воспроизводить всевозможные заплатки на асфальте, потому что без них сети плохо учатся понимать дорожную разметку. Есть фирмы, которые делают рендер через ray tracing. Есть фирмы, которые делают качественные 3д модели реальных городов и дорог и их динамически меняют (пешеходы, машины, время дня). Но заплатки на асфальте, мусорки, разбитые бордюры, свисающие провода--это все сохраняется.
Вызов map в этой аналогии все-таки эквивалентен именно 2+2, и для такого случая спеку читать большинство людей не будет (и правильно сделает—для большинства языков, кроме javascript).
А скажите, пожалуйста, F1—это для "поле детектировано"/"поле не детектировано"? Если да, то на каком IoU threshold вы считаете, что поле детектировано? (если вы определяете по IoU).
О, вот еще. Вот тут поля вообще не очень размечены, но то, что размечено, это тоже не трава, а виноградники. Там вдоль Рейна винный регион (рислинг, вот это все)—так что там везде одни виноградники.
Я вот пытался через фэйсбук знакомому, который у вас работает, рассказать это, но попробую тут еще раз. Вот здесь и во всем регионе это не трава, это яблочные сады. А вот здесь и во всем регионе не трава, а виноградники. Там и город рядом называется "Винная гора".
Goodfellow—это фамилия парня, который самым первым придумал GAN (то есть не "славный малый" GAN). Остаточные блоки, пакетная нормализация—это термины "batch normalization" и "residual blocks". Я лично не уверен, был ли смысл их переводить..
Я вот как раз тоже сам поискал и как раз похожие статьи про traversal нашел (но я просто k-d tree traversal погуглил): популярная со словом stackless (в ней как раз подходит картинка 2) и просто обзор.
Да, это, конечно, очень здорово, что вы такие идеи можете генерировать (про обход и FFS)!
У меня еще несколько мелких вопросов:
Когда вы пишете distance_sqr((v1 — m_mass_center[curr]).norm()), там не должен быть квадрат нормы? Обычно норма берет корень, а мы как раз хотим избежать этого и везде предполагаются квадраты
В force_compute есть вычисление силы для относительно далеких узлов дерева. Но я все никак не нахожу вычисление силы для точек, которые близко, если условие distance_sqr > m_radius_sqr[curr] не выполняется
Насчет обзора вы правы. Как идея, вы можете просто перевести эту статью на английский и выложить на хабре (и скинуть ссылку на реддит :-) ). Обидно будет, если такой труд будет доступен только русскоязычной части человечества..
Это просто титанический труд! Спасибо за прекрасную статью!
У меня возникло несколько вопросов:
в моделировании гидродинамики есть несколько стандартных систем, с которыми сравнивают работу численных методов. Например конвекция Рэлея-Бенара и еще десяток других. У них необязательно есть полное аналитическое решение, но, к примеру, аналитически известна скорость диссипации энергии. Ну и всегда можно проверять на законы сохранения (притом известны типичные скорости расхождения с законами сохранения). Я не специалист в моделировании гравитации, но наверняка там есть что-то подобное. Вы не изучали этот вопрос и не делали сравнений? Первое, что приходит в голову, это однородное шарообразное облако точек. Точки, находящиеся на расстоянии R от центра испытывают притяжение как будто бы только от точек внутри сферы R (M = 4/3 pi R^3 \rho), гравитация от точек вне сферы компенсируется. Если точки двигаются с такой скоростью, чтобы точно компенсировать гравитацию, они должны бесконечно долго находиться на своих орбитах (может быть, точки можно расположить парами диаметрально противоположно, чтоб центр масс любой подсистемы радиуса R никогда не двигался). Скорость можно вывести из F = G m 3/3 pi R^3 \rho / R^2 = A R = a m = m v^2 / R. То есть точки должны вращаться с одинаковой по модулю угловой скоростью :-) (впрочем, не обязательно одинаковой по направлению). Качество симуляции может определяться тогда, к примеру, относительным отклонением орбиты от идеальной стационарной круговой орбиты за период (к примеру, < 10^-13 за период).
скажите, пожалуйста, откуда вы черпали вдохновение (кроме источников в конце, если были еще источники)? Особенно для представления Kd-дерева через "бинарную кучу" и stackless обхода геометрически близких узлов? спасибо!
если эти оптимизации (в таком виде/такой комбинации) не используются/не известны для моделирования задачи N тел (или используются, но не на GPU), то, мне кажется, можно запросто опубликовать отличную статью даже в каком-нибудь хорошем англоязычном журнале. Например, Journal of Computational Physics или Computer Physics Communications или даже более широкого профиля (или более специализированном). Аудитория у них меньше, но зато это люди, которым это реально может быть интересно. Англоязычные журналы могут быть более лояльны по поводу аффилиации с университетом.
Что-то такое, мне кажется, делают специальные команды разработчиков, занятые в суперкомпьютерных центрах. Приходят к ним физики, к примеру, и говорят: "распараллельте, пожалуйста, для CUDA наш код для моделирования гравитационного взаимодействи" (gpu сейчас стоят на многих суперкомпьютерах), и вот в идеале эти разработчики что-то такое должны сделать.
Пропускная способность в суперкомпьютерах на несколько порядков выше, чем у распределенных узлов. Кроме того, важна еще задержка. Пропускная способность может быть высокой, но задержка на любую передачу данных большой, и скорость вычислений в итоге маленькой
Нет, не угадали :-) Не Aramco, и даже не МСК (и я даже не в нефтянке работаю :-) ).
И еще молекулярную динамику в пористых средах можно моделировать, чтобы понять, какими реагентами нефть лучше извлекать. И еще теоретически можно их комбинировать (гидродинамика+молекулярная динамика).
А я бы предположил, что скорее всего они будут моделировать гидродинамику в пористых средах (породах с неизвлекаемой нефтью), чтобы понять, как ее оттуда извлечь. Так что это не Big Data в традиционном понимании и не нейронные сети. Источник: мой знакомый занимается исследованиями в научном институте по проблемам нефтедобычи в Саудовской Аравии. Так вот они на суперкомпьютерах моделируют гидродинамику.
Когда же будут бенчмарки? Это самое интригующее для меня лично в этой серии статей. Спасибо!
Да, например, в латехе можно настраивать кернинг, microtype, protrusion и все такое. Я такое когда-то читал: http://www.khirevich.com/latex/microtype/
А как вы учитываете погрешности самого лидара? Валидируете ли вы лидары на тестовых стендах перед измерениями? Потому что то, что разработчики лидаров пишут в своих спецификациях, часто относится к очень определенным стерильным условиям, насколько я знаю.
с учетом того, что пример для C++ из стандартной библиотеки (куда здоровые люди обычно не смотрят--шутка), то это сопоставимые примеры
Вот тут уже что-то пишут: https://scikit-learn.org/stable/modules/neighbors.html
Это не так просто. В индустрии автономного вождения это отдельная ниша--создание синтетических картинок как будто бы из камеры автономного автомобиля. К примеру, очень важно качественно воспроизводить всевозможные заплатки на асфальте, потому что без них сети плохо учатся понимать дорожную разметку. Есть фирмы, которые делают рендер через ray tracing. Есть фирмы, которые делают качественные 3д модели реальных городов и дорог и их динамически меняют (пешеходы, машины, время дня). Но заплатки на асфальте, мусорки, разбитые бордюры, свисающие провода--это все сохраняется.
Спасибо
Спасибо большое за статью! А скажите, пожалуйста, какие могут быть осложнения, насколько они часты, и как с ними потом справляются? Спасибо.
Вызов map в этой аналогии все-таки эквивалентен именно 2+2, и для такого случая спеку читать большинство людей не будет (и правильно сделает—для большинства языков, кроме javascript).
А скажите, пожалуйста, F1—это для "поле детектировано"/"поле не детектировано"? Если да, то на каком IoU threshold вы считаете, что поле детектировано? (если вы определяете по IoU).
О, вот еще. Вот тут поля вообще не очень размечены, но то, что размечено, это тоже не трава, а виноградники. Там вдоль Рейна винный регион (рислинг, вот это все)—так что там везде одни виноградники.
Я вот пытался через фэйсбук знакомому, который у вас работает, рассказать это, но попробую тут еще раз. Вот здесь и во всем регионе это не трава, это яблочные сады. А вот здесь и во всем регионе не трава, а виноградники. Там и город рядом называется "Винная гора".
Но все равно очень круто!
Goodfellow—это фамилия парня, который самым первым придумал GAN (то есть не "славный малый" GAN). Остаточные блоки, пакетная нормализация—это термины "batch normalization" и "residual blocks". Я лично не уверен, был ли смысл их переводить..
Спасибо большое!
Я вот как раз тоже сам поискал и как раз похожие статьи про traversal нашел (но я просто k-d tree traversal погуглил): популярная со словом stackless (в ней как раз подходит картинка 2) и просто обзор.
Ну и выше в комментах есь описание примера от nvidia, там просто много ссылок.
Да, это, конечно, очень здорово, что вы такие идеи можете генерировать (про обход и FFS)!
У меня еще несколько мелких вопросов:
Насчет обзора вы правы. Как идея, вы можете просто перевести эту статью на английский и выложить на хабре (и скинуть ссылку на реддит :-) ). Обидно будет, если такой труд будет доступен только русскоязычной части человечества..
Это просто титанический труд! Спасибо за прекрасную статью!
У меня возникло несколько вопросов:
Что-то такое, мне кажется, делают специальные команды разработчиков, занятые в суперкомпьютерных центрах. Приходят к ним физики, к примеру, и говорят: "распараллельте, пожалуйста, для CUDA наш код для моделирования гравитационного взаимодействи" (gpu сейчас стоят на многих суперкомпьютерах), и вот в идеале эти разработчики что-то такое должны сделать.