Оптимизация алгоритмов в этих областях — это скорее задача ученых, а не программистов, так как слишком много факторов будут влиять на этот процесс и не факт, что алгоритм с лучшей временной сложностью подойдет для данного случая с точки зрения математики (например, алгоритм может просто не сойтись и тогда станет неважно, получили ли неправильный ответ за час или за секунду).
А вот с тем, что профессиональный программист иногда сможет ускорить имеющуюся реализацию, я согласен.
Я думаю, что вопрос не в том, нужно ли наращивать мощность, тут ответ однозначный — Нужно. Ни один ученый не откажется от возможности посчитать что-нибудь с большей точностью за меньшее время.
Вопрос в том, КАК наращивать мощность и в чем эту самую мощность измерять. И вот тут во всей красе появляются множество «каких-то иных проблем», а не только FLOPS'ы…
Для HPC эти технологии не так критичны, так как это машины с распределенной памятью и они даже не всегда поддерживают многозадачность в рамках одного вычислительного узла.
А интерконнекты, топология и иерархия вычислительных узлов(ядер) — это сейчас еще большая головная боль, так как производительности процессоров выросли, скорости передачи данных выросли, а задержки никуда не делись из-за ограничения скорости света, а сетевые задержки могут всю производительность свести в ноль. Основные проблемы сейчас не в узлах, а в соединяющих их сетях по сути.
Одна из причин, почему раньше FLOPSы могли отражать реальность — раньше не было всяких SSE, out-of-order исполнения и других страшных слов, по этому FLOPSы можно было конвертировать в операции из реальной задачи. Сейчас это соотношение слабопредсказуемо. Интерконнект скорее влияет на отношение пиковой и LINPACK-производительности, но эта относительная величина более близка к практике чем абсолютные значения сейчас.
как американцы сделали прорыв в области технологий разделяемой памяти
Какой то университет или институт закупает Супер компьютер и потом думает что с ним делать.
А такое бывает? Известные мне мне суперкомпьютеры загружены чуть менее чем полностью, а простаивающих я вживую не видел…
Буду краток, нужны крупные исследования для улучшения технологий как таковых.
Такие исследования постоянно идут.
Была бы хороша статья которые описывала какие математические расчеты производят с помощью супер компьютера.
Спектр задач охватывает все области науки, по этому не сильно ошибаясь можно сказать, что любые.
Забавно другое, что для анализа данных адронного колайдера использовались сервера Яндекса, и распределенная сеть компьютеров, каждый мог загрузить объем данных и проанализировать его и снова загрузить обратно.
Почему забавно? Первичная обработка экспериментальных данных часто слабосвязная задача, по этому оптимально использовать распределенные решения, а в каком-либо моделировании преобладают сильносвязные задачи, по этому оптимальнее использовать суперкомпьютеры с быстрыми и с низкими задержками интерконнектами…
Это справедливо, когда рост мощности опережает потребности, а в HPC рост реальной мощности от потребностей значительно отстает.
Проблема в другом. Существующие метрики производительности перестали коррелировать с решаемыми задачами, а новых универсальных метрик и методик оценки не видно. Автор пишет не про избыток мощности, а про то, что используемая методика оценки этой мощности вызывает много вопросов.
Так, что если бы был молоток, то таких статей бы не было, а все бы радовались, но молотка, к сожалению, нет…
Автор статьи прав, но на мой взгляд в заключении перевода есть неточность, которая искажает смысл статьи.
To make Exascale a reality, we need to stop talking just about Exascale.
некорректно переводить как:
Для того, чтобы новые рекордные производительности стали реальностью, мы должны перестать гнаться за производительностью.
И дело тут вот в чем. К настоящему времени сама мера FLOPS перестала быть адекватной мерой для решаемых задач. Метрика во FLOPS'ах — это производительность суперкомпьютера на одной конкретной задаче решения СЛАУ, а реальные вычисления строятся далеко не только на методах их решения. Даже производители процессоров в кулуарах говорят, что FLOPS'ы стали пузомеркой, а не отражением реальных задач.
Автор скорее имеет ввиду нечто подобное: «Для того, чтобы экзамасштабы стали реальными мы должны перестать говорить только об экза(флопс)шкале измерений.». И тем самым намекает на существующий перекос в сторону оптимизации для бенчмарка LINPACK, а не реальных задач.
И подвижки в этой области уже есть. Можно привести в пример рейтинги Top500, где измеряют FLOPSы и рейтинг Graph500, где измеряют производительность обработки больших массивов данных и места в этих рейтингах не совпадают.
Ну и само собой на периметре безусловно блокируются UDP и ICMP пакеты
Да, если заблокировано все, то сбежать будет проблематично, особенно если периметр от другого вендора.
Анализировать трафик на уровне приложения коммутаторы не могут по причине банальной нехватки ресурсов для этого дела.
Если полный анализ не нужен и есть достаточно времени, то можно подойти к задаче с другой стороны и анализировать не каждый пакет, а только некоторые. Как минимум таким образом можно вычислить пользователей глобальной сети.
Достаточно на периметре запретить слать во внешний мир пакеты с MGMT адресов сетевого оборудования
А что мешает умному коммутатору отправить пакет подставив в него адрес любого другого устройства в сети? Например, вычислить какие устройства ходят в глобально-маршрутизируемые сети и отправить пакет с их IP и MAC-адресом.
Потому, что скорее всего решение этой проблемы никому не нужно, а нужна видимость работы, которую легко создавать в существующих условиях сваливая все беды на других.
Правда даже если и строят подземные парковки в жилых домах, то я решительно не понимаю, почему эта площадка обнесенная разметкой на полу стоит как треть квартиры в этих домах…
Причина банальна, так как провайдеры последней мили бояться стать трубой! Задача передачи байт приносит меньше всего прибыли, а больше всего прибыли приносят услуги более высокого уровня.
У сотовых операторов причина действий точно такая-же. Допустив скайп они уменьшат спрос на голосовые услуги и их прибыли упадут, даже не смотря на то, что интернет они тоже с прибылью продают.
Пускай хоть его метры наносит — городские службы как бы должны очищать все в течение суток после снегопада.
А в течении этих суток сидеть дома?
но это не означает, что нужно свернуть все программы
Я такого не говорил. Я за велосипеды, но там, где их применение возможно.
Кроме того, не вся Россия находится в тех же климатических условиях, как Пермь. Вы бы еще Новую Землю указывали. Ну или Камчатку на худой конец. Климат в том же Питере не так уж сильно отличается от климата Северной Европы — почему в Питере не ездят все на велосипедах?
Вы указали то место, где живете, я указал то, где живу я. Все очевидно. Более того средний климат в России будет похолоднее Пермского, так что Ваша фраза про Новую Землю или Камчатку абсурдна. Но тем не менее мы подходим к Важному Выводу, который сделали Вы сами, что для применения западно-европейских концепций транспорта нужно иметь западно-европейский климат.
Опять Вы путаете причину и следствие.
Когда города строились большими о машинах в каждой семье никто и не мечтал, так как это по большей части решения как минимум середины прошлого века. А к 21 веку мы уже подошли имея огромные по территории города.
Наведите порядок в ОТ
Вам не кажется, что ОТ — это сервис? И что наводить порядок в нем должен владелец сервиса? А клиенты просто выбирают удобный для них.
Вы перепутали причину и следствие. У Вас ОТ ездит нормально и предсказуемо. У нас нет, по этому даже фактор пробок позволяет доехать на машине с меньшим временным разбросом.
А пробки в городах предсказуемы, если часто ездить по одному маршруту.
С парковками вопрос интересный… Дело в том, что я живу в центре города и большинство обычных магазинов находятся в шаговой доступности и мне не нужно ездить туда на машине. Работаю же я далеко, но в центре моя машина стоит в гараже, а на работе проблему парковок решил работодатель разместив их на своей территории, которая к тому-же огорожена и имеет шлагбаум.
Боюсь, Вы сильно ошибаетесь в причинах. Средний минимум января в Праге -4, в в Перми -16,2. Наличие большого количества снега зимой в Праге тоже под большим сомнением. Список подобных факторов можно продолжить, но, например, даже самые большие поклонники велосипедов у нас с работы, зимой переходят на другие виды транспорта по причине сугубо климатически снежной. А велопарковка у нас у здания есть и летом многие на велосипедах ездят.
Пересадите разумных с автомобилей в автобусы — доля повысится, ехать станет комфортнее.
К сожалению, Вы забываете об одном очень важном факторе — это предсказуемость. Моя машина едет точно по графику, а как ездит автобус не знает никто. По этому о применении термина «пересадите», по моему мнению, не может быть и речи. Будет транспорт хотя-бы более предсказуемым для начала, им будут пользоваться больше людей, не будет — больше людей будут искать альтернативы.
Прощу прощения, но о каком поведении может идти речь, если задача провайдера доставить байты из пункта А в пункт Б в неизменном виде?
Понятно, что роль трубы провайдерам не нравится и они хотят получать денежку с обеих концов этой труды — и от потребителей контента и от производителей, но хотеть они могут многого, однако это совершенно не значит, что им можно вмешиваться в трафик, который они передают.
А вообще, где гарантии, что их фильтры не порежут чего-нибудь критически важное, о чем станет известно слишком поздно.
Кем конкретно платится налог не так критично. Я даже за то, чтобы его платил за меня работодатель, а я не заморачивался с лишними счетами.
Ключевая фишка в другом! Работник в России про существование этих 30% сверху из бухгалтерских документов узнать НЕ может. Во всех бухгалтерских документах, которые я видел как работник, фигурируют только 13% НДФЛ и все. Возможно, я ошибаюсь и существуют иные документы, с которыми я пока не сталкивался, но как зарплатополучатель я их пока не видел.
А вот с тем, что профессиональный программист иногда сможет ускорить имеющуюся реализацию, я согласен.
Уточните, пожалуйста, к какой части моего сообщения этот комментарий?
Вопрос в том, КАК наращивать мощность и в чем эту самую мощность измерять. И вот тут во всей красе появляются множество «каких-то иных проблем», а не только FLOPS'ы…
А интерконнекты, топология и иерархия вычислительных узлов(ядер) — это сейчас еще большая головная боль, так как производительности процессоров выросли, скорости передачи данных выросли, а задержки никуда не делись из-за ограничения скорости света, а сетевые задержки могут всю производительность свести в ноль. Основные проблемы сейчас не в узлах, а в соединяющих их сетях по сути.
Расскажите пожалуйста подробнее, о чем идет речь?
А такое бывает? Известные мне мне суперкомпьютеры загружены чуть менее чем полностью, а простаивающих я вживую не видел…
Такие исследования постоянно идут.
Спектр задач охватывает все области науки, по этому не сильно ошибаясь можно сказать, что любые.
Почему забавно? Первичная обработка экспериментальных данных часто слабосвязная задача, по этому оптимально использовать распределенные решения, а в каком-либо моделировании преобладают сильносвязные задачи, по этому оптимальнее использовать суперкомпьютеры с быстрыми и с низкими задержками интерконнектами…
Проблема в другом. Существующие метрики производительности перестали коррелировать с решаемыми задачами, а новых универсальных метрик и методик оценки не видно. Автор пишет не про избыток мощности, а про то, что используемая методика оценки этой мощности вызывает много вопросов.
Так, что если бы был молоток, то таких статей бы не было, а все бы радовались, но молотка, к сожалению, нет…
некорректно переводить как:
И дело тут вот в чем. К настоящему времени сама мера FLOPS перестала быть адекватной мерой для решаемых задач. Метрика во FLOPS'ах — это производительность суперкомпьютера на одной конкретной задаче решения СЛАУ, а реальные вычисления строятся далеко не только на методах их решения. Даже производители процессоров в кулуарах говорят, что FLOPS'ы стали пузомеркой, а не отражением реальных задач.
Автор скорее имеет ввиду нечто подобное: «Для того, чтобы экзамасштабы стали реальными мы должны перестать говорить только об экза(флопс)шкале измерений.». И тем самым намекает на существующий перекос в сторону оптимизации для бенчмарка LINPACK, а не реальных задач.
И подвижки в этой области уже есть. Можно привести в пример рейтинги Top500, где измеряют FLOPSы и рейтинг Graph500, где измеряют производительность обработки больших массивов данных и места в этих рейтингах не совпадают.
А что слать, это уже совсем другой вопрос. Выше поднимался вопрос, как именно незаметно слать данные.
Да, если заблокировано все, то сбежать будет проблематично, особенно если периметр от другого вендора.
Если полный анализ не нужен и есть достаточно времени, то можно подойти к задаче с другой стороны и анализировать не каждый пакет, а только некоторые. Как минимум таким образом можно вычислить пользователей глобальной сети.
А что мешает умному коммутатору отправить пакет подставив в него адрес любого другого устройства в сети? Например, вычислить какие устройства ходят в глобально-маршрутизируемые сети и отправить пакет с их IP и MAC-адресом.
Правда даже если и строят подземные парковки в жилых домах, то я решительно не понимаю, почему эта площадка обнесенная разметкой на полу стоит как треть квартиры в этих домах…
У сотовых операторов причина действий точно такая-же. Допустив скайп они уменьшат спрос на голосовые услуги и их прибыли упадут, даже не смотря на то, что интернет они тоже с прибылью продают.
А в течении этих суток сидеть дома?
Я такого не говорил. Я за велосипеды, но там, где их применение возможно.
Вы указали то место, где живете, я указал то, где живу я. Все очевидно. Более того средний климат в России будет похолоднее Пермского, так что Ваша фраза про Новую Землю или Камчатку абсурдна. Но тем не менее мы подходим к Важному Выводу, который сделали Вы сами, что для применения западно-европейских концепций транспорта нужно иметь западно-европейский климат.
Когда города строились большими о машинах в каждой семье никто и не мечтал, так как это по большей части решения как минимум середины прошлого века. А к 21 веку мы уже подошли имея огромные по территории города.
Вам не кажется, что ОТ — это сервис? И что наводить порядок в нем должен владелец сервиса? А клиенты просто выбирают удобный для них.
А пробки в городах предсказуемы, если часто ездить по одному маршруту.
С парковками вопрос интересный… Дело в том, что я живу в центре города и большинство обычных магазинов находятся в шаговой доступности и мне не нужно ездить туда на машине. Работаю же я далеко, но в центре моя машина стоит в гараже, а на работе проблему парковок решил работодатель разместив их на своей территории, которая к тому-же огорожена и имеет шлагбаум.
Боюсь, Вы сильно ошибаетесь в причинах. Средний минимум января в Праге -4, в в Перми -16,2. Наличие большого количества снега зимой в Праге тоже под большим сомнением. Список подобных факторов можно продолжить, но, например, даже самые большие поклонники велосипедов у нас с работы, зимой переходят на другие виды транспорта по причине сугубо климатически снежной. А велопарковка у нас у здания есть и летом многие на велосипедах ездят.
К сожалению, Вы забываете об одном очень важном факторе — это предсказуемость. Моя машина едет точно по графику, а как ездит автобус не знает никто. По этому о применении термина «пересадите», по моему мнению, не может быть и речи. Будет транспорт хотя-бы более предсказуемым для начала, им будут пользоваться больше людей, не будет — больше людей будут искать альтернативы.
Понятно, что роль трубы провайдерам не нравится и они хотят получать денежку с обеих концов этой труды — и от потребителей контента и от производителей, но хотеть они могут многого, однако это совершенно не значит, что им можно вмешиваться в трафик, который они передают.
А вообще, где гарантии, что их фильтры не порежут чего-нибудь критически важное, о чем станет известно слишком поздно.
Ключевая фишка в другом! Работник в России про существование этих 30% сверху из бухгалтерских документов узнать НЕ может. Во всех бухгалтерских документах, которые я видел как работник, фигурируют только 13% НДФЛ и все. Возможно, я ошибаюсь и существуют иные документы, с которыми я пока не сталкивался, но как зарплатополучатель я их пока не видел.