Comments 31
А что планируется соединять Ангарой?
"Алдан" надо бы, наверное...
"Алдан" надо бы, наверное...
С встроенной табуреткой !
Саша Привалов сидел на перегоревшем вводном устройстве "Алдана" и пытался мыслить позитивно.
Получалось плохо: мешали остатки обывательского мышления, настоящего мага недостойные. Обывательское мышление напоминало о мелких, несущественных вещах. Например, о том, что праздничный заказ опять перехватил отдел Атеизма. Что отдел Вечной Молодости закрывают, вслед за опустевшей кивринской лабораторией. Что в отделе Предсказаний и Пророчеств прорицают, будто с Нового Года животное масло в продаже исчезнет окончательно, даже по талонам. Что Стелла совсем захандрила, забросила ребёнка и проводит вечера у какой-то непонятной подруги, которую зовёт то Леной, то Алёной, а в трубку - Алёшей. Что сын практически не видит отца, потому что ему не хочется приходить домой и он всё чаще посылает вместо себя дубля. Что семейный бюджет в четыреста тридцать рублей - это тяжело, а дальше будет ещё тяжелее. Что Соловец - это всё-таки не Ленинград. Что...
Хм... Kubernetes?
Кто нибудь в курсе что за зверь этот "интерконнет Ангара" ? Наш ответ на Ethernet ?
Это так они в многопроцессорных системах FSB (фронт сайд бас) называют. Аналог интел гипертранспорт и амд инфинитифабрик.
Спасибо, запомним.
На сколько лет "Ангара" отстаёт от аналогов?
Да.
лет 5-10. Если не брать что это тупиковая ветка - ввиду сложности топологии при числе нод выше 1024. А кому сейчас нужен суперкомпьюетр с таким количеством узлов ?
Вы ошибаетесь. Это аналог Cray interconnect по имени SeaStar/BlackStar - с топологией ТОР. Использовался в Cray XC40 который стоит в Росгидромете.
Switchless сеть где каждая нода выступает еще и свичем. Из-за чего имеет очень забавные приколы. Идеально для MPI с малыми объемами трафика - так как позволяет сделать хорошую связность, но для задач которые требуют больших потоков передачи данных - это жесть и тоска. Роутинг в большей части ручной. Списано Cray из продакшена лет 5 назад.
Короче, я поизучал вопрос. Ангара это православная вариация на тему Ethernet/TokenRing/Infiniband. Сеть с низкой latency для соединения узлов вычислительного кластера.
Не путайте вы все в одну кучу. Ethernet, Infiniband - имеют топологию Дерево/звезда
TokenRing - кольцо. Ангара - Тор. Ближайший аналог https://www.alcf.anl.gov/files/CrayXCNetwork.pdf - Это Cray Blackstar, тут же скорее клон прошлого поколения.
Об Ангаре есть много докладов на ютубе, есть статьи в научных журналах.
2016 = https://www.youtube.com/watch?v=wWbMuLAU5vw
2017 = https://www.youtube.com/watch?v=ake3KUZjYIE
2018 = https://www.youtube.com/watch?v=Gxcd-ygC_LQ
2019 = https://www.youtube.com/watch?v=8CodbHddQAE
2019 = https://www.youtube.com/watch?v=30pAeKscIns
Вычислительный кластер «Ангара-К1» – первый суперкомпьютер на основе сети Ангара, создан в АО «НИЦЭВТ». «Ангара-К1» состоит из 36 узлов двух типов узлов с процессорами Intel Xeon E5-2630 и Intel Xeon E5-2660. Общее количество ядер – 384. Память каждого узла – 64 ГБ.
..
В декабре 2020 года суперкомпьютер Fisher расширен до второго коммутатора Ангара и новыми узлами с процессорами AMD EPYC 7662, таким образом, в суперкомпьютере всего 40 узлов.
состоит из 36 узлов двух типов узлов с процессорами Intel Xeon E5-2630 и Intel Xeon E5-2660. Общее количество ядер – 384. Память каждого узла – 64 ГБ.
Это у них называется "суперкомпьютер"???
Вы привыкли к дорогим суперкомпьютерам, однако рядом с ними работают и дешёвые суперкомпьютеры. Российская академия наук бедна и не может позволить себе дорогих суперкомпьютеров.
Это ирония, надеюсь? Не, я понимаю, конечно, что в представлении российских айтишников российские ученые мало чем отличаются от бомжей, но не настолько же...
Я даже специально полез в старые доки и нашел, что в 2018 году в СПбГУ одна не самая большая и не самая богатая научная группа закупала себе, чисто под свою группу и свои задачи, 24 машины на i7-7820X, 64 Гб ОЗУ и спаркой GTX 1080 Ti. В 19 году они ещё докупали, но я в той закупке уже не участвовал и доков не осталось. Но по-моему покупали штук 16 машин примерно такой же комплектации. А потом ещё в 21 году закупали, и, как я слышал, и в 22-м и в 23-м.
И никто там не называл этот кластер "суперкомпьютером". Да, понятно, десктопное железо, но дело не в этом. Профессор охарактеризовал это как "ну, небольшой кластер, всегда под рукой, чтобы с мелкими задачами в очередь в вычислительном центре не вставать". Суперкомпьютером иногда называли "высокопроизводительный вычислительный сервер" вычислительного центра, но больше в ироническом ключе. А у РАНовских институтов есть вычислительные мощности куда серьерзнее.
Вообще, тема отечественного аналога Infiniband очень интересная. Честно говоря я даже слегка удивлен тем, что у нас ведутся такие разработки. По данным со слайда 2019 года они шли ноздря в ноздрю с западными аналогами. Сейчас наверное сильно поотстали из-за закрытия доступа к фабрике TSMC, где они производили свои чипы.
На сколько я понял у сети Ангара есть два варианта соединения - традиционный адаптер-коммутатор и напрямую адаптер-адаптер большим числом проводов. Послений вариант дает более высокую производительность (выше чем у западных) и меньшие задержки, но сложен в монтаже/обслуживании и ограничен числом узлов. Топологии гипер-куб и 3D-тор. Физическая среда - медь, оптика и платы бэкплэйн.
По данным со слайда 2019 года они шли ноздря в ноздрю с западными аналогами.
Слайд, как и бумага, всë стерпит...
>о данным со слайда 2019 года они шли ноздря в ноздрю с западными аналогами.
почитайте в интернете по Cray BlackStar, Cray Aries - когда они были и когда их списали в утиль. Учитывая что у них заявлено 6.24Gbit/s на линк - это скорее BlackStar или более ранее. У Aries 10G+ на линк.
>Послений вариант дает более высокую производительность (выше чем у западных) и меньшие задержки, но сложен в монтаже/обслуживании и ограничен числом узлов.
А вы не задумывались о факте - что пока узел является для кого-то транзитным (а вы описали switchless фабрику) - он сам передавать не может? То есть все IO узлы генерящие трафик - должны быть не переферии ТОРа (что бы от них до потребителя были минимальное число хопов), иначе кластер будет заниматься только пересылкой транзитных пакетов.
На одном из слайдов указана скорость 200ГБит/сек на линк. Там же докладчик ведет речь о топологии сети в которой присутствует полная связанность и неблокируемость (т.е. все абоненты могу посылать всем с минимальной задержкой, в 75нс емнип). Но как уже было сказано выше - слайд стерпит всё. В целом какое-то представление я составил, хорошо что такие разработки есть. Догонит ли Ангара и перегонит ли западные аналоги - мне честно говоря пофиг. Но люди занимаются интересным и полезным делом.
«Росэлектроника» и РАН будут разрабатывать суперкомпьютер нового поколения на базе системы интерконнекта «Ангара»