За Mi300A на 100% согласен. Выглядит как будущее как минимум для компактных систем с продуманной системой охлаждения, так и для "Царь APU".
В Авроре конечно небольшая недосказанность по поводу ROCm. В каком-то смысле они действительно используют ROCm, но не обычный, а rocBLAS (который занимается в основном именно математикой). Интересно, присутствует ли он только в ускорителях Instinct или доступен так же на ускорителях Radeon RX или Radeon pro?)
Подскажите пожалуйста, а как в этой схеме можно организовать автоматическое переподключение если связь с сервером пропала? В Remmina вроде нет встроенных средств для этого.
С любопытством жду следующую статью про облачный гейминг. Хотелось бы узнать, как решается вопрос с задержкой ввода при таком подходе.
Решения для своего личного сервера имхо гораздо более интересны и выгодны любой компании, облака интересны в случае "Тест драйва" например у селектела есть вариант на Ampere Altra. Купить их голову с кошельком сломаешь, а не факт, что ваше ПО будет адаптировано под АРМ), а адаптировать его нужно время. Тест драйв позволяет вынести полученный опыт эксплуатации и понять - нужен ли тебе действительно именно такой сервер или можно обойтись сервером проще/мощнее. Именно такую пользу облака я вижу сразу, если же у вас серьезный бизнес, то не вижу смысла не брать свой личный сервер, тем более что можно более гибко подобрать конфигурацию, развернуть ESXI на собственных накопителях и т.д. если мы говорим о данных, которые являются конфиденциальными и утечка может повлечь солидную сумму либо репутацию.
Интересная статья получилась, много даёт ответов на вопросы, особенно в сфере формирования прайса)
Я всегда поражаюсь объему памяти в современных “суперкарточках” от Nvidia. Например, Tesla H100 имеет 96GB памяти. В то же время конкуренты предлагают больше: Radeon MI300X с 192GB и Gaudi 3 с 128GB. Конечно не только в объеме памяти суть, но среднему предприятию работающему в научных вычислениях и сверхточных ИИ и нейросетями, которым требуется хотя бы FP32, будет недостаточно пары H100, когда будет достаточно пары Instinct mi300x. Бюджет предприятия явно будет куда более рад более выгодному решению, особенно если предприятие (особенно сегодня) работает на OC Linux.
Сейчас на самом деле рынок действительно идёт в сторону ARM потихоньку, так как специализированные чипы со временем все более актуальны. Рано или поздно большой ретейлер адаптирует свое ПО под ARM решения и пошло поехало...
Вообще момент, что ARM конкурирует в HPC сегменте с x86 уже взрывает мозг, но это одновременно и грустно, ведь эпоха х86 постепенно уходит в закат, так как улучшать ее бесконечно уже не получается, а законы физики никто не отменял)
Ещё один игрок на рынке это всегда хорошо, однако тезис про как раз совместимость моделей на фоне куда действительно актуален. Исходя из данных, ускорители Intel работают через PyTorch и их производных и так же работают через системы IPEX, что накладывает огромное ограничение по сфере применения. Возможно для Amazon это то что и нужно, но большинству покупателей может быть интересны модели использующие другие алгоритмы и совместимые с CUDA. Все ещё не стоит забыть про ещё 1 игрока на рынке, который в отличии от синей компании позаботился о компиляции кода CUDA в свои решения, речь конечно же о AMD с их ускорителями Instict, которые в первую очередь и нацелены на этот рынок, так как AMD добавили в ROCm и HIP SDK очень простой инструмент для переноса вычислений моделей с CUDA на матричные ядра. Nvidia все таки ещё не представила B200, которая по-любому будет бестселлером снова, так как Гауди только вышел, а уже почти что "Мертвый по прибытию", даже учитывая цену ускорителя, но крупным игрокам в этом бизнесе достаточно все равно на бюджеты. А вот на что им не все равно - это на простоту работы с этим ускорителем, в чем ускорители Nvidia по сей день впереди планеты всей.
За Mi300A на 100% согласен. Выглядит как будущее как минимум для компактных систем с продуманной системой охлаждения, так и для "Царь APU".
В Авроре конечно небольшая недосказанность по поводу ROCm. В каком-то смысле они действительно используют ROCm, но не обычный, а rocBLAS (который занимается в основном именно математикой). Интересно, присутствует ли он только в ускорителях Instinct или доступен так же на ускорителях Radeon RX или Radeon pro?)
Подскажите пожалуйста, а как в этой схеме можно организовать автоматическое переподключение если связь с сервером пропала? В Remmina вроде нет встроенных средств для этого.
С любопытством жду следующую статью про облачный гейминг. Хотелось бы узнать, как решается вопрос с задержкой ввода при таком подходе.
Решения для своего личного сервера имхо гораздо более интересны и выгодны любой компании, облака интересны в случае "Тест драйва" например у селектела есть вариант на Ampere Altra. Купить их голову с кошельком сломаешь, а не факт, что ваше ПО будет адаптировано под АРМ), а адаптировать его нужно время. Тест драйв позволяет вынести полученный опыт эксплуатации и понять - нужен ли тебе действительно именно такой сервер или можно обойтись сервером проще/мощнее. Именно такую пользу облака я вижу сразу, если же у вас серьезный бизнес, то не вижу смысла не брать свой личный сервер, тем более что можно более гибко подобрать конфигурацию, развернуть ESXI на собственных накопителях и т.д. если мы говорим о данных, которые являются конфиденциальными и утечка может повлечь солидную сумму либо репутацию.
Интересная статья получилась, много даёт ответов на вопросы, особенно в сфере формирования прайса)
Я всегда поражаюсь объему памяти в современных “суперкарточках” от Nvidia. Например, Tesla H100 имеет 96GB памяти. В то же время конкуренты предлагают больше: Radeon MI300X с 192GB и Gaudi 3 с 128GB. Конечно не только в объеме памяти суть, но среднему предприятию работающему в научных вычислениях и сверхточных ИИ и нейросетями, которым требуется хотя бы FP32, будет недостаточно пары H100, когда будет достаточно пары Instinct mi300x. Бюджет предприятия явно будет куда более рад более выгодному решению, особенно если предприятие (особенно сегодня) работает на OC Linux.
Сейчас на самом деле рынок действительно идёт в сторону ARM потихоньку, так как специализированные чипы со временем все более актуальны. Рано или поздно большой ретейлер адаптирует свое ПО под ARM решения и пошло поехало...
Вообще момент, что ARM конкурирует в HPC сегменте с x86 уже взрывает мозг, но это одновременно и грустно, ведь эпоха х86 постепенно уходит в закат, так как улучшать ее бесконечно уже не получается, а законы физики никто не отменял)
Ещё один игрок на рынке это всегда хорошо, однако тезис про как раз совместимость моделей на фоне куда действительно актуален. Исходя из данных, ускорители Intel работают через PyTorch и их производных и так же работают через системы IPEX, что накладывает огромное ограничение по сфере применения. Возможно для Amazon это то что и нужно, но большинству покупателей может быть интересны модели использующие другие алгоритмы и совместимые с CUDA. Все ещё не стоит забыть про ещё 1 игрока на рынке, который в отличии от синей компании позаботился о компиляции кода CUDA в свои решения, речь конечно же о AMD с их ускорителями Instict, которые в первую очередь и нацелены на этот рынок, так как AMD добавили в ROCm и HIP SDK очень простой инструмент для переноса вычислений моделей с CUDA на матричные ядра. Nvidia все таки ещё не представила B200, которая по-любому будет бестселлером снова, так как Гауди только вышел, а уже почти что "Мертвый по прибытию", даже учитывая цену ускорителя, но крупным игрокам в этом бизнесе достаточно все равно на бюджеты. А вот на что им не все равно - это на простоту работы с этим ускорителем, в чем ускорители Nvidia по сей день впереди планеты всей.