Просто из статьи это непонятно (возможно нужны какие-то знания о архитектуре ваших решений), а значит оценить разумность полученных данных сложно, если вообще возможно.
Дело в том, что на хабре в целом общетехнические статьи и я как не сведующий в томографии пытаюсь по Вашей статье сравнить Эльбрус и x86, вижу сильно разные результаты в разных таблицах без особого количества вводных и не могу сделать по ней никаких выводов для себя.
Вы пытались разобраться почему у вас в последней таблице данные выглядят хорошими, но когда переходите к общему времени работы приложения 1 ядро Ryzen 2700 показывает себя лучше, чем 8 ядер Эльбрус-8С и 8СВ?
К тому же в последней таблице хотелось бы видеть несколько разных x86-ых чтобы вообще понимать что тест хорошо масштабируется, а не упирается во что-то внешнее?
Потому что в общем смысле вопросы к статье те же самые что в случаи СХД Аеродиск недавно. Абсолютно непонятно почему цифры отличаются.
Еще в конце статьи описано что под Эльбрус код оптимизирован, а под x86 насколько глубоко вы закапывались в оптимизацию?
Я нашел какой-то тендер на 4.5 млн рублей, видимо это оно. К сожалению я не знаком с номенклатурой, чтобы понять насколько это нормально. Но обычно в тендерах кроме СХД предполагается еще договор на обслуживание, а они у любого вендера стоят чуть ли не больше самой СХД. Так что в таком контексте цена может быть даже сопоставимой с аналогичным решением от NetApp или Dell EMC. Понятно что не имея их на руках сравнение в целом невозможно, конечно.
Но само собой, на Эльбрусе я предполагаю, что будет только дороже (возможно даже существенно).
ПО на обоих системах одинаковое A-CORE актуальной версии. Оно идентично на системах Engine и Восток
Из статьи в текущей момент абсолютно не ясно какое ядро и настройки, как минимум. Это может быть важно, как минимум для воспроизведения ситуации. Потому что мне, как читателю — абсолютно непонятно что такое «A-Core» и что это означает.
Среднее за час
Довольно плохая метрика, потому что несколько экстримально низких или экстримально высоких значений могут испортить картину. Советую подумать о перцентилях.
Это стандартный процессор в системе Engine N2 для недорогой гибридной конфигурации (для более мощных, например all-flash конфигураций используются значительно более мощные процессоры).
В статье это не указано, а также это не отвечает почему именно этот процессор выбран для железки. Иначе создается впечатление небольшого читерства когда берется система с процессором за условную 1000$ и ей противопоставляется относительно устаревшая система с процессором ценой в 300$ (на момент выхода).
Не очень понятен вопрос, поясните какого рода анализ вы ждете
Смотрите, сейчас Вы получили какие-то значения и сделали выводы. Проблема выводов в том, что полностью отсутствует все рассуждение между «мы получили 91к write iops и 100k read iops» и «Эльбрусы больше предпочитают запись». Просто выводы довольно спорные и не очевидные и без анализа причин таких чисел (архитектурного анализа, типа ткнуть в документацию и сказать «вот эта штука объясняет», либо настроек системы, версии ядра или еще чего-то подобного) такие выводы кажутся абсолютно неочевидными, более того, такая картина как описана в статье именно в плане разницы read vs write производительности больше похожа на то, что вы уперлись при чтении в какое-то узкое место (чтоб понять в какое — как раз и нужны графики загрузки цпу по типу и ядрам, анализ банального количества прерываний, теоретические расчеты задержек и пропускной способности по шинам и т.п.).
Также и про latency в 0.3мс для Эльбруса — интересно бы увидеть объяснение отличий, с анализом причин такой разницы (например снятые системые метрики, конфигурация теста и какое-то доказательство что вы не просто случайно протестировали кэш).
Ну и опять же, хочется больше деталей про условия тестирования, так как сейчас из всего железа известны только модели ЦПУ. Неизвестно ни какие диски использовались, ни информации про дисковый контроллер, поэтому анализ читателем — затруднителен, если вообще возможен.
Цены на Эльбрусы сложновато найти в публичном доступе… Если очень поискать, то можно найти предложение Е8С-mITX за 133 тыр (~1600 USD, это материнка с процессором, без памяти и прочего). За такую цену можно взять что-то на Xeon Silver притом еще с корпусом в сборе…
Я не думаю, что без какого-либо анализа результатов со стороны авторов и более подробной методики тестирования тут справедливо делать какие либо выводы, так как непонятно как оценивать результаты из статьи. Сейчас просто напросто не объяснено чем обусловлены отличия и какие вообще теоретически возможные результаты могли бы быть получены.
Еще забыл указать, что хотелось бы по возможности знать как были подключены диски, например какой SAS контроллер в обоих случаях и с какими настройками (например в каком режиме) и модели дисков бы еще. Иначе сложно сказать, какие значения были бы теоретически ожидаемыми и возможными (простая проверка на разумность полученных значений — попытаться предсказать что можно выжать из СХД в теории и сравнить с практикой)
Мне бы вообще хотелось увидеть скрипты тестирования и размеры тестовых сетов данных. Потому что гонять час можно цикличную перезапись файла размером 32 МБ или что-нибудь в таком же духе и это будет чуть другая нагрузка…
Статья в целом не тянет, на мой взгляд, по уровню на сравнение, скорее на блог-замтеку с целой рекламы изделий. Чтобы было интересно с технической точки зрения, стоило бы добавить:
1. Информацию о ПО в по обоим СХД и клиентам в саму статью. Сейчас что-то про ядро есть только для СХД на Эльбрусе. Про sysctl'и нет вообще нигде и ничего.
2. Подробная разбивка по загрузке CPU. Например, сейчас абсолютно непонятно что там по ядрам, так как есть только некая общая мера, я б даже сказал средняя. В идеале должно быть два графика — CPU по ядрам от времени и задержек от времени.
3. Непонятно какие значения подразумеваются под пропускной способностью и задержкой — минимум, максимум, среднее, какой-то конкретный перцентиль?
4. Хотелось бы увидеть обоснование выбора конкретного железа (ну кроме «другого не было»). Потому что E5-2603v4 все же один из младших CPU в линейке с ценой в 213$ и совсем непонятно зачем он был выбран.
5. Хотелось бы увидеть анализ почему такой latency в ситуациях когда он выше ожидаемого.
6. Непонятно почему не было более приближенных к реальным нагрузкам тестов — например смешанных нагрузок?
Без ответов на эти вопросы совсем непонятно как можно делать какие-либо выводы. Например близость показателей чтения и записи могла быть обусловлена тем, что СХД на Эльбрусе на чтении просто напросто уперлось либо в шину либо в близкую к 100% утилизацию какого-то другого ресурса.
И я еще уверен, что люди профессионально занимающиеся СХД могут задать еще больше вопросов, которые я просто по незнанию тематики упустил.
А вместо непонятного вебинара (который еще и будет через несколько недель), где требуется предоставить много персональных данных, хотелось бы все же видеть вовлечение в ответы на вопросы в комментариях.
Я конечно не автор, но кое что могу заметить:
После Германии и даже Нидерландов, сортировка и вывоз мусора в Швейцарии — это очень просто и даже не так чтобы дорого (если делать все просто). По сути ты в супермаркете покупаешь мешки, и все кроме крупного или опасного мусора можешь выбрасывать в один мешок. Хочешь сэкономить? Тогда да, сортируй мусор, органику отдельно, PET отдельно, картон вывози на свалку или выбрасывай в отведенные дни и так далее.
В Швейцарии в сфере услуг особенность в другом — цена не коррелирует с качеством. Наиболее качественную пиццу может готовить самая дешевая пиццерия вокруг — легко прям. Да и в целом высокие цены компенсируются достаточно высоким доходом.
Доставка товаров из местных магазинов часто бывает в ближайший будний день (диджитек-галаксус те же).
Как человек, переезжавший между странами уже трижды (Россия->Германия->Нидерланды->Швейцария) хочется у автора поинтересоваться, а все ли нормально было у автора в разных аспектах жизни?
Человек обычно плохо умеет разграничивать личное, рабочее и впечатление от окружения. Если у тебя все плохо на работе, то и жизнь в городе ты будешь видеть только с плохой стороны (даже хорошие вещи начнут раздрожать, недостатки будут казаться более суровыми, а позитивные вещи — какими-то мелочами несущественным). Ну и также и про личную жизнь — разлад там будет сказываться и на работе и на ощущении от окружения.
А так — в целом все написанное звучит очень странно звучит. И выводы про страну (даже про Швейцарию) и описанные минусы Германии.
Дело в том, что на хабре в целом общетехнические статьи и я как не сведующий в томографии пытаюсь по Вашей статье сравнить Эльбрус и x86, вижу сильно разные результаты в разных таблицах без особого количества вводных и не могу сделать по ней никаких выводов для себя.
К тому же в последней таблице хотелось бы видеть несколько разных x86-ых чтобы вообще понимать что тест хорошо масштабируется, а не упирается во что-то внешнее?
Потому что в общем смысле вопросы к статье те же самые что в случаи СХД Аеродиск недавно. Абсолютно непонятно почему цифры отличаются.
Еще в конце статьи описано что под Эльбрус код оптимизирован, а под x86 насколько глубоко вы закапывались в оптимизацию?
Суперскалярные x86: P5 (Pentium первый), Nx586, AMD K5. То есть примерно с 1993 года.
Внеочередное исполнение операций — Pentium Pro и AMD K5 были первыми среди x86. То есть с ~1995 года.
А так уши у всего этого растут вообще из мейнфреймов 196x годов.
Или имелось в виду, что в x86 это не ноу-хау?
Но само собой, на Эльбрусе я предполагаю, что будет только дороже (возможно даже существенно).
Из статьи в текущей момент абсолютно не ясно какое ядро и настройки, как минимум. Это может быть важно, как минимум для воспроизведения ситуации. Потому что мне, как читателю — абсолютно непонятно что такое «A-Core» и что это означает.
Довольно плохая метрика, потому что несколько экстримально низких или экстримально высоких значений могут испортить картину. Советую подумать о перцентилях.
В статье это не указано, а также это не отвечает почему именно этот процессор выбран для железки. Иначе создается впечатление небольшого читерства когда берется система с процессором за условную 1000$ и ей противопоставляется относительно устаревшая система с процессором ценой в 300$ (на момент выхода).
Смотрите, сейчас Вы получили какие-то значения и сделали выводы. Проблема выводов в том, что полностью отсутствует все рассуждение между «мы получили 91к write iops и 100k read iops» и «Эльбрусы больше предпочитают запись». Просто выводы довольно спорные и не очевидные и без анализа причин таких чисел (архитектурного анализа, типа ткнуть в документацию и сказать «вот эта штука объясняет», либо настроек системы, версии ядра или еще чего-то подобного) такие выводы кажутся абсолютно неочевидными, более того, такая картина как описана в статье именно в плане разницы read vs write производительности больше похожа на то, что вы уперлись при чтении в какое-то узкое место (чтоб понять в какое — как раз и нужны графики загрузки цпу по типу и ядрам, анализ банального количества прерываний, теоретические расчеты задержек и пропускной способности по шинам и т.п.).
Также и про latency в 0.3мс для Эльбруса — интересно бы увидеть объяснение отличий, с анализом причин такой разницы (например снятые системые метрики, конфигурация теста и какое-то доказательство что вы не просто случайно протестировали кэш).
Ну и опять же, хочется больше деталей про условия тестирования, так как сейчас из всего железа известны только модели ЦПУ. Неизвестно ни какие диски использовались, ни информации про дисковый контроллер, поэтому анализ читателем — затруднителен, если вообще возможен.
1. Информацию о ПО в по обоим СХД и клиентам в саму статью. Сейчас что-то про ядро есть только для СХД на Эльбрусе. Про sysctl'и нет вообще нигде и ничего.
2. Подробная разбивка по загрузке CPU. Например, сейчас абсолютно непонятно что там по ядрам, так как есть только некая общая мера, я б даже сказал средняя. В идеале должно быть два графика — CPU по ядрам от времени и задержек от времени.
3. Непонятно какие значения подразумеваются под пропускной способностью и задержкой — минимум, максимум, среднее, какой-то конкретный перцентиль?
4. Хотелось бы увидеть обоснование выбора конкретного железа (ну кроме «другого не было»). Потому что E5-2603v4 все же один из младших CPU в линейке с ценой в 213$ и совсем непонятно зачем он был выбран.
5. Хотелось бы увидеть анализ почему такой latency в ситуациях когда он выше ожидаемого.
6. Непонятно почему не было более приближенных к реальным нагрузкам тестов — например смешанных нагрузок?
Без ответов на эти вопросы совсем непонятно как можно делать какие-либо выводы. Например близость показателей чтения и записи могла быть обусловлена тем, что СХД на Эльбрусе на чтении просто напросто уперлось либо в шину либо в близкую к 100% утилизацию какого-то другого ресурса.
И я еще уверен, что люди профессионально занимающиеся СХД могут задать еще больше вопросов, которые я просто по незнанию тематики упустил.
А вместо непонятного вебинара (который еще и будет через несколько недель), где требуется предоставить много персональных данных, хотелось бы все же видеть вовлечение в ответы на вопросы в комментариях.
А если недостаточным для тайпчека, но достаточным для лёгкого изменения логики?
А можно автоматически проверить что доказательство по прежнему относится к этому коду?
Тесты в данном случае повысит вероятность, что когда кто нибудь поменяет код по какой нибудь причине, изменения в поведении заметят.
После Германии и даже Нидерландов, сортировка и вывоз мусора в Швейцарии — это очень просто и даже не так чтобы дорого (если делать все просто). По сути ты в супермаркете покупаешь мешки, и все кроме крупного или опасного мусора можешь выбрасывать в один мешок. Хочешь сэкономить? Тогда да, сортируй мусор, органику отдельно, PET отдельно, картон вывози на свалку или выбрасывай в отведенные дни и так далее.
В Швейцарии в сфере услуг особенность в другом — цена не коррелирует с качеством. Наиболее качественную пиццу может готовить самая дешевая пиццерия вокруг — легко прям. Да и в целом высокие цены компенсируются достаточно высоким доходом.
Доставка товаров из местных магазинов часто бывает в ближайший будний день (диджитек-галаксус те же).
Человек обычно плохо умеет разграничивать личное, рабочее и впечатление от окружения. Если у тебя все плохо на работе, то и жизнь в городе ты будешь видеть только с плохой стороны (даже хорошие вещи начнут раздрожать, недостатки будут казаться более суровыми, а позитивные вещи — какими-то мелочами несущественным). Ну и также и про личную жизнь — разлад там будет сказываться и на работе и на ощущении от окружения.
А так — в целом все написанное звучит очень странно звучит. И выводы про страну (даже про Швейцарию) и описанные минусы Германии.