Традиционно, первоочередной задачей тестирования систем хранения является достижение высоких показателей производительности. Для этих целей хорошо подходят небольшие SSD-диски. Гонки же в формате «кто больше может хранить» для традиционных СХД остались в прошлом и являются актуальными разве что для архивных систем хранения, но это уже совсем другая история.
Да, можно рассматривать преднамеренный архитектурный тех. долг как стадию реализации проекта. Впрочем, это касается тех. долга на любом уровне разработки — долг зафиксирован, оценен, и есть план по устранению: это уже не тех. долг в плохом смысле, а управляемая единица со своей целью.
Что касается частоты, тут имелось в виду, что архитектуру в больших компаниях обычно смотрят несколько независимых сотрудников и протащить явные косяки сложнее, но, к сожалению, это случается, и их устранение намного дороже.
Результаты fio при выполнении тестов на проверку надёжности мы не фиксировали. В этих тестах fio выполнял только функцию генерации нагрузки на СХД для имитации реальной работы системы.
СХД предназначено для широкого спектра задач, вендор позиционирует продукт как «Система для корпоративных приложений, больших данных и аналитики».
Что касается аппаратных и программных возможностей, то они постоянно добавляются и дорабатываются. А если говорить непосредственно про снэпшоты с группами консистентности — да, такая функциональность есть в текущей версии продукта. Мы постарались не перегружать вводные своего тестирования информацией, которую можно почерпнуть у вендора, например, вот из этой общедоступной презентации — https://st.yadro.com/docs/Tatlin/YADRO_TATLIN_UNIFIED_GEN2_Presentation_RUS.pdf
Оставшийся пул Ваших вопросов стоит рассматривать в рамках конкретной задачи сайзинга. В рамках базового тестирования, увы, невозможно охватить и учесть все возможные конфигурации и требования со стороны систем‑потребителей СХД. Надеемся, в будущем у нас будет возможность «похвастаться» конкретными конфигурациями и показателями, которые будут достигнуты на продуктивных внедрениях этой СХД у заказчиков.
Расхождение с расчётными показателями IOPS, на которое Вы обращаете внимание, вызвано использованием инфраструктуры FC 16 Гбит/сек, тогда как расчётные значения в таблице подразумевают инфраструктуру FC 32 Гбит/сек. Упоминание о таком ограничении присутствует в первом тесте.
Параметры надо выбирать примерно такие, какие будут на вашей реальной нагрузке. Или взять какие общеприняты. А самое правильное - вообще прогнать на нескольки вариантах (например, iodepth=1/4/8/16/32/64 numjobs=1/2/4/8/16).
Подбирать же параметры теста чтобы показать цифры получше, скажем так, считается не самой лучшей практикой
Абсолютно верно, при тестирования СХД под конкретную задачу параметры нагрузки должны максимально соответствовать реальным. Но в нашем случае такой задачи не стояло, поэтому взяты рекомендуемые вендором профили нагрузки для тестирования, и тут логично, что они призваны показать хорошие значения производительности СХД.
Исполнительная документация была, здесь нужно учитывать общие условия — оптика прокладывалась, когда это был еще один завод, потом уже все посносили, построили 2 ТЦ и ЖК, ну в какой-то момент и по оптике попали.
Спасибо за вопрос, но, к сожалению, раскрывать количество персонала дежурной смены мы не имеем права. Однако можем сказать, что сегодня на объекте уже создана собственная служба эксплуатации с диспетчерской, организованы дежурные смены. В состав дежурных смен входят диспетчера, осуществляющие круглосуточный контроль за объектом, а также функциональные инженеры по направлениям, отвечающие за работоспособность систем жизнеобеспечения объекта (таких как электроснабжение, механические системы, слаботочные системы и т.д.), проведение регламентных и ремонтных работ.
Служба эксплуатации не останавливается на достигнутом, проводит доукомплектование диспетчерских смен профильными специалистами на перспективу развития объекта и увеличения его мощности до номинальной величины.
Спасибо за вопрос! Вот ответ, который сегодня нам дал генеральный директор ООО «Авантаж» — Александр Крок: «Опыт строительства ЦОДов в северных широтах, например, в скандинавских странах, насчитывает уже много лет, однако, необходимо учитывать такие важные требования, как катастрофоустойчивость и отсутствие объектов повышенной опасности, в том числе природного характера. Тем более, инфраструктура наших северных широт не располагает нужными для строительства ЦОДов возможностями».
Отвечая на этот вопрос, генеральный директор ООО «Авантаж» — Александр Крок, сказал, что ЦОД будет функционировать в полном соответствии с законодательством РФ.
Nikobraz, спасибо за комментарий. Ниже ответ наших коллег из Промсвязьбанка.
Мы очень сожалеем, что у вас сложился такой негативный взгляд и готовы ответить на ваши вопросы:
1) решение о предоставлении кредита или кредитной карты принимается банком после комплексной оценки анкетных данных клиента и предоставленного им пакета документов. В данном случае это, скорее всего, было лишь предварительное одобрение заявки;
2) сотрудники банка соблюдают действующее законодательство РФ и не имеют права разглашать персональные данные клиентов третьим лицам;
3) карты, выпущенные в рамках зарплатных проектов, при увольнении сотрудника переводятся на специальные условия, которыми предусмотрена оплата комиссии за годовое обслуживание карты за счет клиента. Возможно, задолженность, о которой идет речь — это комиссия за годовое обслуживание. В случае возникновения задолженности банк вынужден осуществлять звонки на контактные номера телефонов клиента с целью урегулирования вопроса об оплате долга.
Но для подробного разбора каждой ситуации нам необходимы личные данные клиентов. Такие данные, а также информацию по любым спорным вопросам вы можете направить на электронный адрес info@psbank.ru с указанием темы обращения, составить заявку в интернет-банке или написать в личные сообщения нашего сообщества «Вконтакте» — vk.com/psbank_ru
Ответ наших коллег из Промсвязьбанка:
Действительно, данный интернет-банк до сих пор функционирует. Но этим летом мы открыли доступ к новому: business.psbank.ru
Чтобы им воспользоваться достаточно ввести свой логин и пароль, который вы используете для доступа в мобильный банк и PSB On-Line.
Спасибо за ваш комментарий, hippoage! Ответ наших коллег из Промсвязьбанка:
Вы правы, слово «требования» могло ввести в заблуждение. То, что перечислено выше, скорее рекомендации, если вы будете использовать какие-то другие технологии, не вопрос — мы будем рады. Чтобы избежать недопониманий на лендинге заменили слово «Требования» на «Рекомендации».
Наличие в команде дизайнера или маркетолога также не является требованием, про это нигде не написано. Тем не менее, организаторы обещают укомплектовать команду и найти требуемого участника, ведь заявки можно подавать как командой, так и индивидуально. А пройти в финал можно только в составе команды.
В России согласно ФЗ 152 все персональные данные надо защищать, а в Банках особенно.
Есть требование 21 приказа ФСТЭК России (ЗИС 3. Обеспечение защиты персональных данных от раскрытия, модификации и навязывания (ввода ложной информации) при ее передаче (подготовке к передаче) по каналам связи, имеющим выход за пределы контролируемой зоны, в том числе беспроводным каналам связи).
Шифрование по AES не признается как достаточная защита для такого типа данных.
Разрешается только ГОСТ 28147-89.
· «Вендор-лок» уже был до начала проекта. Этим вендором заказчик доволен, поэтому решено не менять его на другого производителя.
· Про AISC. BFD хорошо использовать на оборудовании, если есть специализированный ASIC, где может работать BFD. В распределенной сети заказчика, включая ЦОД есть множество маршрутизаторов, а также Cisco ASA, которые не поддерживают аппаратно BFD.
· BFD между Main и DR ЦОД через L3VPN каналы и тем более к офисам лучше не ставить. Обязательно будет периодически флаппать OSPF, не говоря уже про то, что у нас в сети еще криптошлюзы.
· BFD – технология, позволяющая уменьшить таймеры обнаружения проблемы. Но вот время конвергенции после обнаружения отказа она никак не уменьшит. OSPF по умолчанию просто ждет 5 секунд для стабилизации сети. Если сеть флаппает, этот таймер увеличивается до 10 секунд. Также есть и другие таймеры, связанные с пересчетом LSA. Конечно, есть guide, где можно настроить конвергенцию меньше, чем в одну секунду, но это нужно делать очень аккуратно.
2. Это уже было так реализовано, и переделывать все филиалы не было возможности в связи со сроками. Конечно, было 3 общих L3VPN облака (оператора). У каждого филиала было как минимум 2 оператора, которые доходили до ЦОД. Каналы в филиалах равнозначны. А сами туннели нужны для шифрования, без них никак в Банках.
А в чем ее заплесневелость? Cisco с IWAN до сих пор продвигает DMVPN.
3. Там 2 типа GRE. Первые через интернет, просто с внешних интерфейсов. Вторые GRE специально сделаны через всю сеть Банка iBGP (Main)<->EiGRP (Main+DR)<->статика (DR). Таким образом, проверяется вся связность между ЦОД внутри и во вне сети заказчика, чтобы исключить все false positive и true negative описанные выше сценарии.
Такой проблемы с траблшутингом не будет, т.к. второй EIGRP процесс – это по сути overlay сеть. В той цепочке EIGRP процессы разные. И на практике все оказалось не так сложно.
4. Даже, если мы бы договорились отправлять операторам по /25, а они в аплинкам отправляли /24, это нам не помогло бы.
· У заказчика уже используется более половины доступных адресов для Main ЦОД.
· Представьте ситуацию. Часть интернет-клиентов прилетает к оператору А и попадает в основной ЦОД. Если канал этот падает, то оператор начинает перенаправлять всех клиентов в DR ЦОД. А вычислительные мощности переезжать не должны. Пришлось бы тогда делать заворот интернет потока из DR ЦОД в Main ЦОД обратно. Ведь клиент будет продолжать прилетать к оператору А. Таким образом, сильно возрастают задержки для бизнес приложений, т.к. DR в другом городе. Да и схема тоже усложняется.
Вадим, вот ответы, которые сегодня нам дал генеральный директор ООО «Авантаж» — Александр Крок.
Расскажите, что у вас планируется с каналами связи? Как будет достигаться отказоустойчивость от случайных раскопов оптики веселыми трактористами и выгорания коллекторов? Какая политика по присутствию сторонних операторов связи в ЦОД?
В «Авантаже» будет обеспечена возможность любому оператору связи организовать два физически независимых ввода по ВОЛС. ЦОД полностью открыт к размещению у себя точек присутствия сторонних операторов. Если будет необходимость у арендаторов в услугах связи какого-то конкретного оператора, то вход на телекоммуникационную площадку ЦОДа будет обеспечен ТУ. Заказчики получат того оператора, которого пожелают. Наше присутствие будет на всех основных узлах обмена трафиком в Москве.
Понятно, что проще сдавать машинные залы либо стойкоместа целиком, но будет ли у вас поюнитовая «розница»?
Во-первых, есть часть услуг, которые непосредственно связаны с поюнитовой арендой. Например, размещение оборудования операторов связи и клиентов в кроссовых помещениях и других технологически разделяемых зонах.
Во-вторых, если будет выявлена необходимость в поюнитовой аренде пространства ЦОД, то, вероятнее всего, ею будет заниматься отдельный сервис-провайдер.
Не боитесь, что ощутимая удаленность от Москвы станет отпугивающим фактором для некоторых клиентов?
Удалённость иллюзорная! В реальности, добраться до ЦОД Авантаж (находится в 9 км от МКАД) в рабочие время проще, чем до некоторых ЦОД, расположенных внутри МКАД.
Планируете ли вы сдавать часть помещения под офисы клиентов для размещения дежурных бригад клиента, например?
Планируем, для этого построен 4-х этажное административное здание.
Что вы думаете на счёт четвёртого корпуса DataLine Nord? Как бы вы охарактеризовали ваш ЦОД относительно, например, ДатаЛайновского на Коровинском шоссе?
Наличие нормальных конкурентов — путь к индустриальному развитию.
Земля, она в каком правовом статусе? А то были ЦОД, которые были построены на территориях с мутными договорами субаренды и на личных договорённостях, в большинстве случаев это однажды оканчивалось спешным переездом ЦОД.
В кадастровых документах точно определен статус объекта — Центр хранения и обработки данных — ЦОД «Авантаж».
Традиционно, первоочередной задачей тестирования систем хранения является достижение высоких показателей производительности. Для этих целей хорошо подходят небольшие SSD-диски. Гонки же в формате «кто больше может хранить» для традиционных СХД остались в прошлом и являются актуальными разве что для архивных систем хранения, но это уже совсем другая история.
Актуальный перечень поддерживаемых дисковых накопителей для системы TATLIN.UNIFIED Gen2 можно посмотреть по ссылке: https://yadro.com/ru/tatlin/unified/gen2/specs
Да, можно рассматривать преднамеренный архитектурный тех. долг как стадию реализации проекта. Впрочем, это касается тех. долга на любом уровне разработки — долг зафиксирован, оценен, и есть план по устранению: это уже не тех. долг в плохом смысле, а управляемая единица со своей целью.
Что касается частоты, тут имелось в виду, что архитектуру в больших компаниях обычно смотрят несколько независимых сотрудников и протащить явные косяки сложнее, но, к сожалению, это случается, и их устранение намного дороже.
Спасибо за высокую оценку.
Результаты fio при выполнении тестов на проверку надёжности мы не фиксировали. В этих тестах fio выполнял только функцию генерации нагрузки на СХД для имитации реальной работы системы.
СХД предназначено для широкого спектра задач, вендор позиционирует продукт как «Система для корпоративных приложений, больших данных и аналитики».
Что касается аппаратных и программных возможностей, то они постоянно добавляются и дорабатываются. А если говорить непосредственно про снэпшоты с группами консистентности — да, такая функциональность есть в текущей версии продукта. Мы постарались не перегружать вводные своего тестирования информацией, которую можно почерпнуть у вендора, например, вот из этой общедоступной презентации — https://st.yadro.com/docs/Tatlin/YADRO_TATLIN_UNIFIED_GEN2_Presentation_RUS.pdf
Оставшийся пул Ваших вопросов стоит рассматривать в рамках конкретной задачи сайзинга. В рамках базового тестирования, увы, невозможно охватить и учесть все возможные конфигурации и требования со стороны систем‑потребителей СХД. Надеемся, в будущем у нас будет возможность «похвастаться» конкретными конфигурациями и показателями, которые будут достигнуты на продуктивных внедрениях этой СХД у заказчиков.
Расхождение с расчётными показателями IOPS, на которое Вы обращаете внимание, вызвано использованием инфраструктуры FC 16 Гбит/сек, тогда как расчётные значения в таблице подразумевают инфраструктуру FC 32 Гбит/сек. Упоминание о таком ограничении присутствует в первом тесте.
Абсолютно верно, при тестирования СХД под конкретную задачу параметры нагрузки должны максимально соответствовать реальным. Но в нашем случае такой задачи не стояло, поэтому взяты рекомендуемые вендором профили нагрузки для тестирования, и тут логично, что они призваны показать хорошие значения производительности СХД.
Спасибо за внимательность, исправили :)
Служба эксплуатации не останавливается на достигнутом, проводит доукомплектование диспетчерских смен профильными специалистами на перспективу развития объекта и увеличения его мощности до номинальной величины.
Мы очень сожалеем, что у вас сложился такой негативный взгляд и готовы ответить на ваши вопросы:
1) решение о предоставлении кредита или кредитной карты принимается банком после комплексной оценки анкетных данных клиента и предоставленного им пакета документов. В данном случае это, скорее всего, было лишь предварительное одобрение заявки;
2) сотрудники банка соблюдают действующее законодательство РФ и не имеют права разглашать персональные данные клиентов третьим лицам;
3) карты, выпущенные в рамках зарплатных проектов, при увольнении сотрудника переводятся на специальные условия, которыми предусмотрена оплата комиссии за годовое обслуживание карты за счет клиента. Возможно, задолженность, о которой идет речь — это комиссия за годовое обслуживание. В случае возникновения задолженности банк вынужден осуществлять звонки на контактные номера телефонов клиента с целью урегулирования вопроса об оплате долга.
Но для подробного разбора каждой ситуации нам необходимы личные данные клиентов. Такие данные, а также информацию по любым спорным вопросам вы можете направить на электронный адрес info@psbank.ru с указанием темы обращения, составить заявку в интернет-банке или написать в личные сообщения нашего сообщества «Вконтакте» — vk.com/psbank_ru
Ответ наших коллег из Промсвязьбанка:
Действительно, данный интернет-банк до сих пор функционирует. Но этим летом мы открыли доступ к новому: business.psbank.ru
Чтобы им воспользоваться достаточно ввести свой логин и пароль, который вы используете для доступа в мобильный банк и PSB On-Line.
Вы правы, слово «требования» могло ввести в заблуждение. То, что перечислено выше, скорее рекомендации, если вы будете использовать какие-то другие технологии, не вопрос — мы будем рады. Чтобы избежать недопониманий на лендинге заменили слово «Требования» на «Рекомендации».
Наличие в команде дизайнера или маркетолога также не является требованием, про это нигде не написано. Тем не менее, организаторы обещают укомплектовать команду и найти требуемого участника, ведь заявки можно подавать как командой, так и индивидуально. А пройти в финал можно только в составе команды.
Есть требование 21 приказа ФСТЭК России (ЗИС 3. Обеспечение защиты персональных данных от раскрытия, модификации и навязывания (ввода ложной информации) при ее передаче (подготовке к передаче) по каналам связи, имеющим выход за пределы контролируемой зоны, в том числе беспроводным каналам связи).
Шифрование по AES не признается как достаточная защита для такого типа данных.
Разрешается только ГОСТ 28147-89.
Отвечаем на вопросы:
1. Это один из аргументов. Детальнее по пунктам:
· «Вендор-лок» уже был до начала проекта. Этим вендором заказчик доволен, поэтому решено не менять его на другого производителя.
· Про AISC. BFD хорошо использовать на оборудовании, если есть специализированный ASIC, где может работать BFD. В распределенной сети заказчика, включая ЦОД есть множество маршрутизаторов, а также Cisco ASA, которые не поддерживают аппаратно BFD.
· BFD между Main и DR ЦОД через L3VPN каналы и тем более к офисам лучше не ставить. Обязательно будет периодически флаппать OSPF, не говоря уже про то, что у нас в сети еще криптошлюзы.
· BFD – технология, позволяющая уменьшить таймеры обнаружения проблемы. Но вот время конвергенции после обнаружения отказа она никак не уменьшит. OSPF по умолчанию просто ждет 5 секунд для стабилизации сети. Если сеть флаппает, этот таймер увеличивается до 10 секунд. Также есть и другие таймеры, связанные с пересчетом LSA. Конечно, есть guide, где можно настроить конвергенцию меньше, чем в одну секунду, но это нужно делать очень аккуратно.
2. Это уже было так реализовано, и переделывать все филиалы не было возможности в связи со сроками. Конечно, было 3 общих L3VPN облака (оператора). У каждого филиала было как минимум 2 оператора, которые доходили до ЦОД. Каналы в филиалах равнозначны. А сами туннели нужны для шифрования, без них никак в Банках.
А в чем ее заплесневелость? Cisco с IWAN до сих пор продвигает DMVPN.
3. Там 2 типа GRE. Первые через интернет, просто с внешних интерфейсов. Вторые GRE специально сделаны через всю сеть Банка iBGP (Main)<->EiGRP (Main+DR)<->статика (DR). Таким образом, проверяется вся связность между ЦОД внутри и во вне сети заказчика, чтобы исключить все false positive и true negative описанные выше сценарии.
Такой проблемы с траблшутингом не будет, т.к. второй EIGRP процесс – это по сути overlay сеть. В той цепочке EIGRP процессы разные. И на практике все оказалось не так сложно.
4. Даже, если мы бы договорились отправлять операторам по /25, а они в аплинкам отправляли /24, это нам не помогло бы.
· У заказчика уже используется более половины доступных адресов для Main ЦОД.
· Представьте ситуацию. Часть интернет-клиентов прилетает к оператору А и попадает в основной ЦОД. Если канал этот падает, то оператор начинает перенаправлять всех клиентов в DR ЦОД. А вычислительные мощности переезжать не должны. Пришлось бы тогда делать заворот интернет потока из DR ЦОД в Main ЦОД обратно. Ведь клиент будет продолжать прилетать к оператору А. Таким образом, сильно возрастают задержки для бизнес приложений, т.к. DR в другом городе. Да и схема тоже усложняется.
з.ы. Все схемы рисовались в Ms Visio.
Расскажите, что у вас планируется с каналами связи? Как будет достигаться отказоустойчивость от случайных раскопов оптики веселыми трактористами и выгорания коллекторов? Какая политика по присутствию сторонних операторов связи в ЦОД?
В «Авантаже» будет обеспечена возможность любому оператору связи организовать два физически независимых ввода по ВОЛС. ЦОД полностью открыт к размещению у себя точек присутствия сторонних операторов. Если будет необходимость у арендаторов в услугах связи какого-то конкретного оператора, то вход на телекоммуникационную площадку ЦОДа будет обеспечен ТУ. Заказчики получат того оператора, которого пожелают. Наше присутствие будет на всех основных узлах обмена трафиком в Москве.
Понятно, что проще сдавать машинные залы либо стойкоместа целиком, но будет ли у вас поюнитовая «розница»?
Во-первых, есть часть услуг, которые непосредственно связаны с поюнитовой арендой. Например, размещение оборудования операторов связи и клиентов в кроссовых помещениях и других технологически разделяемых зонах.
Во-вторых, если будет выявлена необходимость в поюнитовой аренде пространства ЦОД, то, вероятнее всего, ею будет заниматься отдельный сервис-провайдер.
Не боитесь, что ощутимая удаленность от Москвы станет отпугивающим фактором для некоторых клиентов?
Удалённость иллюзорная! В реальности, добраться до ЦОД Авантаж (находится в 9 км от МКАД) в рабочие время проще, чем до некоторых ЦОД, расположенных внутри МКАД.
Планируете ли вы сдавать часть помещения под офисы клиентов для размещения дежурных бригад клиента, например?
Планируем, для этого построен 4-х этажное административное здание.
Что вы думаете на счёт четвёртого корпуса DataLine Nord? Как бы вы охарактеризовали ваш ЦОД относительно, например, ДатаЛайновского на Коровинском шоссе?
Наличие нормальных конкурентов — путь к индустриальному развитию.
Земля, она в каком правовом статусе? А то были ЦОД, которые были построены на территориях с мутными договорами субаренды и на личных договорённостях, в большинстве случаев это однажды оканчивалось спешным переездом ЦОД.
В кадастровых документах точно определен статус объекта — Центр хранения и обработки данных — ЦОД «Авантаж».