Комментарии 14
Очень качественный учебный материал, отличное последовательное изложение.
Видна рука методиста!
Видна рука методиста!
Гнетущая тишина в комментах пугает, хотя и объяснима. Развею её перечислением достоинств поста и его авторов.
Хотя материал и нельзя назвать глубоким (это правильно, иначе каждую лекцию пришлось бы растянуть еще часа на 2), но он обладает важнейшими достоинствами учебных программ — последовательностью изложения и широтой охвата. Освещены практически все проблемы разработки и эксплуатации. Любой специалист найдёт для себя что-то полезное если не в своей области, то в смежной.
А для не-специалистов — прекрасный способ составить блицкрижное представление о предметной области, причем не обязательно связанной с highload.
Хотя материал и нельзя назвать глубоким (это правильно, иначе каждую лекцию пришлось бы растянуть еще часа на 2), но он обладает важнейшими достоинствами учебных программ — последовательностью изложения и широтой охвата. Освещены практически все проблемы разработки и эксплуатации. Любой специалист найдёт для себя что-то полезное если не в своей области, то в смежной.
А для не-специалистов — прекрасный способ составить блицкрижное представление о предметной области, причем не обязательно связанной с highload.
Гнетущая тишина в комментах пугаетТссс… Мы внимательно смотрим и слушаем лекции :-)
Судя по комментарию вы уже ознакомились с материалами. Не могли бы вы подсказать — они преимущественно теоретического характера или же имея бекграунд в веб разработки и знания базового синтаксиса Java(Kotlin) позволит собрать pet project?
Ниже в комментарии приведены ссылки на варианты курсового проекта студентов Технополиса и кафедры КСиПТ ФТК СПбГПУ. В результате почти у всех получился работоспособный распределённый KV storage.
Уберите, пожалуйста, из плейлиста скрытый ролик (номер шесть).
Я начал смотреть — вводная лекция полна ошибок. Лектор привирает/перевирает для нарратива похлеще экскурсовода (например, часть про PUE — вообще ахинея, т.к. львиная доля потерь приходилась/приходится на охлаждение, а он рассказывает про конверторы).
Вадим Цесько (@incubos):
Информация про PUE взята из книги “The Practice of Cloud System Administration: Designing and Operating Large Distributed Systems, Volume 2” за авторством Tom Limoncelli, Strata R. Chalup, Christina J. Hogan (ISBN-13: 978-0321943187, ISBN-10: 032194318X) из Appendix B. Исходя из своего опыта (скорее всего, речь идёт о Google) на первое место авторы ставят многократные преобразования электричества между постоянным/переменным током (110В — 12В) и различным вольтажом в серверах (до 4-5 раз). На втором месте — здесь Вы несомненно правы, — идут существенные затраты на отвод тепла. Возможно, где-то дела обстоят иначе.
Что-нибудь ещё вызвало негодование?
Я опирался на свой опыт работы в классических ДЦ, где на охлаждение уходит до 50% электричества. Более того, без продвинутых трюков вроде freecooling'а, чиллеров и т.д., на чистом фреоне с воздушным продувом, легко понять как это происходит. Если у нас сервера в закрытом (почти герметичном) помещении, и генерируют мегаватты, то теплообменом через стены можно пренебречь. Остаются активные системы охлаждения.
Сервера, упсы, блоки питания и т.д. съели мегаватт. Куда он ушёл? В воздух вокруг устройств. Кто этот воздух охлаждает? Кондиционеры. Дальше я помню жалобы инженеров, что фактический EER для кондиционеров оказывается в районе 1 (т.е. для охлаждения мегаватта нужно потратить мегаватт на кондеи).
Я сейчас погуглил, гугль говорит, что EER для бытовых кондеев от 2 до 3. Даже если предположить, что в ДЦ EER 3, то это 300 киловатт на охлаждение мегаватта. С учётом, что процессоры всё-таки греются, а КПД среднего БП в сервере в районе 98-99%, то большая часть электричества уходит всё-таки на нагрев потрошков материнской платы (и диски и т.д.).
Более того, я не совсем понимаю, в каком месте в ДЦ происходит преобразование 12-110В. (я пропущу 110В, пусть 230).
У нас на входе высоковольтная линия. Она проходит (чёрный ящик энергетиков) и мы имеем трёхфазное напряжение, проходящее bypass-модуль и входящее в UPS. ИБП пускает напряжение напрямую, но в случае аварии на входе, переключает его на локальную генерацию с дизелей, а пока дизели стартуют, на батарейки. КПД питания с батареек я пропущу, а в контексте питания от 380В, за вычетом того, что ИБП на себя берёт и на зарядку батарей, электричество идёт напрямую.
Дальше оно по-фазно расходится на линии питания, где и уходит в БП.
Где тут конверсия 230->12->24->230? Я знаю, что у телекомовых людей очень любят использовать 24 или 48 вольт для питания техники, но в современных ДЦ телекомовых людей (с телековомым оборудованием) почти не осталось.
Потому мне и показалось странным, что на первый план выводят преобразования электричества.
Сервера, упсы, блоки питания и т.д. съели мегаватт. Куда он ушёл? В воздух вокруг устройств. Кто этот воздух охлаждает? Кондиционеры. Дальше я помню жалобы инженеров, что фактический EER для кондиционеров оказывается в районе 1 (т.е. для охлаждения мегаватта нужно потратить мегаватт на кондеи).
Я сейчас погуглил, гугль говорит, что EER для бытовых кондеев от 2 до 3. Даже если предположить, что в ДЦ EER 3, то это 300 киловатт на охлаждение мегаватта. С учётом, что процессоры всё-таки греются, а КПД среднего БП в сервере в районе 98-99%, то большая часть электричества уходит всё-таки на нагрев потрошков материнской платы (и диски и т.д.).
Более того, я не совсем понимаю, в каком месте в ДЦ происходит преобразование 12-110В. (я пропущу 110В, пусть 230).
У нас на входе высоковольтная линия. Она проходит (чёрный ящик энергетиков) и мы имеем трёхфазное напряжение, проходящее bypass-модуль и входящее в UPS. ИБП пускает напряжение напрямую, но в случае аварии на входе, переключает его на локальную генерацию с дизелей, а пока дизели стартуют, на батарейки. КПД питания с батареек я пропущу, а в контексте питания от 380В, за вычетом того, что ИБП на себя берёт и на зарядку батарей, электричество идёт напрямую.
Дальше оно по-фазно расходится на линии питания, где и уходит в БП.
Где тут конверсия 230->12->24->230? Я знаю, что у телекомовых людей очень любят использовать 24 или 48 вольт для питания техники, но в современных ДЦ телекомовых людей (с телековомым оборудованием) почти не осталось.
Потому мне и показалось странным, что на первый план выводят преобразования электричества.
Скорее всего, авторы книги подразумевали, что в абстрактном современном ДЦ, расположенном в США, уже используется state-of-the-art охлаждение со всеми возможными трюками и на этом фоне имеет смысл заниматься проблемой лишнего преобразования энергии, для чего, в свою очередь, приходится заказывать/разрабатывать кастомные платформы и шасси. Данный пример про оптимизацию преобразования энергии приведён лишь для иллюстрации подходов, используемых в погоне за оптимизацией PUE.
Вы правы: если погружаться в особенности ДЦстроения, всё гораздо сложнее, не так однозначно и достойно отдельной лекции или даже не одной.
Спасибо за развёрнутый комментарий.
Вы правы: если погружаться в особенности ДЦстроения, всё гораздо сложнее, не так однозначно и достойно отдельной лекции или даже не одной.
Спасибо за развёрнутый комментарий.
Если кому-то будет интересно, то курсовой проект лежит здесь.
Различные варианты решений можно посмотреть среди закрытых pull request'ов.
Различные варианты решений можно посмотреть среди закрытых pull request'ов.
Пока вводную лекцию посмотрел.Парень очень круто рассказывает =)Интересно, затягивает.Я бы сказал что у него талант.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Лекции Технополиса. Проектирование высоконагруженных систем (осень 2017)