Главное чтобы было четкое понимание для чего это все.
Так вот экспертизы-то может и не хватать как раз. А прикручивать новомодный стэк просто потому что IT-директор/руководство захотел — сомнительное удовольствие.
Точных данных от Яндекса я не нашёл, к сожалению, разве что вспоминается что-то из блога про температуры ЦОДа от -20°C до +25°C. На практике же серверы и самые горячие компоненты (GPU/СPU) не троллят при температурах входящего воздуха до 35°C (хотя оптимальная ниже, градусов так 15-27) .
Скорее всего, они следуют стандарту ASHRAE TC 9.9 2011 (рекомендации для ЦОДов). Там есть класс A1, а это примерно 15–32°C. В Мянтсяля средняя температура летом 20°C, зимой бывает ниже -5°C. Так что входящий воздух почти всегда ниже 32°C. Слишком холодный (ниже нуля) подогревают отработанным теплом от серверов, слишком горячий охлаждают увлажнением или активной работой вентиляторов. Думаю, что их допуски где-то в пределах 0–35°C, а комфортная и самая экономичная зона где-то на уровне 10–25°C
По поводу фильтров, я думаю, что они используют несколько ступеней фильтров класса MERV 11–13 (аналог F7–F9, пыль, пыльца, аэрозоли, 0.3–1 мкм), а до этого грубую очистку класса G4 (пыль, листья, жучки-паучки, ячейки по 1 мм примерно). В целом воздух в Мянтсяля чистый, вокруг леса, крупных производств нет, так что пыльца и морской воздух — главные проблемы. Влажность тоже отличная — 40–60% большую часть года.
Если хотите сделать что-то похожее в своей серверной или дома, то берите фильтр для HVAC-систем (F7). А комфортная температура — 10–25°C (0-35 предел).
Здание спроектировано в форме крыла самолёта (работа инженеров Royal Haskoning). Ветер и форма крыла создают нужное давление для циркуляции воздуха внутри без доп затрат энергии (в зоне выхлопа создаётся небольшое разрежение).
Входные отверстия для холодного воздуха направлены на преобладающие ветра, а выходные на зону пониженного давления сзади (что и снижает нагрузку на вентиляторы). Разумеется, есть система система фильтрации входящего воздуха. Активные вентиляторы обычно включают (и увлажняют воздух), когда ветра недостаточно, но это всё равно сильно дешевле, чем кондиционеры или чиллеры.
В Финляндии холодно большую часть года, так что фрикулинг работает эффективно 8–9 месяцев.
Я не совсем точно выразился в заголовке. PUE 1.5–2.0 — это про современное воздушное охлаждение с вентиляторами и CRAC. А про пассивное охлаждение — это скорее исторический экскурс, так как в современных плотных ЦОДах его почти нет. Сегодня почти все серверы и сетевое оборудование работают как минимум на вентиляторах. Чисто пассивное охлаждение в условиях ЦОДа почти не встречается из-за высоких нагрузок и плотности. Но для старых систем — да, в теории было бы 1.1–1.3.
В ранних Эльбрусах-2С+? Даже там там регистры общего назначения были 64-битными (как и всегда в Эльбрусах). Вещественные (FPU), да, действительно были 80-битными.
Здесь написана полная ерунда. Ничего такого в Эльбрусе нет - там классический статический VLIW, который стоппится в случае невозможности исполнить все инструкции в бандле. Никакого микрокода и динамического планирования там нет, непонятно, откуда вы взяли эту ересь.
Чтобы избежать антизависимостей, которые которые останавливают выполнение команд в бандле, у Эльбруса есть явное переименование регистров (тут по ссылке это базированные регистры). Процессор использует цикл переименования (вращение окна регистров), что позволяет следующей итерации цикла использовать новый регистр без конфликта. Переименование программное, управляется компилятором.
В реальном мире у алгоритмов обычно нет глубокого внутреннего параллелизма и по этому эффективно загружать вычислительные блоки VLIW не получится.
В обработке сигналов, видеокодировании и других предсказуемых задачах довольно часто встречается глубокий параллелизм. Поэтому VLIW и живёт в DSP, GPGPU, специализированных вычислениях.
Второе - для создания эффективного кода недостаточно только исходников. Потому что по ним не понятно какие данные и в каком объёме будут обрабатываться. Вот цикл по всей коллекции. А сколько там элементов? Десять или миллиард? От этого зависит какой код будет наиболее эффективным. Суперскалярные процессоры худо-бедно умеют на лету перестраиваться под текущие данные. VLIW - нет.
Тут согласен с вами :) Поэтому и живём с суперскалярными процессорами.
Просто несколько risc-инструкций (компилятором) засовываются в одну длинную инструкцию что позволяет их за один такт считывать, но они не исполняются за один такт.
Это не так. Инструкции могут исполняться за один такт, если блоки процессора правильно загружены (а это уже зависит от зависимостей и уровня параллелизма в коде). Например, если у VLIW-процессора 4 блока ALU, а одно длинное слово содержит 4 арифметические операции, то все эти операции будут выполняться параллельно в один такт. Поэтому, собственно, VLIW-архитектура и зависит так сильно от компилятора, который должен правильно упаковывать инструкции.
Повысить по сравнению с чем? Если по сравнению с голыми последовательными процессорами - да, а суперскаляры тоже исполняют инструкции параллельно и по сравнению с ними однозначно можно говорить только про более лучшую энергоэффективность.
VLIW вполне себе может выигрывать суперскаляра в предсказуемых, хорошо оптимизированных задачах (DSP, мультимедиа, графика). Исполнение нескольких инструкций за такт (если компилятор справился) даёт преимущество при прочих равных.
Это определение везде используют, а вот статья от NASA аж 2014 года, где "исследователям удалось телепортировать информацию о квантовом состоянии фотона". Другой вопрос, что классический канал связи нужен, но про это я в статье писал:
К великому сожалению, нужен классический канал связи, а это наша любимая скорость света.
Как бы нет. Возможная точность GPS в реальных условиях в районе 0,7 метра. Но бытовые устройства могут грешить до 5 метров, а если надо до 100 метров или даже километра. В отдельных случаях километров 20, потому что ну очень надо.
Я скорее про средний бытовой показатель говорил. Сейчас точность зависит от качества сигнала, геометрии спутника, погодных условий, многолучевой интерференции, качества приёмника и т.д. Средний показатель точности GPS в районе 2-5 метров, его можно улучшить двухчастотными приёмниками и различными системами. Квантовые технологии в теории доведут именно средний бытовой показатель до сантиметров.
И чем мощнее/дешевле чипы, тем больше будет считаться локально.
А значит и в дата-центре они будут мощнее/дешевле, помножим на быструю 6G/7G сеть будущего и CDN-узлы. Облачные вычисления вполне могут стать обычным будущим (мне оно тоже не сильно нравится).
когда ИИ будет писать на ассемблере под каждую индивидуальную железку
И всё равно такая оптимизация конечна, а ИИ только ускорит достижение этого потолка.
Пока что всё плохо настолько, что даже непонятно, а не тупиковая ли это ветвь.
Поэтому я и назвал в статье КК — прототипами. Квантовое превосходство должно стать не просто массовым, но и — самое главное — полезным. Тут только гадать на кофейной гуще, но силы в это дело вкладываются огромные, а бигтех не просто так деньги вливает (значит ожидает увидеть реальные продукты и прибыль в обозримом будущем).
Да, здесь скорее отсылка к предыдущим статьям, поэтому и рекомендую во введении краем глаза их глянуть — там я подробно разбирал, как ARM росла семимильными шагами, сейчас же рост сильно замедлился
А в случае GPT они даже сами не сразу поняли, что натворили, и что выкатили.
Насколько я знаю, в OpenAI изначально собирали команду идейных людей, которые целенаправленно создавали ИИ с чёткой целью прийти к чему-то вроде GPT. GPU и новаторский подход "трафнсформера" позволили им создать это. Они явно были рады и воодушевлены, но сюрпризом для команды это не стало кмк.
Чисто сам факт существования и работы GPT делает примерно такой же переворот в ML и куче смежных областей.К чему он приведет - никто не знает....
...Код пишет? Хреновастенько но иногда работающий без правок.
Общение? Уже умеет. Часто это более формальное общение но тем не менее.
Никто и не спорит с этим :) GPT-4 крут, силён и могуч, API открывают двери для крутых технологий, особенно в IoT и носимой электронике. И таки да, штука востребована, однако на 2024 год, как я писал в статье, только 4% населения будут пользоваться инструментами ИИ.
Тут вот какое дело. В нынешнем виде GPT — не предшественник AGI, а просто генеративная модель с триллионом параметров и крутым и понятным функционалом. Но в какую сторону нужно двигаться, чтобы прийти к AGI, пока никто не знает на 100%, но судя по всему курс выбрали на триллионные дата-центры и кластеры с десятками миллионов GPU. И уже от этих результатов будут отталкиваться.
Так вот экспертизы-то может и не хватать как раз. А прикручивать новомодный стэк просто потому что IT-директор/руководство захотел — сомнительное удовольствие.
Тот самый дядь Гриша с паяльником, что я описал в статье :)
Вот прям жиза :)
Точных данных от Яндекса я не нашёл, к сожалению, разве что вспоминается что-то из блога про температуры ЦОДа от -20°C до +25°C. На практике же серверы и самые горячие компоненты (GPU/СPU) не троллят при температурах входящего воздуха до 35°C (хотя оптимальная ниже, градусов так 15-27) .
Скорее всего, они следуют стандарту ASHRAE TC 9.9 2011 (рекомендации для ЦОДов). Там есть класс A1, а это примерно 15–32°C. В Мянтсяля средняя температура летом 20°C, зимой бывает ниже -5°C. Так что входящий воздух почти всегда ниже 32°C. Слишком холодный (ниже нуля) подогревают отработанным теплом от серверов, слишком горячий охлаждают увлажнением или активной работой вентиляторов. Думаю, что их допуски где-то в пределах 0–35°C, а комфортная и самая экономичная зона где-то на уровне 10–25°C
По поводу фильтров, я думаю, что они используют несколько ступеней фильтров класса MERV 11–13 (аналог F7–F9, пыль, пыльца, аэрозоли, 0.3–1 мкм), а до этого грубую очистку класса G4 (пыль, листья, жучки-паучки, ячейки по 1 мм примерно). В целом воздух в Мянтсяля чистый, вокруг леса, крупных производств нет, так что пыльца и морской воздух — главные проблемы. Влажность тоже отличная — 40–60% большую часть года.
Если хотите сделать что-то похожее в своей серверной или дома, то берите фильтр для HVAC-систем (F7). А комфортная температура — 10–25°C (0-35 предел).
Здание спроектировано в форме крыла самолёта (работа инженеров Royal Haskoning). Ветер и форма крыла создают нужное давление для циркуляции воздуха внутри без доп затрат энергии (в зоне выхлопа создаётся небольшое разрежение).
Входные отверстия для холодного воздуха направлены на преобладающие ветра, а выходные на зону пониженного давления сзади (что и снижает нагрузку на вентиляторы). Разумеется, есть система система фильтрации входящего воздуха. Активные вентиляторы обычно включают (и увлажняют воздух), когда ветра недостаточно, но это всё равно сильно дешевле, чем кондиционеры или чиллеры.
В Финляндии холодно большую часть года, так что фрикулинг работает эффективно 8–9 месяцев.
Тоже верно, конвекции недостаточно :)
Я не совсем точно выразился в заголовке. PUE 1.5–2.0 — это про современное воздушное охлаждение с вентиляторами и CRAC. А про пассивное охлаждение — это скорее исторический экскурс, так как в современных плотных ЦОДах его почти нет. Сегодня почти все серверы и сетевое оборудование работают как минимум на вентиляторах. Чисто пассивное охлаждение в условиях ЦОДа почти не встречается из-за высоких нагрузок и плотности. Но для старых систем — да, в теории было бы 1.1–1.3.
В ранних Эльбрусах-2С+? Даже там там регистры общего назначения были 64-битными (как и всегда в Эльбрусах). Вещественные (FPU), да, действительно были 80-битными.
Вот пример динамического планирования в Эльбрусе: "https://елбрус.рус/руководство-по-эффективному-программированию-на-платформе-эльбрус"
Чтобы избежать антизависимостей, которые которые останавливают выполнение команд в бандле, у Эльбруса есть явное переименование регистров (тут по ссылке это базированные регистры). Процессор использует цикл переименования (вращение окна регистров), что позволяет следующей итерации цикла использовать новый регистр без конфликта. Переименование программное, управляется компилятором.
В обработке сигналов, видеокодировании и других предсказуемых задачах довольно часто встречается глубокий параллелизм. Поэтому VLIW и живёт в DSP, GPGPU, специализированных вычислениях.
Тут согласен с вами :) Поэтому и живём с суперскалярными процессорами.
Это не так. Инструкции могут исполняться за один такт, если блоки процессора правильно загружены (а это уже зависит от зависимостей и уровня параллелизма в коде). Например, если у VLIW-процессора 4 блока ALU, а одно длинное слово содержит 4 арифметические операции, то все эти операции будут выполняться параллельно в один такт. Поэтому, собственно, VLIW-архитектура и зависит так сильно от компилятора, который должен правильно упаковывать инструкции.
VLIW вполне себе может выигрывать суперскаляра в предсказуемых, хорошо оптимизированных задачах (DSP, мультимедиа, графика). Исполнение нескольких инструкций за такт (если компилятор справился) даёт преимущество при прочих равных.
Это определение везде используют, а вот статья от NASA аж 2014 года, где "исследователям удалось телепортировать информацию о квантовом состоянии фотона". Другой вопрос, что классический канал связи нужен, но про это я в статье писал:
Это уже что-то для сверхцивилизаций, мы для них — обезьяны с палками, даже если это человечество спустя тысячи лет :)
Я скорее про средний бытовой показатель говорил. Сейчас точность зависит от качества сигнала, геометрии спутника, погодных условий, многолучевой интерференции, качества приёмника и т.д. Средний показатель точности GPS в районе 2-5 метров, его можно улучшить двухчастотными приёмниками и различными системами. Квантовые технологии в теории доведут именно средний бытовой показатель до сантиметров.
А значит и в дата-центре они будут мощнее/дешевле, помножим на быструю 6G/7G сеть будущего и CDN-узлы. Облачные вычисления вполне могут стать обычным будущим (мне оно тоже не сильно нравится).
И всё равно такая оптимизация конечна, а ИИ только ускорит достижение этого потолка.
Поэтому я и назвал в статье КК — прототипами. Квантовое превосходство должно стать не просто массовым, но и — самое главное — полезным. Тут только гадать на кофейной гуще, но силы в это дело вкладываются огромные, а бигтех не просто так деньги вливает (значит ожидает увидеть реальные продукты и прибыль в обозримом будущем).
Это буквально определение квантовой телепортации: "The quantum state of a particle can be transmitted from one location to another without physically moving the particle."
Нам нужны производства, фабрики, технологии литографии, вот что самое главное, но да перспективные разработки есть :)
Всё верно, мысль в этом была
Спасибо, значит и предыдущие статьи из цикла должны зайти :)
Да, здесь скорее отсылка к предыдущим статьям, поэтому и рекомендую во введении краем глаза их глянуть — там я подробно разбирал, как ARM росла семимильными шагами, сейчас же рост сильно замедлился
Насколько я знаю, в OpenAI изначально собирали команду идейных людей, которые целенаправленно создавали ИИ с чёткой целью прийти к чему-то вроде GPT. GPU и новаторский подход "трафнсформера" позволили им создать это. Они явно были рады и воодушевлены, но сюрпризом для команды это не стало кмк.
Никто и не спорит с этим :) GPT-4 крут, силён и могуч, API открывают двери для крутых технологий, особенно в IoT и носимой электронике. И таки да, штука востребована, однако на 2024 год, как я писал в статье, только 4% населения будут пользоваться инструментами ИИ.
Тут вот какое дело. В нынешнем виде GPT — не предшественник AGI, а просто генеративная модель с триллионом параметров и крутым и понятным функционалом. Но в какую сторону нужно двигаться, чтобы прийти к AGI, пока никто не знает на 100%, но судя по всему курс выбрали на триллионные дата-центры и кластеры с десятками миллионов GPU. И уже от этих результатов будут отталкиваться.