У меня еще массив пулов сортируется по их текущему весу свободного места (что логично) и этот алгоритм выбирает самый «тяжелый», по свободному месту, пул, который «легче» некоторого случайного числа. В высоконагруженных системах это может быть фатально если пул сейчас отдает файлы большому количеству клиентов и ему не повезло еще и принимать файл.
В этом случае гораздо эффективнее работает классическая схема (учитывающая текущую загрузку пула), в которой «вес» свободного места выставлен в ноль или близок к нулю.
А можо поподробнее про контроллеры? Не Назой единой же заполнена ниша. Сравнение возможностей итд.
Я вот всегда думал что бОльшую часть работы выполняют датчики и то на сколько сильно модель мешает им работать своей вибрацией.
Я вот свой коптер (диагональ без пропеллеров 1000мм) построил с OpenSource MultiWII и ардуиной (потому что понятно как работает и если что-то не так можно легко подправить). Камеру на него пока не ставил и сейчас нахожусь в состоянии пересборки рамы с T образного профиля на квадратный и сравнения результатов.
Я сфотографировал то, что демонстрировалось на столе.
На столе эволюция ленточных картриджей, со времен открытия центра до сегодняшних картриджей на 4Pb.
И старый телевизор, который использовался для наблюдения за роботами, которые таскают ленты внутри библиотек (сейчас выводит картинку с камеры внутри IBM библиотеки, кажется).
Согласно модели хранения данных (да и вообще вычислительной модели) LHC, все разделено на несколько уровней (tier).
0 уровень (рядом с детектором, непосредственно CERN) сбрасывает все на диски — это такой кэш детекторов и на лентах хранит полную копию всех данных на лентах.
1 уровень — 11 ( у нас в России делают 12 из двух частей) вычислительных центров. Там данные дублируются, но уже каждый вычислительный центр хранит у себя часть данных. И пачками они вынимаются для анализа. Туда же кладется все что проанализировано. При этом данные находятся минимум на двух tier-1 центрах. Те tier-2 ходит за данными не в CERN, а в свой региональный tier-1.
2 и ниже следующие уровни — центры поменьше имеют только диски (в отличии от tier-1, на которых и диски, и ленты) и на них выкачиваются данные из tier-1 для анализа. Если это все добро брать из CERN, то там ни один линк не выдержит.
Те на лентах хранится ВСЕ, что наработано за все время работы БАК. Это очень дофига. HDD не могут дать такой плотности хранения данных.
Ну и простой пример: один ряд, 12(если я правильно помню) стоек дает 10 петабайт (опять по памяти) ленточного хранилища. Те, грубо, 1Pb на стойку. Дисковые серверы 2-3 юнитовые, при этом, что бы дать им возможность нормально охлаждаться, плотно стойку набить нельзя. Пусть 10 серверов в стойке, 16 дисков (реально 14, ибо RAID) по 2Tb. Это «всего» 280Tb, в лучшем случае.
хех… Надо статью про компьютинг LHC изнутри написать…
А в музее были (огромная сфера рядом с АТЛАСом)?
Еще очень впечатляет двухэтажный дата центр (не знаю, делают ли экскурсии туда): зал по пощади сопоставим с ангаром детекторов. На верхнем уровне ленты (с камерами — можно смотреть как роботы бегают и «эволюцией» лент) и сервисная инфраструктура, с изолированными горячими коридорами счетные узлы и дисковое хранилище. А на нижнем счетные узлы и водяное охлаждение. Как мне рассказал человек, ответственный за компьютинг Алисы, мощности воздушки не хватает, но воду на верхний уровень ставить нельзя, ибо если случится что сейчас, почти ничего не пострадает, а а с водянкой наверху затопит все что внизу.
А почему используется вариант с прогонкой трафика через роутер? Не проще ли сразу весь трафик гнать на linux машину, выставив ее как default GW?
Роутер тогда будет использоваться просто как WiFi-eth мост. И его дополнительная настройка не нужна будет.
Если у вас включено определения положение при помощи WiFi (или как там оно зовется по нормальному), то тут, вероятно, запускается два процесса:
1. Смартфон интересуется у Гула где находится сети, которые он видит;
2. Смартфон рассказывает Гуглу где находятся сети которые он видит.
У меня еще массив пулов сортируется по их текущему весу свободного места (что логично) и этот алгоритм выбирает самый «тяжелый», по свободному месту, пул, который «легче» некоторого случайного числа. В высоконагруженных системах это может быть фатально если пул сейчас отдает файлы большому количеству клиентов и ему не повезло еще и принимать файл.
В этом случае гораздо эффективнее работает классическая схема (учитывающая текущую загрузку пула), в которой «вес» свободного места выставлен в ноль или близок к нулю.
www.dcache.org/manuals/Book-2./Book-fhs.shtml#cf-pm-classic
А диски с ядрами соотносятся как 1,5-2:1.
Ленты с дисками 1:1 для Tier1 и 3:1 для Tier0.
Спасибо за идею. Соотношения мощностей сайтов Tier-1 вечером дорисую, хотя WLCG rebus дает вполне наглядные цифры.
За картинками вам нужно к andy_p сходить. Он 4 поста с фотографиями про LHC сделал.
Я вот всегда думал что бОльшую часть работы выполняют датчики и то на сколько сильно модель мешает им работать своей вибрацией.
Я вот свой коптер (диагональ без пропеллеров 1000мм) построил с OpenSource MultiWII и ардуиной (потому что понятно как работает и если что-то не так можно легко подправить). Камеру на него пока не ставил и сейчас нахожусь в состоянии пересборки рамы с T образного профиля на квадратный и сравнения результатов.
На столе эволюция ленточных картриджей, со времен открытия центра до сегодняшних картриджей на 4Pb.
И старый телевизор, который использовался для наблюдения за роботами, которые таскают ленты внутри библиотек (сейчас выводит картинку с камеры внутри IBM библиотеки, кажется).
0 уровень (рядом с детектором, непосредственно CERN) сбрасывает все на диски — это такой кэш детекторов и на лентах хранит полную копию всех данных на лентах.
1 уровень — 11 ( у нас в России делают 12 из двух частей) вычислительных центров. Там данные дублируются, но уже каждый вычислительный центр хранит у себя часть данных. И пачками они вынимаются для анализа. Туда же кладется все что проанализировано. При этом данные находятся минимум на двух tier-1 центрах. Те tier-2 ходит за данными не в CERN, а в свой региональный tier-1.
2 и ниже следующие уровни — центры поменьше имеют только диски (в отличии от tier-1, на которых и диски, и ленты) и на них выкачиваются данные из tier-1 для анализа. Если это все добро брать из CERN, то там ни один линк не выдержит.
Те на лентах хранится ВСЕ, что наработано за все время работы БАК. Это очень дофига. HDD не могут дать такой плотности хранения данных.
Ну и простой пример: один ряд, 12(если я правильно помню) стоек дает 10 петабайт (опять по памяти) ленточного хранилища. Те, грубо, 1Pb на стойку. Дисковые серверы 2-3 юнитовые, при этом, что бы дать им возможность нормально охлаждаться, плотно стойку набить нельзя. Пусть 10 серверов в стойке, 16 дисков (реально 14, ибо RAID) по 2Tb. Это «всего» 280Tb, в лучшем случае.
хех… Надо статью про компьютинг LHC изнутри написать…
Еще очень впечатляет двухэтажный дата центр (не знаю, делают ли экскурсии туда): зал по пощади сопоставим с ангаром детекторов. На верхнем уровне ленты (с камерами — можно смотреть как роботы бегают и «эволюцией» лент) и сервисная инфраструктура, с изолированными горячими коридорами счетные узлы и дисковое хранилище. А на нижнем счетные узлы и водяное охлаждение. Как мне рассказал человек, ответственный за компьютинг Алисы, мощности воздушки не хватает, но воду на верхний уровень ставить нельзя, ибо если случится что сейчас, почти ничего не пострадает, а а с водянкой наверху затопит все что внизу.
Роутер тогда будет использоваться просто как WiFi-eth мост. И его дополнительная настройка не нужна будет.
1. Смартфон интересуется у Гула где находится сети, которые он видит;
2. Смартфон рассказывает Гуглу где находятся сети которые он видит.