Хотя может и нет. На самом деле я даже не уверен что она работает «медленно» — может быстрее эта задача в принципе не решается. Но все же, хочется ускорить.
— Те у Вас даже требований по необходимой производительности/отзывчивости системы нет? (возможный вариант продолжения разговора).
На мой взгляд, единственно верный вариант продолжения разговора в случае вопроса о медленности — это узнать критерий этой самой медленности и условия измерения. И только после этого можно приступать к анализу ибо велик риск варианта, что не устраивает latency, а до сервиса ~13000км по кратчайшему пути в трехмерном пространстве, что даже еще не изобретенная нейтринная связь не поможет получать результат быстрее чем за 44мс :)
Но и совсем не простая.
Во первых мало что из коробки умеет так делать, во вторых такая сегментация данных иногда нежелательна, а иногда и невозможна, но самая большая проблема в том, что неэффективность нарастает с ростом расстояния(все проблемы от скорости света) и в результате многополосная передача может перестать давать тот-же эффект из-за взаимовлияния потоков друг на друга.
По этому сейчас вполне развиваются оба направления и то, как передавать данные параллельно и то, как увеличить эффективность передачи в каждом соединении.
В это сложно поверить, но Амазон — это далеко не только облачные сервис. Это в первую очередь сервисы для своих внутренних нужд и что-то мне подсказывает, что для себя они и кроссдатацентровую репликацию используют и много чего еще, что для внешних клиентов только за отдельные деньги продается.
Я не теоретик, я практик, и практика моя очень обширна в данных вопросах.
Прошу прощения за нескромный вопрос, но, например?
В очередной раз убеждаюсь, что невежество за версту видно, но в очередной раз я искренне надеялся, что это просто незнание фактов, а не их активное отрицание.
Если продолжить логику, то среди обывателей прошло незамеченным подавляющее большинство событий статьи, но она почему-то существует…
Вопрос в другом. Сколько времени займет такая миграция по сети?
Если у нас 10G между ЦОДами в соседних комнатах, то перекачивать данные на такой скорости не проблема, но если ЦОДы в разных городах, то получить ~10G полезной скорости становится задачей нетривиальной. Вот и получается в результате, что записать диски (ленты) и перевести их на другую площадку грузовиком или самолетом может оказаться быстрее, даже в случае если это репликация.
Когда же мы говорим о больших передачах данных, например, между дата центрами, этот вариант не пройдет :)
Но, тем не менее, это не мешает использовать данный метод и крупным компаниями для передачи данных между датацентрами :)
К сожалению, я вынужден остаться голословным, так как этот удивительный для меня факт я узнал из личной беседы с европейскими коллегами о смысле жизни в системах передачи данных.
Спасибо за ссылку!
Я изначально где-то час исследовал их сайт на предмет сравнений, описаний и т.д., но только после Вашей ссылки заметил надпись «Free Trial» прямо в меню основного сайта.
Думаю да. На канале 1GE разные алгоритмы по скорости передачи данных уже могут отличаться раза в 2-3.
Я сейчас использую алгоритм illinois, правда задачи у меня не совсем стандартные серверные.
У меня при последнем тестировании illinois и yeah давали результаты практически совпадающие в пределах погрешности, чуть хуже был westwood, остальные значительно хуже. Канал 1GE, используемый в тестах rtt min/avg/max/mdev = 5.511/5.520/5.553/0.048 ms.
Да нет, вроде пишут, что именно остудил Землю, а не просто мог остудить: http://www.thefreelibrary.com/Mt.+Pinatubo's+cloud+shades+global+climate.-a012467057
А на графике, на который я сослался, достаточное разрешение для того, чтобы заметить полугодовое проседание температуры на 0,4 градуса (так как весь размах графика всего 1 градус).
Посмотрите реконструкции температур за последнюю 1000 лет сейчас самая высокая температура.
А ничего, что в эту последнюю тысячу лет у нас был небольшой ледниковый период? Или нормальная температура по Вашему мнению совпадает с температурой во время годов без лета? Ох не хотел бы я сейчас наблюдать хорошие заморозки в середине лета. Однако, если посмотреть на оценки температуры в так называемом климатическом оптимуме, то сейчас пока еще холоднее ( upload.wikimedia.org/wikipedia/commons/f/f5/All_palaeotemps.png ) Кстати там же видны сильные колебания температуры за последние пару тысяч лет, которые происходили без массового выделения СО2 человеком.
Однако продолжим про вулканизм. К нашему счастью и к сожалению любителей теории заговора уже во времена точных измерений в 1991 году произошло извержение вулкана Пинатубо, в результате чего наблюдалось уменьшение температуры на 0,5 градуса, однако в графиках upload.wikimedia.org/wikipedia/commons/b/bb/Instrumental_Temperature_Record.svg?uselang=ru данное извержение отсутствует.
Есть еще вот такой график реконструкции температуры: commons.wikimedia.org/wiki/File:Holocene_Temperature_Variations.png?uselang=ru
И где вы услышали что исследовательские группы получают разные результаты? Наоборот данные постоянно подтверждаются
Да собственно хотя-бы в противоречиях тех графиков, которые я привел. Когда разные источники данных показывают диаметрально противоположные результаты это о многом говорит.
Даже не знаю писать ли статью по теме, а то потом срача будет ненамеренно.
Конечно пишите. Только не забудьте рассмотреть версии объясняющие, почему разные источники данных дают диаметрально противоположные результаты.
И, пожалуйста, рассмотрите данные по концентрации водяного пара и метана в атмосфере, так как именно водяной пар дает основной вклад парниковый эффект, на втором месте находится углекислый газ, а на третьем месте метан ( ru.wikipedia.org/wiki/%D0%9F%D0%B0%D1%80%D0%BD%D0%B8%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%B3%D0%B0%D0%B7%D1%8B ).
Проблема в том, что мнение исследовательских групп диаметрально противоположны, а историческая картина вообще говорит, что сейчас на планете холоднее, чем во времена, когда не было ледниковых периодов.
Ну а дальше вступает в работу классический псевдонаучный политический пиар, когда одна точка зрения активно раскручивается в массмедиа (заметьте, без аргументации), а другая точка зрения игнорируется и по этому остается только в рамках научного сообщества, а не в умах людей.
Открытая электропроводка в пластиковых мини-каналах
… Так же, как и с штрабами, возникает проблема совместной прокладки силового и информационного кабелей.
Прокладка силовых и информационных кабелей параллельно в офисных помещениях не представляет проблем, если силовые и информационные кабеля упакованы в металлические гофры, которые в свою очередь упакованы либо в стены, либо в каналы. По желанию гофры можно заземлить, однако практика показывает, что для офисных целей это не обязательно. (Вышесказанное НЕ распространяется на помещения ЦОДов, так как в них допускается максимум пересечение под прямым углом силовых и информационных линий)
Кстати в статье есть существенная ошибка, так как проводка в коробах НЕ является открытой, по этому при подборе проводов нужно смотреть нормативы для закрытой проводки и учитывать сколько кабелей пройдет по одному каналу.
Не побеждает, просто ЦОДы гугла и традиционные ЦОДы — это совершенно ортогональные по бизнес-задачам сооружения.
У Гугла в основном слабосвязанные данные, прекрасно распаралеливающиеся задачи, нет требований к надежности каждого элемента (сдох сервер, пересчитаем независимую задачу на другом) и, как следствие, для них оптимальнее применять много дешевых, обрезанных по самые уши однотипных серверов — расходных материалов.
Однако, даже из этой статьи видно, что Гугл применяет и традиционные энтерпрайзные технологии, такие как бекап данных на ленту. И, я думаю, у них и обычных серверов достаточно для других типов задач…
Перед классическими же ЦОДами стоят совсем другие задачи и, как следствие, совершенно другие решения. А СХД и большие ИБП непосредственно вытекают из сильносвязнных задач. Какой смысл питать только часть сервера банковского билинга, когда он должен либо работать весь, либо лежать весь(а работать должно зеркало в другом ДЦ), а не находиться в заранее непредсказуемом состоянии.
Не 8, а 3, не сдуть атмосферу, а сжечь самолет, не движение литосферных плит, а слишком большие разрушения полигона.
А мощность уменьшили, так как с ракетами была напряженка (их еще не разработали), а при большей мощности самолет бы не успевал улететь, так как даже половинной мощности хватило для того чтобы самолет подгорел снаружи.
А вот идею Сахарова смыть америку сверхмощными термоядерными бомбами Хрущев действительно не поддержал, но это уже совсем другая история…
P.S. Небольшой лаг интернета и я опоздал на 2 минуты. К сожалению из-за этого-же лага не получилось увидеть предыдущий комментарий, который все разъяснял…
Не так дорого железо, как его содержание, по этому горизонтальная масштабируемость — это прекрасно, но и о приложении тоже нужно думать.
Я не говорю о микрооптимизациях, за исключением разве что векторизации кода для современных CPU в некотором классе задач, а о алгоритмических оптимизациях, которые, если хорошо подумать над алгоритмами, могут существенно отсрочить необходимость закупки и содержания дополнительного оборудования.
Боюсь, что на 20% ниже это сильно завышенная оценка. По моим наблюдениям медиана ниже средней раза в 2 а в некоторых отраслях и в 4-5 и более раз… Но медиану никто в официальной статистике не считает, по этому проверить эти наблюдения проблематично.
Так ZFS же вроде полностью транзакционная или я что-то путаю?
Да, до этого там точно его не было, так как ОС работала. Накрылся в основном пул, где была установлена ОС. Правда первопричина скорее всего была в дисках, а из-за них уже и ФС пришла в такое состояние.
— Те у Вас даже требований по необходимой производительности/отзывчивости системы нет? (возможный вариант продолжения разговора).
На мой взгляд, единственно верный вариант продолжения разговора в случае вопроса о медленности — это узнать критерий этой самой медленности и условия измерения. И только после этого можно приступать к анализу ибо велик риск варианта, что не устраивает latency, а до сервиса ~13000км по кратчайшему пути в трехмерном пространстве, что даже еще не изобретенная нейтринная связь не поможет получать результат быстрее чем за 44мс :)
Во первых мало что из коробки умеет так делать, во вторых такая сегментация данных иногда нежелательна, а иногда и невозможна, но самая большая проблема в том, что неэффективность нарастает с ростом расстояния(все проблемы от скорости света) и в результате многополосная передача может перестать давать тот-же эффект из-за взаимовлияния потоков друг на друга.
По этому сейчас вполне развиваются оба направления и то, как передавать данные параллельно и то, как увеличить эффективность передачи в каждом соединении.
Прошу прощения за нескромный вопрос, но, например?
Если продолжить логику, то среди обывателей прошло незамеченным подавляющее большинство событий статьи, но она почему-то существует…
Интерфейс сокетов (Berkeley sockets), который вначале стал стандартом де-факто, а потом переродился в сокеты стандарта POSIX.
Если у нас 10G между ЦОДами в соседних комнатах, то перекачивать данные на такой скорости не проблема, но если ЦОДы в разных городах, то получить ~10G полезной скорости становится задачей нетривиальной. Вот и получается в результате, что записать диски (ленты) и перевести их на другую площадку грузовиком или самолетом может оказаться быстрее, даже в случае если это репликация.
Но, тем не менее, это не мешает использовать данный метод и крупным компаниями для передачи данных между датацентрами :)
К сожалению, я вынужден остаться голословным, так как этот удивительный для меня факт я узнал из личной беседы с европейскими коллегами о смысле жизни в системах передачи данных.
Я изначально где-то час исследовал их сайт на предмет сравнений, описаний и т.д., но только после Вашей ссылки заметил надпись «Free Trial» прямо в меню основного сайта.
Я сейчас использую алгоритм illinois, правда задачи у меня не совсем стандартные серверные.
У меня при последнем тестировании illinois и yeah давали результаты практически совпадающие в пределах погрешности, чуть хуже был westwood, остальные значительно хуже. Канал 1GE, используемый в тестах rtt min/avg/max/mdev = 5.511/5.520/5.553/0.048 ms.
http://www.thefreelibrary.com/Mt.+Pinatubo's+cloud+shades+global+climate.-a012467057
А на графике, на который я сослался, достаточное разрешение для того, чтобы заметить полугодовое проседание температуры на 0,4 градуса (так как весь размах графика всего 1 градус).
А ничего, что в эту последнюю тысячу лет у нас был небольшой ледниковый период? Или нормальная температура по Вашему мнению совпадает с температурой во время годов без лета? Ох не хотел бы я сейчас наблюдать хорошие заморозки в середине лета. Однако, если посмотреть на оценки температуры в так называемом климатическом оптимуме, то сейчас пока еще холоднее ( upload.wikimedia.org/wikipedia/commons/f/f5/All_palaeotemps.png ) Кстати там же видны сильные колебания температуры за последние пару тысяч лет, которые происходили без массового выделения СО2 человеком.
Однако продолжим про вулканизм. К нашему счастью и к сожалению любителей теории заговора уже во времена точных измерений в 1991 году произошло извержение вулкана Пинатубо, в результате чего наблюдалось уменьшение температуры на 0,5 градуса, однако в графиках upload.wikimedia.org/wikipedia/commons/b/bb/Instrumental_Temperature_Record.svg?uselang=ru данное извержение отсутствует.
Есть еще вот такой график реконструкции температуры: commons.wikimedia.org/wiki/File:Holocene_Temperature_Variations.png?uselang=ru
Да собственно хотя-бы в противоречиях тех графиков, которые я привел. Когда разные источники данных показывают диаметрально противоположные результаты это о многом говорит.
Конечно пишите. Только не забудьте рассмотреть версии объясняющие, почему разные источники данных дают диаметрально противоположные результаты.
И, пожалуйста, рассмотрите данные по концентрации водяного пара и метана в атмосфере, так как именно водяной пар дает основной вклад парниковый эффект, на втором месте находится углекислый газ, а на третьем месте метан ( ru.wikipedia.org/wiki/%D0%9F%D0%B0%D1%80%D0%BD%D0%B8%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%B3%D0%B0%D0%B7%D1%8B ).
Ну а дальше вступает в работу классический псевдонаучный политический пиар, когда одна точка зрения активно раскручивается в массмедиа (заметьте, без аргументации), а другая точка зрения игнорируется и по этому остается только в рамках научного сообщества, а не в умах людей.
А вообще есть такой эффект, называется вулканическая зима ( ru.wikipedia.org/wiki/%D0%92%D1%83%D0%BB%D0%BA%D0%B0%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B7%D0%B8%D0%BC%D0%B0 ), из-за которого возникают существенные сомнения в силе антропогенного влияния на изменение климата.
Прокладка силовых и информационных кабелей параллельно в офисных помещениях не представляет проблем, если силовые и информационные кабеля упакованы в металлические гофры, которые в свою очередь упакованы либо в стены, либо в каналы. По желанию гофры можно заземлить, однако практика показывает, что для офисных целей это не обязательно. (Вышесказанное НЕ распространяется на помещения ЦОДов, так как в них допускается максимум пересечение под прямым углом силовых и информационных линий)
Кстати в статье есть существенная ошибка, так как проводка в коробах НЕ является открытой, по этому при подборе проводов нужно смотреть нормативы для закрытой проводки и учитывать сколько кабелей пройдет по одному каналу.
У Гугла в основном слабосвязанные данные, прекрасно распаралеливающиеся задачи, нет требований к надежности каждого элемента (сдох сервер, пересчитаем независимую задачу на другом) и, как следствие, для них оптимальнее применять много дешевых, обрезанных по самые уши однотипных серверов — расходных материалов.
Однако, даже из этой статьи видно, что Гугл применяет и традиционные энтерпрайзные технологии, такие как бекап данных на ленту. И, я думаю, у них и обычных серверов достаточно для других типов задач…
Перед классическими же ЦОДами стоят совсем другие задачи и, как следствие, совершенно другие решения. А СХД и большие ИБП непосредственно вытекают из сильносвязнных задач. Какой смысл питать только часть сервера банковского билинга, когда он должен либо работать весь, либо лежать весь(а работать должно зеркало в другом ДЦ), а не находиться в заранее непредсказуемом состоянии.
А мощность уменьшили, так как с ракетами была напряженка (их еще не разработали), а при большей мощности самолет бы не успевал улететь, так как даже половинной мощности хватило для того чтобы самолет подгорел снаружи.
А вот идею Сахарова смыть америку сверхмощными термоядерными бомбами Хрущев действительно не поддержал, но это уже совсем другая история…
P.S. Небольшой лаг интернета и я опоздал на 2 минуты. К сожалению из-за этого-же лага не получилось увидеть предыдущий комментарий, который все разъяснял…
Я не говорю о микрооптимизациях, за исключением разве что векторизации кода для современных CPU в некотором классе задач, а о алгоритмических оптимизациях, которые, если хорошо подумать над алгоритмами, могут существенно отсрочить необходимость закупки и содержания дополнительного оборудования.
Да, до этого там точно его не было, так как ОС работала. Накрылся в основном пул, где была установлена ОС. Правда первопричина скорее всего была в дисках, а из-за них уже и ФС пришла в такое состояние.