Pull to refresh
  • by relevance
  • by date
  • by rating

Google рассказала о работе кластеров Borg впервые с 2011 года

DevOps *Kubernetes *
image

Google опубликовала несколько материалов, где описывается производительность менеджера кластеров Borg, предшественника Kubernetes — открытого ПО для автоматизации развертывания, масштабирования контейнеризированных приложений и управления ими.
Читать дальше →
Total votes 19: ↑19 and ↓0 +19
Views 7K
Comments 1

10gen — ещё один стартап в области Cloud Computing

High performance *
Сегодня мы поговорим о чём-то высоком… облачном. Да, о новом или, вернее, малоизвестном у нас стартапе, который создал свою платформу для облачных вычислений, хотя и это не совсем уж так точно — это платформа, которая предоставляется как сервис и позволяет получить гибкую и масштабированную среду исполнения для веб-проектов. В чём-то это все похоже на известный всем и уже почти нарицательный Amazon EC2, но и отличается от него существенным образом. Что и как — мы дальше и рассмотрим.

Стартап 10gen предлагает разработчикам свою технологию построения platform-as-a-service, которая позволяет получить гибкую и почти неограниченную по масштабированию платформу (уже сколько раз мы повторили это слово) для развёртывания приложений, которым нужно работать в условиях переменной нагрузки, которая, однако, имеет тенденцию для постоянного роста, которым нужно защищённая и простая платформа, чтобы добавление нового сервера или апгрейд базы данных не вызвал прекращение работы всей системы на несколько часов или суток.
Читать дальше →
Total votes 11: ↑9 and ↓2 +7
Views 1.8K
Comments 1

Caucho Resin — сервер приложений Java/PHP

Java *
Для приложений Java, я имею ввиду, веб-приложений, существует уже достаточное количество серверов, которые уже давно разрабатываются и давно вышли на уровень, достаточный для того, чтобы применять их в самых сложных и ответственных случаях. Думаю, всем знают Apache Tomcat и Jetty — самые известные сервера из списка открытых разработок. Но к этому списку нужно добавить теперь еще и Caucho Resin. В ряде тестов его Pro версия превосходит в производительности Tomcat 6, обладая при этом рядом возможностей «из коробки», которых нет в других серверах или они реализуются при помощи сторонних средств.

И так, Resin — высокопроизводительный HTTP и сервер приложений для Java/PHP приложений, с возможностью масштабироваться и кластеризироваться в начальной конфигурации. Кстати, именно в этом состоит различие между обычной, open-source версией и Pro. В этой версии есть функции автоматического детектирования остановившихся или зависших сессий и рестарта сервера, а также средства мониторинга состояния JVM и потребления памяти. Кластеризация позволяет распределить нагрузку на несколько серверов, при этом сессии будут привязаны к конкретному серверу и мигрируют в фоновом режиме при крахе обслуживающей его ноды. Об этом стоит как то поговорить отдельно, возможно, в отдельной статье — я собираюсь плотно занятся изучением этого сервера и его возможностей, а результат буду публиковать в виде статей.
Читать дальше →
Total votes 11: ↑8 and ↓3 +5
Views 5.7K
Comments 8

Elastic Server On-Demand — мне один виртуальный сервер, два приложения и пиво, пожалуйста!

Website development *
Наша аудитория достаточно профессиональная, чтобы я с самого начала материала стал убеждать вас в пользе и полезности виртуализации. Это сейчас тренд номер один (ну, или, по крайней мере, один из основных) в мире ИТ и это не просто дань моде, а реальная и обоснованная потребность рынка. А теперь вспомните последний раз, когда вы развёртывали виртуализированную инфраструктуру. Например, мой опыт в этом достаточно большой (хотя и односторонний) — я просто люблю иногда тестировать различные ОС и специфические конфигурации приложений, поэтому мне часто приходится развёртывать один или несколько виртуальных серверов. Вот из последних — очень хотел JeOS поставить, специальный дистрибутив Ubuntu, ориентированный на виртуальные среды, однако он никак не хотел даже запускаться после установки. А уж сколько было случаев, когда были сложности с установкой тех или иных программ, обновлений, несовместимости конфигураций — это вообще отдельный разговор. А оказалось, и для этого есть решения. Простое и оригинальное — веб-сервис в стиле web 2.0 (да-да, именно так) для создания и распространения виртуальных серверов, их образов. И так, рассмотрим Elastic Server On-Demand от Cohesive FT.

Читать дальше →
Total votes 27: ↑25 and ↓2 +23
Views 1.5K
Comments 7

Новые курсы в Библиотеке учебных курсов

IT-companies
Библиотека учебных курсов пополнилась новыми курсами:

  • Основы объектного программирования на C# 3.0
  • Технологии построения и использования персональных Windows-кластеров
  • Основы разработки компьютерных игр в XNA Game Studio
  • Сетевая безопасность на основе серверных продуктов Microsoft
  • Основы XAML
  • Основы Microsoft Sharepoint
  • Введение в программную инженерию
  • Методика выполнения курсовых и дипломных работ в составе команды с использованием среды Microsoft Visual Studio Team System
  • Программирование на языке С#: разработка консольных приложений
  • Программирование под Windows в среде Microsoft Visual Studio 2005 на языке C++
  • Управление проектами средствами Microsoft Project
  • Методология внедрения Microsoft Active Directory

Надеемся, эти курсы будут вам полезны в учебе, а кому-то и в преподавании :)

Читать дальше →
Total votes 43: ↑33 and ↓10 +23
Views 2.3K
Comments 15

Домашний Linux-кластер из 20-ти серверов, всего за 1000$

High performance *
Недавно появился миниатюрный Linux-сервер — «Linux сервер в виде блока питания», изготовленный на system-on-chip (SoC) Marvell Sheeva CPU 1.2GHz с ARM-архитектурой.
Этот сервер вроде бы предназначен не для конечных (домашних) пользователей, и тогда возникает вопрос: зачем было этот сервер делать в виде блока питания под обычную домашнюю розетку?
Неужто нельзя было бы сделать его в виде маленького «Лезвия» — «Blade-сервера» для серверной стойки!
Вы только представьте как вы у своего хостера, разместите в стойку маленький Marvell`овский сервер, стоимостью всего 50$. Или же сам Хостер предложит вам новый сервис — размещения вашего сайта на таком маленьком и дешевеньком, но полноценном и независимым от всех соседей, сервере!
Для не очень больших сайтов (наверно до 10 — 20 одновременных сессий, а это ~ до 10 тысяч посетителей в день) его мощности должно вполне хватать (ну может только Flash-диск хотелось бы расширить, хотя бы до 2 — 4 Gb).
А для больших сайтов, надо объединять 100-ни и 1000-чи такие маленьких Blade`ов в единый кластер (чем например Google, обычно у себя занимается).
И каждый ваш сайт тогда от ныне будет иметь «не виртуальный», а свой полноценный — сервер!!!
Читать дальше →
Total votes 73: ↑54 and ↓19 +35
Views 14K
Comments 78

Реинициализация кластера баз данных PostgreSQL

PostgreSQL *

Предмет описываемой проблемы



При работе с базой данных в PostgreSQL необходимо не забывать, в какой локали (locale) был инициализирован кластер БД — так в постгре называется директория (обычно /var/lib/pgsql/data), в которой хранятся данные всех баз этой установки PostgreSQL.

Читать дальше →
Total votes 39: ↑36 and ↓3 +33
Views 26K
Comments 11

Поиск подходящей распределённой кластерной файловой системы

Lumber room
Уважаемое Хабрасообщество!

Хочу просить вашего совета в выборе распределённой кластерной файловой системы, поскольку опыта работы с ними у меня нету, да и сами они достаточно сильно различаются и имеют кучу особенностей. К тому же ещё и ощущается относительный информационный голод в данном направлении — какая либо конкретика просто отсутствует.
Под катом немного информации о том, что я нашел, а так же приглашение к обсуждению темы.
Total votes 8: ↑8 and ↓0 +8
Views 2.3K
Comments 48

Синхронизация двух серверов Apache + MySQL на FreeBSD

System administration *
В данном обзоре я расскажу о реализации кластера состоящего из двух нод с резервированием популярной связки для веб сервера Apache + MySQL + FreeBSD (или любой Linux).
Читать дальше →
Total votes 56: ↑50 and ↓6 +44
Views 15K
Comments 49

ISPserver запустил облачный хостинг

Hosting
imageПриветствую, уважаемые читатели Хабра!
Облачный хостинг в России набирает обороты. Но несмотря на то, что про облачный хостинг написано и сказано уже много, лучше всего его характеризует фраза по мотивам известного афоризма Франсуа де Ларошфуко: «Все о нём говорят, но мало кто его видел». Мы, в свою очередь, следуя доброй традиции «идти в ногу со временем», своевременно реагируя на потребности клиентов и тенденции рынка (в своё время компания ISPserver стояла у истоков появления и развития нового веяния в области хостинга – технологии виртуальных выделенных серверов VDS/VPS) запустили услугу «Облачный хостинг». Мы предлагаем вам попробовать облачный хостинг у нас и самостоятельно оценить все его преимущества.

Читать дальше →
Total votes 44: ↑31 and ↓13 +18
Views 11K
Comments 81

Тестирование производительности кластера под Windows. Linpack, Lizard

High performance *
Здравствуйте,

Сегодняшний пост посвящён деликатной проблеме тестирования производительности кластера. Многие скажут (и будут правы), что, в общем-то, результаты подобных тестов предназначены исключительно для пресс-релизов и отчётности перед TOP500 и практической пользы не имеют. Однако средства тестирования можно применять и для определения узких мест системы. Так, в первом посте речь пойдёт о Linpack & Lizard.

Оглавление:

1) Общие сведения о Linpack
2) Основные параметры Linpack
3) Lizard. Реализация Linpack для Windows-систем
4) Lizard. Оптимизация Linpack для Windows-систем
5) Native-средства для тестирования кластера
Читать дальше →
Total votes 8: ↑6 and ↓2 +4
Views 9.3K
Comments 1

Как сделать облачный (кластерный) хостинг за пару копеек*

Hosting
Три года назад у меня была интересная задача. Необходимо было собрать платформу, объединявшую несколько стоек с серверами в единое целое, для динамического распределения ресурсов между сайтами написанным для LAMP платформы. Причем так, чтоб вмешательство в код сайтов было минимальным, а еще лучше — вообще отсутствовало.
При этом никаких дорогих решений вроде Cisco Content Switch или дисковой полки с оптоволокном использовать нельзя — не хватало бюджета.
А кроме того, разумеется, в случае выхода одного из серверов из строя — это не должно было влиять на работу платформы.
Читать дальше →
Total votes 72: ↑58 and ↓14 +44
Views 5.6K
Comments 64

Хитрим со Squid в корпоративной сети

System administration *
Недавно наткнулся на одну достаточно занятную статью (http://habrahabr.ru/blogs/sysadm/28063/), в которой описывалась возможность создания кластера proxy-серверов для увеличения суммарной пропускной способности. Изначально показалось, что место данного интересного решения – в музее устаревших технологий, однако, поразмыслив, пришел к более интересным выводам.
Дело в том, что наша контора, как и я, географически находимся в зоне с достаточно дорогим интернетом и не особо толковым в плане IT генеральным руководством. Как результат – на 500 с гаком человек приходится канал мегабита в два максимум; так что счастливым считается тот час, в который личная скорость поднимается выше отметки в 128 кбит/сек. А это более чем печально.
Читать дальше →
Total votes 37: ↑32 and ↓5 +27
Views 17K
Comments 47

Веб-кластер — опыт реального применения

High performance *
Приветствую, уважаемые сообщники!

Эта статья — о том, как мы реализовали веб-кластер для новостного портала (с пиком посещений в 130 тысяч уникальных посетителей в день — это 7Тб траффика за 3 дня — выборы и 2 последующих. Сейчас в среднем кластер раздаёт 35-40 Тб траффика в месяц), о том, как по-разному понимают одинаковые задачи программисты и журналисты, о том, как можно достичь одной и той же цели, идя разными путями.

Она будет интересна тем, кто хочет построить легко масштабируемый географически распределённый веб-кластер, не вкладывая астрономических сумм в оборудование (а по меркам телевидения — будут вообще смешные суммы).

Я больше чем уверен, что маркетологи, толкающие убер-решения свежевыпущенных продуктов, имеющих в своём названии слова «масштабируемый веб-кластер» или «horizontal infinite scalable web cluster», меня возненавидят.

Я больше чем уверен, что конкуренты наших клиентов будут удивлены простотой решения, которое мы использовали.

Читать дальше →
Total votes 97: ↑84 and ↓13 +71
Views 18K
Comments 99

Стеганография через фрагментацию файлов

Cryptography *
Относительно новый метод стеганографии опробовал Хассан Хан (Hassan Khan) из университета Южной Калифорнии с коллегами (научная работа). Идея заключается в том, что кластеры файла располагаются на диске особым образом, так что специальная программа-дешифратор может раскодировать скрытое послание, а посторонний наблюдатель даже не догадается, что здесь присутствует какое-то сообщение.

Алгоритм работает очень просто. Если соседние кластеры файла находятся рядом, то засчитывается бинарная 1, если не рядом — то 0. Получается, что таким методом в одном кластере можно спрятать один бит, а на 160-гигабайтном HDD средней заполненности при обычной фрагментации помещается 20-мегабайтное сообщение.
Читать дальше →
Total votes 14: ↑9 and ↓5 +4
Views 1.3K
Comments 14

Pacemaker HA: сетевые соединения и динамическое размещение ресурсов кластера

System administration *
Ноды кластера очень сильно зависят от их физического соединения. Как показывает практика, большинство случаев отработки failove-миграций ресурсов происходит по вине именно сетевых соединений. Поэтому от того, как у вас осуществляется соединение между нодами и настроены размещения ресурсов, зависит очень многое.
Читать дальше →
Total votes 25: ↑24 and ↓1 +23
Views 19K
Comments 14

NetApp Metrocluster

NetApp corporate blog


В 2007 году, консалтинговое агентство Forrester провело опрос 250 IT-специалистов, с целью оценить риски аварий для IT, как внутри датацентра, так и вне его, например риски природных аварий и катастроф.

После обработки и публикации результатов стало понятно, что привычное средство обеспечения отказоустойчивости в виде, например, традиционного «дублирующего, избыточного контроллера и RAID» может защитить всего от 31% всех возможных отказов.

На графике вы видите также такие IT-дизастеры как отказы электропитания (" — что случилось с вашим электричеством? — Оно моргнуло." ), проблемы с ПО ("…и будет закрыто"), человеческие ошибки ("как ты сказал имя тома, который надо было размонтировать и грохнуть?"), ошибки сетевых настроек (" — а какой интерфейс использовать? — попробуй eth0."), а также и разнообразные природные (и не очень) катаклизмы, такие как пожары, наводнения и так далее.

Таким образом становится ясно, что традиционные средства защиты работоспособности данных защищают его, увы, недостаточно, сколько бы «девяток» вам ни обещали в рекламе. И когда стоимость потери или простоя данных становится весьма существенной, встает вопрос поиска решения, обеспечивающего большую надежность, чем решения традиционные.
Читать дальше →
Total votes 23: ↑20 and ↓3 +17
Views 15K
Comments 59

KVM & OpenVZ виртуализация и облачные вычисления с использованием Proxmox VE

Virtualization *
Translation
Вступление

Proxmox Virtual Environment (Proxmox VE) — система виртуализации с открытым исходным кодом, основанная на Debian GNU/Linux. Разрабатывается австрийской фирмой Proxmox Server Solutions GmbH, спонсируемой Internet Foundation Austria.
В качестве гипервизоров использует KVM и OpenVZ. Соответственно, способна выполнять любые поддерживаемые KVM ОС (Linux, *BSD, Windows и другие) с минимальными потерями производительности и Linux без потерь.
Управление виртуальными машинами и администрирование самого сервера производятся через веб-интерфейс либо через стандартный интерфейс командной строки Linux.
Для создаваемых виртуальных машин доступно множество опций: используемый гипервизор, тип хранилища (файл образа или LVM), тип эмулируемой дисковой подсистемы (IDE, SCSI или VirtIO), тип эмулируемой сетевой карты, количество доступных процессоров и другие.
ru.wikipedia.org/wiki/Proxmox_Virtual_Environment
Поехали
Total votes 22: ↑21 and ↓1 +20
Views 20K
Comments 19

Введение в параллельные вычисления

High performance *
Параллельной машиной называют, грубо говоря, набор процессоров, памяти и некоторые методы коммуникации между ними. Это может быть двухядерный процессор в вашем (уже не новом) ноутбуке, многопроцессорный сервер или, например, кластер (суперкомпьютер). Вы можете ничего не знать о таких компьютерах, но вы точно знаете, зачем их строят: скорость, скорость и еще раз скорость. Однако скорость — не единственное преимущество.

После выполнения не самой тривиальной задачи по созданию такого аппарата, дизайнерам и разработчикам приходится еще думать о том, его заставить работать. Ведь приемы и алгоритмы, применяемые для старых, однопроцессорных однопотоковых машин, как правило, не подходят.

Что самое удивительное, в университетах пока не спешат переводить программы обучения в русло параллельных вычислений! При этом сегодня нужно постараться, чтобы найти компьютер с одним ядром. В моем родном Carleton University курсы по параллельным вычислениям не входят в обязательную программу Bachelor of Computer Science, и доступны лишь для тех, кто прошел основные курсы первых трех лет. На том же уровне находятся курсы по распределенным вычислениям, и некоторых могут сбить с толку.

Читать дальше →
Total votes 100: ↑95 and ↓5 +90
Views 39K
Comments 49

Кластер, который всегда с собой

Virtualization *
lxcЗахотелось странного.
Во-первых, взгромоздить кучу виртуальных машин прямо на свой ноутбук.
А во-вторых, раскурить одну виртуализацию внутри другой.

Речь пойдет про использование контейнеров LXC, причем внутри другой виртуальной машины.

WTF! На кой это нужно?
Total votes 131: ↑126 and ↓5 +121
Views 36K
Comments 58