Pull to refresh

Gentoo+drbd+ocfs2

High performance *

Введение


Поставили передо мной как-то задачу… говорят один сервер это хорошо… но учитываю рост посетителей, неплохо бы было повысить производительность отдачи и для этой цели будет приобретен еще 1 сервер…
еще один сервер это хорошо, подумал я… только что с ним делать ??
Поговорив с програмистом и примерно поняв чего он хочет…

А именно одновременную отдачу контента, и что-то типа nfs или шары…
но тогда был бы оверхед ибо данные гонялись по сети и нагружен был бы диск одного сервера, посему надо было чтобы данные одновременно хранились на обоих серверах и реплицировались друг на друга…
поискав в гугле что-то на эту тему нашел информацию по кластерным фс, и для меня подходили gfs2 и позднее обнаруженная ocfs2, но была проблема в том что обычно использовалось выделенное файловое хранилище и его уже монтировали ноды… что было неприемлимо для меня, и тогда позадавав вопросы народу в конференции (gentoo@conference.gentoo.ru благо там были люди работающие с кластерами и прочими веселыми вещами) я вышел на drbd
Читать дальше →
Total votes 6: ↑5 and ↓1 +4
Views 9.7K
Comments 12

Приручаем rsync в Mac OS X

Lumber room
Большая часть пользователей компьютеров Apple пользуются встроенным в Mac OS X решением для резервного копирования своих данных — Time Machine (TM). Я, однако, принадлежу к меньшинству, которое не пользуется «машиной времени».

Дело в том, что мне нужен бэкап по сети, а по сети Time Machine умеет копировать данные либо на Time Capsule, либо на общую папку, расшаренную на компьютере под управлением Mac OS X Leopard (и выше). Time Capsule я покупать не собираюсь, потому что она мне не внушает доверия, а другого мака в доме нет. Существуют различные хаки, при помощи которых можно заставить TM записывать резервные копии в любую сетевую папку, но у всех этих хаков есть побочные эффекты, бороться с которыми как-то не хочется. Поэтому — rsync, rsync и ещё раз rsync. Однако Apple не была бы Apple, если бы в духе заботы о пользователе не разложила на этом пути грабли, с которыми мы сейчас и будем бороться :)
Читать дальше →
Total votes 6: ↑4 and ↓2 +2
Views 2.3K
Comments 11

.about [Организация процесса каталогизации и обработки фотографий]

Lumber room
Самое забавное и самое прескорбное, что многие просмотрщики изображений все сами решают за вас, как и куда помещать ваши фотографии. А так же как их сортировать. Для многих, на самом деле, это является панацеей, но только не для меня. Этот факт стал камнем преткновения для поиска легкого и быстрого просмотрщика фотографий, в виде аналога FastStone Image Viewer для Windows. Для себя я сам решил как мне каталогизировать мою коллекцию фотографий, причем таким образом, чтобы мне было удобно во всем процессе от начала и до конца обработки фотографий. До этого я шел долгой и кропотливой дорогой всяческих экспериментов.
Ну а сейчас я расскажу о том, как у меня организован весь процесс. Для кого-то он может показаться слишком трудоемким, но это только на первый взгляд, потому что весь процесс я старался оптимизировать и автоматизировать.
После того, как я перебрался на Mac OS X 10.6.4 мне потребовалось какое-то время чтобы разобраться и найти замену каким-то программам и настроить автоматизацию процесса в данной операционной системе. Поэтому речь пойдет сейчас об Mac OS X 10.6.4, хотя весь процесс практически не отличается от оного в Windows.
Читать дальше →
Total votes 12: ↑5 and ↓7 -2
Views 1.2K
Comments 28

Скрипт резервного копирования через rsync

System administration *
Возникла необходимость как-то и куда-то бэкапится. Причём чтобы процессоры не грузились и место не занималось, а бэкапы ротэйтились и удобно доставались. Раньше всегда пользовался fsbackup, но захотелось отказаться от архивирования. Для решения задачи была использована rsync и механизм жёстких ссылок (так называемых хардлинков) файловой системы.

Архитектура: есть отдельно стоящий сервер с большим винтом — на нём и работает скрипт. Есть много разных серверов с доступом по ssh, на которых в ~/.ssh/authorized_keys добавлен публичный ключ пользователя, под которым работает скрипт резервного копирования.
Читать дальше →
Total votes 43: ↑38 and ↓5 +33
Views 25K
Comments 36

Cкоростная синхронизация миллиарда файлов

Server Administration *
Sandbox
Есть несколько идентичных серверов (4 ноды) на Amazon EC2 с Ubuntu. Каждый генерирует и хранит у себя на диске кэш, который хотелось бы синхронизировать. Но простой rsync тут не подойдет — файлов несколько миллиардов, nfs — слишком медлителен, и т. д. Полный список рассмотренных вариантов с пояснениями ниже.

К тому же, время от времени нужно удалять устаревшие файлы сразу на всех серверах, что пока делается вручную и занимает несколько суток. Вопрос наиболее быстрой для такого Use Case файловой системы планирую описать позже. Оговорюсь только, что по нескольким причинам была выбрана XFS.

После теста нескольких кластерных технологий и файловых систем, по совету старшего товарища, решили использовать тот же rsync, но в связке с inotify. Немного поискав в интернете готовое такое решение, дабы не изобретать велосипед, наткнулся на csyncd, inosync и lsyncd. На хабре уже была статья о csyncd, но он тут не подходит, т.к. хранит список файлов в базе SQLite, которая вряд-ли сможет сносно работать даже с миллионом записей. Да и лишнее звено при таких объемах ни к чему. А вот lsyncd оказался именно тем, что нам и было нужно.

UPD: Как показала практика, необходимо ощутимое измение и дополние в тексте. Я решил внести лишь незначительные правки в основную часть, а новыми выводами поделиться в конце статьи.
Читать дальше →
Total votes 55: ↑55 and ↓0 +55
Views 89K
Comments 29

Автоматизированное резервное копирование рабочих станций Windows при помощи rsync и vshadow — Часть 1

Data recovery *
Sandbox
Если у вас возникло желание поддерживать рабочие станиции в максимально «защищённом» состоянии, а так же насколько возможно «автоматизировать» этот процесс, то этот пост для вас.

Будет использоваться:

Немного batch файла
Немного Linux сервера
Немного Windows Server 2008 R2 и Групповых политик

Идея в следующем — незаметно от самого юзера, чтобы не нарушать его работу, делать еженедельное копирование его профиля, дабы исключить потерю данных, и сохранять его на сервере в максимально защищённом виде.

Для этого начнём с клиентской части.
Читать дальше →
Total votes 15: ↑14 and ↓1 +13
Views 78K
Comments 12

Автоматизированное резервное копирование рабочих станций Windows при помощи rsync и vshadow — Часть 2, настройка принимающего сервера

Data recovery *

В качестве примера я буду использовать openSUSE 11.4 в текстовом (минимальном) режиме на ядре 2.6.37. (можно так же его обновить до 3.1.1 несколькими командами, которые будут доступны ниже)



1. Конечно необходимо сначала установить чистую оперцаионную систему и настроить RAID. В нашем случае будет использоваться простое зеркалирование, то есть RAID 1. Это можно настроить в процессе установки операционной системы или собрать по её установке, если вы
Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Views 5.4K
Comments 2

Большое файловое хранилище для маленькой такой компании

Configuring Linux *Server Administration *
Sandbox
Думаю, что любая группа разработчиков рано или поздно сталкивается с такой, казалось бы, примитивной задачей как
  • вики, учет задач, тикетов, дефектов;
  • система управления версиями/репозиторий;
  • файловый сервер.


И если в случае первого и второго предлагается множество прекрасных средств, в частности для багтрекинга существуют известные каждому Redmine, Trac, а для управления версиями Subversion, Git, Mercurial, то для грамотной организации файлового хранилища приходится в очередной раз изобретать велосипед.
Читать дальше →
Total votes 48: ↑42 and ↓6 +36
Views 168K
Comments 44

Разработка патчера к игре

.NET *Game development *
После написания первой игры перед нами встала задача, о которой мы даже не задумывались ранее. Это разработка патчера к игре. Для нашего патчера мы определили следующие требования:

  • Поддержка юнити игр
  • Дружелюбность к пользователю
  • Отображение игровых новостей
  • Универсальность для всех игр разработанных нашей студией
  • Гибкость настройки
  • И самое важное: умение делать небольшие патчи для больших файлов

Ссылка на исходники патчера в конце статьи.
Читать дальше →
Total votes 39: ↑37 and ↓2 +35
Views 26K
Comments 28

Резервное копирование данных на бесплатный облачный сервис Wuala

*nix *Server Administration *
Sandbox
Админы бывают двух видов: те кто…
  1. еще не делают бекапы
  2. уже делают


Итак, бекапы уже делаем, и не важно, свой ли опыт или чужой послужил тому причиной. И уже знаем, что один бекап нужно иметь под рукой, а другой — за тысячу километров. С бекапом который «под рукой» — в целом все понятно. С удаленным бекапом тоже все просто, если у вас есть желание и возможности оплачивать эти услуги. А если хотим «на шару»?

Читать дальше →
Total votes 16: ↑12 and ↓4 +8
Views 13K
Comments 15

Резервное копирование на хардлинках под Windows

Data recovery *
Я, как и многие, задумывался о бэкапах. Неспешно думал-думал, рассматривал разные варианты, пока не сгорел винчестер на ноутбуке жены. Это печальное событие подстегнуло мою активность, результат которой хочу представить в этой статье.

Речь пойдет о резервном копировании. Я буду подробно обсуждать именно свою задачу. Возможно, у кого-то обстоятельства чем-то отличаются, но и таких как я должно быть достаточно много. Поэтому, надеюсь, мои советы окажутся полезными большому числу людей.
Читать дальше →
Total votes 44: ↑31 and ↓13 +18
Views 70K
Comments 80

Syncman — развертывание и синхронизация проектов на удаленном сервере

Website development *
Syncman
Прежде, чем начать свой рассказ, задам один маленький вопрос: Как вы разворачиваете свои проекты сервере?
Если вами управляется один маленький сайтик на бесплатном виртуальном хостинге, то проблемы синхронизации у вас не возникают — подключился по ftp, скопировал файлы и все. А если нужно контролировать развертывание нескольких сотен проектов (от маленьких сайтов визиток до нагруженных приложений), над которыми трудится не один десяток людей? Если позволяет квалификация, то можно использовать rsync, unison и др. Особо отчаянные могут просто обновлять рабочую копию проекта (svn, git и тд.) из репозитория. А что будут делать десятки художников, которым срочно нужно поправить вот ту маленькую картинку? Ведь для многих из них консоль — волшебный темный дремучий лес.
Под катом описание одного решения, позволяющего сильно упростить процесс развертывания приложений.
Читать дальше →
Total votes 11: ↑7 and ↓4 +3
Views 6.9K
Comments 9

NetBeans: поддержание актуальных версий файлов с удалённого сервера через ssh

*nix *
Доброго времени суток, %habrauser%!

Любой, кто работает в этой замечательной IDE, рано или поздно, задаётся вопросом: «Почему там нет простой, казалось бы, вещи — автоматической синхронизации файлов с удалённого сервера!?».
Читать дальше →
Total votes 10: ↑7 and ↓3 +4
Views 8.9K
Comments 15

Резервное копирование на удаленный сервер

Southbridge corporate blog
Назрела необходимость замены медленного rdiff-backup на более шустрое решение для инкрементальных бекапов на удаленый сервер. Сперва рассматривался Rsnapshot, но причине того, что он не умеет без костылей делать бекапы именно на удаленные серверы от него отказались. Прочие аналоги нам также не подошли по тем или иным причинам. Искать что-то готовое на просторах github и допиливать под себя мы не захотели, поэтому было решено написать новый скрипт с нуля своими силами. Главная цель сделать решение для инкрементального бекапа на удаленный сервер схожее с rdiff, но с использованием жестких ссылок rsync.
И вот что получилось
Total votes 26: ↑16 and ↓10 +6
Views 46K
Comments 41

Организация backup-сервера. Linux, ZFS и rsync

Configuring Linux *System administration *
Sandbox
TL;DR:
Статья о настройке бекапа линуксовых серверов. В качестве хранилища используется раздел ZFS с включенными дедубликацией и компрессией. Ежедневно делаются снапшоты, которые сохраняются в течение недели (7 штук). Ежемесячные снапшоты хранятся в течение года (еще 12 штук). В качестве транспорта выступает rsync: на сервере он запущен демоном, на клиентах он запускается из crontab.
Читать дальше →
Total votes 30: ↑24 and ↓6 +18
Views 58K
Comments 20

Разворачиваем рабочий образ linux с минимальным интерактивом

Configuring Linux *System administration **nix *
Sandbox
Эта публикация может быть интересна тем ленивым системным администраторам, которые используют что-то из нижеперечисленнго:
  • Linux — based систему на машинах-клиентах;
  • Тонкие/толстые однотипные клиенты на различном железе;
  • Сетевое хранилище клиентских данных;
  • Предустановленный регламентированный софт;
  • Openvpn/rdp к серверам приложений.
  • Плюшевый (мягкий и пушистый) мониторинг linux клиентов типа Nagios.

Речь пойдет о том, как с минимальными усилиями со стороны пользователя или штатного «эникейщика» установить на компьютер пользователя готовую систему с набором софта, настроенными сетевыми службами, предопределенными конфигами и т.д. Статья ориентирована в первую очередь на энтузиастов и начинающих линуксоидов, но приемы и скрипты вполне могут использоваться в боевом развёртывании группы из десятков машин ежедневно.
Читать дальше →
Total votes 11: ↑9 and ↓2 +7
Views 29K
Comments 12

Стань повелителем загрузки Linux

Configuring Linux *System administration *Network technologies *
Tutorial
Сначала мы познакомимся с udev и научимся с его помощью исследовать установленные в компьютере устройства прямо во время загрузки: в качестве примера будем автоматически выбирать настройки видеокарт для Xorg. Затем решим задачу работы с одним образом на десятках компьютеров одновременно путём внедрения собственного обработчика в initramfs, а заодно оптимизируем систему для сетевой загрузки. Чтобы дополнительно уменьшить время загрузки и снизить нагрузку на сеть попробуем NFS заменить на NBD, и помочь TFTP с помощью HTTP. В конце вернёмся в начало — к загрузочному серверу, который также переведём в режим «только для чтения».



Данная статья — скорее исследование, а не готовое руководство (все решения работают, просто они не всегда оптимальны). В конце у вас появится достаточно знаний, чтобы сделать всё так, как захотите именно вы.

Начало смотрите здесь:
Первоначальная настройка сервера
Подготовка образа для загрузки по сети
Читать дальше →
Total votes 41: ↑40 and ↓1 +39
Views 84K
Comments 13

Использование хардлинков (hardlink) для инкрементального бекапа Synology DSM

*nix *


Система DSM достаточно удобна и по умолчению в системе установлены модули, которые закрывают 95% потребностей рядового (и не очень) пользователя, что называется «из коробки».

Есть и встроенная система резервного копирования: Backup & Replication. Простая, понятная и надежная. В качестве сетевого места назначения в может использовать либо похожую Synology, либо rsync сервер.

К сожалению эта система не умеет делать инкрементальный бекап. Самый примитивный способ обойти это — настроить отдельный бекап на каждый день недели. Таким образом у нас будет 7 папок с резервными копиями, но очевидный минус — хранение полной копии в каждой папке — объем может получиться таким, что не каждый позволит себе такое хранилище.

Итак — настроим полноценный инкрементальный бекап.
Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 13K
Comments 15
1