Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Gentoo+drbd+ocfs2

Высокая производительность

Введение


Поставили передо мной как-то задачу… говорят один сервер это хорошо… но учитываю рост посетителей, неплохо бы было повысить производительность отдачи и для этой цели будет приобретен еще 1 сервер…
еще один сервер это хорошо, подумал я… только что с ним делать ??
Поговорив с програмистом и примерно поняв чего он хочет…

А именно одновременную отдачу контента, и что-то типа nfs или шары…
но тогда был бы оверхед ибо данные гонялись по сети и нагружен был бы диск одного сервера, посему надо было чтобы данные одновременно хранились на обоих серверах и реплицировались друг на друга…
поискав в гугле что-то на эту тему нашел информацию по кластерным фс, и для меня подходили gfs2 и позднее обнаруженная ocfs2, но была проблема в том что обычно использовалось выделенное файловое хранилище и его уже монтировали ноды… что было неприемлимо для меня, и тогда позадавав вопросы народу в конференции (gentoo@conference.gentoo.ru благо там были люди работающие с кластерами и прочими веселыми вещами) я вышел на drbd
Читать дальше →
Всего голосов 6: ↑5 и ↓1 +4
Просмотры9.5K
Комментарии 12

Приручаем rsync в Mac OS X

Чулан
Большая часть пользователей компьютеров Apple пользуются встроенным в Mac OS X решением для резервного копирования своих данных — Time Machine (TM). Я, однако, принадлежу к меньшинству, которое не пользуется «машиной времени».

Дело в том, что мне нужен бэкап по сети, а по сети Time Machine умеет копировать данные либо на Time Capsule, либо на общую папку, расшаренную на компьютере под управлением Mac OS X Leopard (и выше). Time Capsule я покупать не собираюсь, потому что она мне не внушает доверия, а другого мака в доме нет. Существуют различные хаки, при помощи которых можно заставить TM записывать резервные копии в любую сетевую папку, но у всех этих хаков есть побочные эффекты, бороться с которыми как-то не хочется. Поэтому — rsync, rsync и ещё раз rsync. Однако Apple не была бы Apple, если бы в духе заботы о пользователе не разложила на этом пути грабли, с которыми мы сейчас и будем бороться :)
Читать дальше →
Всего голосов 6: ↑4 и ↓2 +2
Просмотры1.2K
Комментарии 11

.about [Организация процесса каталогизации и обработки фотографий]

Чулан
Самое забавное и самое прескорбное, что многие просмотрщики изображений все сами решают за вас, как и куда помещать ваши фотографии. А так же как их сортировать. Для многих, на самом деле, это является панацеей, но только не для меня. Этот факт стал камнем преткновения для поиска легкого и быстрого просмотрщика фотографий, в виде аналога FastStone Image Viewer для Windows. Для себя я сам решил как мне каталогизировать мою коллекцию фотографий, причем таким образом, чтобы мне было удобно во всем процессе от начала и до конца обработки фотографий. До этого я шел долгой и кропотливой дорогой всяческих экспериментов.
Ну а сейчас я расскажу о том, как у меня организован весь процесс. Для кого-то он может показаться слишком трудоемким, но это только на первый взгляд, потому что весь процесс я старался оптимизировать и автоматизировать.
После того, как я перебрался на Mac OS X 10.6.4 мне потребовалось какое-то время чтобы разобраться и найти замену каким-то программам и настроить автоматизацию процесса в данной операционной системе. Поэтому речь пойдет сейчас об Mac OS X 10.6.4, хотя весь процесс практически не отличается от оного в Windows.
Читать дальше →
Всего голосов 12: ↑5 и ↓7 -2
Просмотры1.1K
Комментарии 28

Скрипт резервного копирования через rsync

Системное администрирование
Возникла необходимость как-то и куда-то бэкапится. Причём чтобы процессоры не грузились и место не занималось, а бэкапы ротэйтились и удобно доставались. Раньше всегда пользовался fsbackup, но захотелось отказаться от архивирования. Для решения задачи была использована rsync и механизм жёстких ссылок (так называемых хардлинков) файловой системы.

Архитектура: есть отдельно стоящий сервер с большим винтом — на нём и работает скрипт. Есть много разных серверов с доступом по ssh, на которых в ~/.ssh/authorized_keys добавлен публичный ключ пользователя, под которым работает скрипт резервного копирования.
Читать дальше →
Всего голосов 43: ↑38 и ↓5 +33
Просмотры24.3K
Комментарии 36

Cкоростная синхронизация миллиарда файлов

Серверное администрирование
Из песочницы
Есть несколько идентичных серверов (4 ноды) на Amazon EC2 с Ubuntu. Каждый генерирует и хранит у себя на диске кэш, который хотелось бы синхронизировать. Но простой rsync тут не подойдет — файлов несколько миллиардов, nfs — слишком медлителен, и т. д. Полный список рассмотренных вариантов с пояснениями ниже.

К тому же, время от времени нужно удалять устаревшие файлы сразу на всех серверах, что пока делается вручную и занимает несколько суток. Вопрос наиболее быстрой для такого Use Case файловой системы планирую описать позже. Оговорюсь только, что по нескольким причинам была выбрана XFS.

После теста нескольких кластерных технологий и файловых систем, по совету старшего товарища, решили использовать тот же rsync, но в связке с inotify. Немного поискав в интернете готовое такое решение, дабы не изобретать велосипед, наткнулся на csyncd, inosync и lsyncd. На хабре уже была статья о csyncd, но он тут не подходит, т.к. хранит список файлов в базе SQLite, которая вряд-ли сможет сносно работать даже с миллионом записей. Да и лишнее звено при таких объемах ни к чему. А вот lsyncd оказался именно тем, что нам и было нужно.

UPD: Как показала практика, необходимо ощутимое измение и дополние в тексте. Я решил внести лишь незначительные правки в основную часть, а новыми выводами поделиться в конце статьи.
Читать дальше →
Всего голосов 55: ↑55 и ↓0 +55
Просмотры84.8K
Комментарии 29

Автоматизированное резервное копирование рабочих станций Windows при помощи rsync и vshadow — Часть 1

Восстановление данных
Из песочницы
Если у вас возникло желание поддерживать рабочие станиции в максимально «защищённом» состоянии, а так же насколько возможно «автоматизировать» этот процесс, то этот пост для вас.

Будет использоваться:

Немного batch файла
Немного Linux сервера
Немного Windows Server 2008 R2 и Групповых политик

Идея в следующем — незаметно от самого юзера, чтобы не нарушать его работу, делать еженедельное копирование его профиля, дабы исключить потерю данных, и сохранять его на сервере в максимально защищённом виде.

Для этого начнём с клиентской части.
Читать дальше →
Всего голосов 15: ↑14 и ↓1 +13
Просмотры74.4K
Комментарии 12

Автоматизированное резервное копирование рабочих станций Windows при помощи rsync и vshadow — Часть 2, настройка принимающего сервера

Восстановление данных

В качестве примера я буду использовать openSUSE 11.4 в текстовом (минимальном) режиме на ядре 2.6.37. (можно так же его обновить до 3.1.1 несколькими командами, которые будут доступны ниже)



1. Конечно необходимо сначала установить чистую оперцаионную систему и настроить RAID. В нашем случае будет использоваться простое зеркалирование, то есть RAID 1. Это можно настроить в процессе установки операционной системы или собрать по её установке, если вы
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры5.2K
Комментарии 2

Большое файловое хранилище для маленькой такой компании

Настройка LinuxСерверное администрирование
Из песочницы
Думаю, что любая группа разработчиков рано или поздно сталкивается с такой, казалось бы, примитивной задачей как
  • вики, учет задач, тикетов, дефектов;
  • система управления версиями/репозиторий;
  • файловый сервер.


И если в случае первого и второго предлагается множество прекрасных средств, в частности для багтрекинга существуют известные каждому Redmine, Trac, а для управления версиями Subversion, Git, Mercurial, то для грамотной организации файлового хранилища приходится в очередной раз изобретать велосипед.
Читать дальше →
Всего голосов 48: ↑42 и ↓6 +36
Просмотры164.7K
Комментарии 44

Разработка патчера к игре

.NETРазработка игр
После написания первой игры перед нами встала задача, о которой мы даже не задумывались ранее. Это разработка патчера к игре. Для нашего патчера мы определили следующие требования:

  • Поддержка юнити игр
  • Дружелюбность к пользователю
  • Отображение игровых новостей
  • Универсальность для всех игр разработанных нашей студией
  • Гибкость настройки
  • И самое важное: умение делать небольшие патчи для больших файлов

Ссылка на исходники патчера в конце статьи.
Читать дальше →
Всего голосов 39: ↑37 и ↓2 +35
Просмотры24.5K
Комментарии 28

Резервное копирование данных на бесплатный облачный сервис Wuala

*nixСерверное администрирование
Из песочницы
Админы бывают двух видов: те кто…
  1. еще не делают бекапы
  2. уже делают


Итак, бекапы уже делаем, и не важно, свой ли опыт или чужой послужил тому причиной. И уже знаем, что один бекап нужно иметь под рукой, а другой — за тысячу километров. С бекапом который «под рукой» — в целом все понятно. С удаленным бекапом тоже все просто, если у вас есть желание и возможности оплачивать эти услуги. А если хотим «на шару»?

Читать дальше →
Всего голосов 16: ↑12 и ↓4 +8
Просмотры12.7K
Комментарии 15

Резервное копирование на хардлинках под Windows

Восстановление данных
Я, как и многие, задумывался о бэкапах. Неспешно думал-думал, рассматривал разные варианты, пока не сгорел винчестер на ноутбуке жены. Это печальное событие подстегнуло мою активность, результат которой хочу представить в этой статье.

Речь пойдет о резервном копировании. Я буду подробно обсуждать именно свою задачу. Возможно, у кого-то обстоятельства чем-то отличаются, но и таких как я должно быть достаточно много. Поэтому, надеюсь, мои советы окажутся полезными большому числу людей.
Читать дальше →
Всего голосов 44: ↑31 и ↓13 +18
Просмотры69K
Комментарии 80

Syncman — развертывание и синхронизация проектов на удаленном сервере

Разработка веб-сайтов
Syncman
Прежде, чем начать свой рассказ, задам один маленький вопрос: Как вы разворачиваете свои проекты сервере?
Если вами управляется один маленький сайтик на бесплатном виртуальном хостинге, то проблемы синхронизации у вас не возникают — подключился по ftp, скопировал файлы и все. А если нужно контролировать развертывание нескольких сотен проектов (от маленьких сайтов визиток до нагруженных приложений), над которыми трудится не один десяток людей? Если позволяет квалификация, то можно использовать rsync, unison и др. Особо отчаянные могут просто обновлять рабочую копию проекта (svn, git и тд.) из репозитория. А что будут делать десятки художников, которым срочно нужно поправить вот ту маленькую картинку? Ведь для многих из них консоль — волшебный темный дремучий лес.
Под катом описание одного решения, позволяющего сильно упростить процесс развертывания приложений.
Читать дальше →
Всего голосов 11: ↑7 и ↓4 +3
Просмотры6.8K
Комментарии 9

NetBeans: поддержание актуальных версий файлов с удалённого сервера через ssh

*nix
Доброго времени суток, %habrauser%!

Любой, кто работает в этой замечательной IDE, рано или поздно, задаётся вопросом: «Почему там нет простой, казалось бы, вещи — автоматической синхронизации файлов с удалённого сервера!?».
Читать дальше →
Всего голосов 10: ↑7 и ↓3 +4
Просмотры8.8K
Комментарии 15

Резервное копирование на удаленный сервер

Блог компании Southbridge
Назрела необходимость замены медленного rdiff-backup на более шустрое решение для инкрементальных бекапов на удаленый сервер. Сперва рассматривался Rsnapshot, но причине того, что он не умеет без костылей делать бекапы именно на удаленные серверы от него отказались. Прочие аналоги нам также не подошли по тем или иным причинам. Искать что-то готовое на просторах github и допиливать под себя мы не захотели, поэтому было решено написать новый скрипт с нуля своими силами. Главная цель сделать решение для инкрементального бекапа на удаленный сервер схожее с rdiff, но с использованием жестких ссылок rsync.
И вот что получилось
Всего голосов 26: ↑16 и ↓10 +6
Просмотры45.9K
Комментарии 41

Десятимиллионный скрипт резервного копирования

Python
Tutorial
image
Это статья-мануал по скрипту резервного копирования, написанному мной. Скрипт написан на python для Linux. Кому интересно прошу под хабракат.
Читать дальше →
Всего голосов 79: ↑59 и ↓20 +39
Просмотры44.6K
Комментарии 21

Организация backup-сервера. Linux, ZFS и rsync

Настройка LinuxСистемное администрирование
Из песочницы
TL;DR:
Статья о настройке бекапа линуксовых серверов. В качестве хранилища используется раздел ZFS с включенными дедубликацией и компрессией. Ежедневно делаются снапшоты, которые сохраняются в течение недели (7 штук). Ежемесячные снапшоты хранятся в течение года (еще 12 штук). В качестве транспорта выступает rsync: на сервере он запущен демоном, на клиентах он запускается из crontab.
Читать дальше →
Всего голосов 30: ↑24 и ↓6 +18
Просмотры55.7K
Комментарии 20

Разворачиваем рабочий образ linux с минимальным интерактивом

Настройка LinuxСистемное администрирование*nix
Из песочницы
Эта публикация может быть интересна тем ленивым системным администраторам, которые используют что-то из нижеперечисленнго:
  • Linux — based систему на машинах-клиентах;
  • Тонкие/толстые однотипные клиенты на различном железе;
  • Сетевое хранилище клиентских данных;
  • Предустановленный регламентированный софт;
  • Openvpn/rdp к серверам приложений.
  • Плюшевый (мягкий и пушистый) мониторинг linux клиентов типа Nagios.

Речь пойдет о том, как с минимальными усилиями со стороны пользователя или штатного «эникейщика» установить на компьютер пользователя готовую систему с набором софта, настроенными сетевыми службами, предопределенными конфигами и т.д. Статья ориентирована в первую очередь на энтузиастов и начинающих линуксоидов, но приемы и скрипты вполне могут использоваться в боевом развёртывании группы из десятков машин ежедневно.
Читать дальше →
Всего голосов 11: ↑9 и ↓2 +7
Просмотры27.7K
Комментарии 12

Стань повелителем загрузки Linux

Настройка LinuxСистемное администрированиеСетевые технологии
Tutorial
Сначала мы познакомимся с udev и научимся с его помощью исследовать установленные в компьютере устройства прямо во время загрузки: в качестве примера будем автоматически выбирать настройки видеокарт для Xorg. Затем решим задачу работы с одним образом на десятках компьютеров одновременно путём внедрения собственного обработчика в initramfs, а заодно оптимизируем систему для сетевой загрузки. Чтобы дополнительно уменьшить время загрузки и снизить нагрузку на сеть попробуем NFS заменить на NBD, и помочь TFTP с помощью HTTP. В конце вернёмся в начало — к загрузочному серверу, который также переведём в режим «только для чтения».



Данная статья — скорее исследование, а не готовое руководство (все решения работают, просто они не всегда оптимальны). В конце у вас появится достаточно знаний, чтобы сделать всё так, как захотите именно вы.

Начало смотрите здесь:
Первоначальная настройка сервера
Подготовка образа для загрузки по сети
Читать дальше →
Всего голосов 41: ↑40 и ↓1 +39
Просмотры80.7K
Комментарии 13

Использование хардлинков (hardlink) для инкрементального бекапа Synology DSM

*nix


Система DSM достаточно удобна и по умолчению в системе установлены модули, которые закрывают 95% потребностей рядового (и не очень) пользователя, что называется «из коробки».

Есть и встроенная система резервного копирования: Backup & Replication. Простая, понятная и надежная. В качестве сетевого места назначения в может использовать либо похожую Synology, либо rsync сервер.

К сожалению эта система не умеет делать инкрементальный бекап. Самый примитивный способ обойти это — настроить отдельный бекап на каждый день недели. Таким образом у нас будет 7 папок с резервными копиями, но очевидный минус — хранение полной копии в каждой папке — объем может получиться таким, что не каждый позволит себе такое хранилище.

Итак — настроим полноценный инкрементальный бекап.
Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Просмотры12.9K
Комментарии 15
1