Как стать автором
Обновить

Sypex Dumper — небольшое спасение для больших баз MySQL

Чулан
Не знаю, как и где пробовать перо. Тааак… Нажимаем карандашик и поехали:)
Решил начать с блогодарностей. Спонтанно. А блогодарить буду украинских разработчиков небольшого PHP-скрипта Sypex Dumper.

Читаем дальше?
Всего голосов 7: ↑3 и ↓4 -1
Просмотры 495
Комментарии 19

Серверная история

Серверное администрирование *Восстановление данных *
Эта история произошла со мной в течение предыдущей недели — с 26-го по 31 января 2009. Прожив этот чудесно крохотный период своей жизни, я осознал необходимость простых вещей, поверил в существование «случая» и все более разочаровался в людях. Тегами этой недели были RAID, Инфобокс и бекап. Хотя началось-то все гораздо раньше…
Читать дальше →
Всего голосов 119: ↑115 и ↓4 +111
Просмотры 968
Комментарии 96

Как делать бекапы разнородного контента?

Чулан
Доброго времени суток!

Хочу попросить совета у хабражителей по поводу бекапов.

Есть папка с проектом, в неё находятся исходники и большое количество графических и видео файлов. В данный момент бекап скрипт делает следующим образом:
  1. Дампит все базы в папку с бекапами — каждая база в свою папку, каждая таблица в свой файл
  2. Запаковывает каждую папку с базой в .tar, потом жмёт всё это в 7z
  3. Копирует папку с проектом в папку бекапов
  4. Пакует папку с проектом в .tar и жмёт 7z

Естественно графики много, она не ужимается и сжатие происходит очень долго. В данный момент там порядка 2-х гигабайт пользовательских графических файлов.

На данный момент есть следующие идеи:
  • Копировать только все текстовые файлы, т.е. исходники и графику дизайна (её не много) — использовать find или сделать скрипт, который копирует все подпапки проекта по отдельности, пропуская папки с графикой
  • Папки с графикой копировать отдельно и просто паковать в .tar
  • Вариант с rsync думал, но я не нашёл возможности делать синхронизацию на windows машину


Любые дельные советы и идеи приветствуются.
Сервер работает на Gentoo Linux.
Всего голосов 7: ↑4 и ↓3 +1
Просмотры 423
Комментарии 7

Доширак: Проект первый. Что такое Конфитюр и с чем его едят?

Я пиарюсь
image

Три месяца назад мы объявили об уходе в свободное плавание, пообещав сделать за полгода три проекта. Сегодня мы хотим представить на Хабрахабре первый из наших проектов.
Читать дальше →
Всего голосов 110: ↑91 и ↓19 +72
Просмотры 941
Комментарии 98

История одного ноутбука. Ложка дёгтя (продолжение)

Чулан
Итак, продолжение статьи о том как я покупал ноутбук

После долгожданного возврата денег Сетевой-Компанией-Номер1 я поехал покупать новый ноутбук. В этот же день я нашел за те же деньги ноутбук лучшей комплектации,
лучшего бренда в еще более крутом Сетевом-Бытовом-Компьютерном-Магазине2 в нашем захолустном городе.
Ноутбук стоял на витрине красивый, переливался в лучах света, и его рабочий стол отдавал блеском стеклянной Vist'ы и я уже представил, как на нём будет смотреться сегодня обновленная Ubuntu…
-Беру!!!

Но как всегда в любой истории есть ложка дегтя… о которой я хотел был рассказать в этой статье

Ложка первая
Сначала менеджер расстроил меня тем, что его нету на складе нашего города N, но обрадовал меня заморским словом «Виртуальный» склад города (N+500км) имеет этот ноутбук. Он будет доставлен в течении 3-5 дней. Я согласился.
— Вы будете оформлять дополнительное сервисное обслуживание? У нас есть на 2 и 3 года…
— Что это?
— Ну вот например, у нас был клиент — у него “слетел” Антивирус, — он пришел и мы поменяли ему ноутбук на новый.
— Интересно… А если я не буду брать эту услугу то, тогда что?
— Тогда вы будете общаться с нашим сервисным центром, а не с нами. Да, и еще они нам сказали, что не ринимают ноутбуки даже если там есть одна нелицензионная программа.
Тут я вспомнил, про Ubuntu и уже хотел написать 2ой пост на хабре про то как кто-то отсудил стоимость предустановленной операционной системы в России. (это больше похоже на шантаж, чем на сервисное обслуживание подумал я).
— То есть если я покупаю эту услугу вы закрываете глаза на тот софт, что был установлен у того клиента? Притом что вы наверное знаете, что по законодательству РФ софт и железо друг от друга не зависят. Но дальше я не стал рассказывать ему всю историю — Менеджер замялся…
Я подписали бумаги, получил кучу рекламы, оставил свои паспортные данные (теперь я буду в курсе всей их рекламы, но теперь «Специально для Вас...»)

Звоню через 5 дней — уже с негодованием! — Почему мне не звонят о доставке товара?!
— Ваш ноутбук идет из Москвы в течении 10 дней
— Девушка, мне сказали, что 3-5 дней.
— Нет, вы ошибаетесь 10 дней из Москвы…
— Заглядываю в договор, который мне подсунули после оплаты товара, и на словах сказали «3-5 дней», а там зачеркнуто 10 дней а и написано доставка товара 25 дней. Звоню в справочную службу этой компании 8 (800) XXX-XX-XX
— Вы в курсе, того что в город N доставку осуществляют за 25 дней, когда почта России письмо за 7 дней в любой конец страны, а посылка из Америки мне обычной почтой приходит за 39 дней?
— нет, 10 дней…
Приезжаю в магазин говорю с менеджером:
— А вы знаете, что по России Ваша компания доставляет товар за 10 дней…
— У нас написано 25 дней. Вы знаете машина может сломаться по дороге, вы знаете какие у нас дороги… (это было единственное его объяснение. У всех кризис, но не до такой же степени: за 25 дней проходя 40км пешком в день. Я сам доставлю этот ноутбук до своего дома из Москвы)
— Вы знаете, что я направил претензию в Москву на Ваше имя и на имя менеджера. У вас есть еще 2 дня по правилам Вашего магазина… Да, и еще почитайте закон, а то я рассказал про Ваши объяснения лицензионного ПО и сервисного обсуживания службе поддержки пользователей.
— Через 2 дня вечером звонок обрадовал меня присутствием товара в магазине.
— Я приехал подписал все бумаги забрал ноутбук, при этом весь магазин собрался и смотрел на меня как белого медведя в пустыне. (Я лишь всего лишь навсего отстоял свои права)
Они мне не выдали гарантийный талон на ноутбук, что вызвало отдельное разбирательство, поскольку эта фирма ноутбуков не имеет гарантийных талонов. Все гарантийные обязательства осуществляются по чеку. Это мне сказали в справочной службе фирмы ноутбуков, а вот в справочной центре магазина информация была другой – магазин Вам объязан был выдать гарантийный талон. Я попросил службу поддержки выслать мне официальное письмо о том, что они не предоставляют гарантийный талон, что они и сделали сразу.

Ложка вторая
Я радовался ноутбуком до того момента как не понял, что у клавиатуры залипает одна клавиша. И на зло она встречается ни раз в моих паролях. Сдавать ноутбук снова на 45 дней в сервисный центр из-за такой поломки мне уже не хотелось, вспоминая первую статью. Менять тоже не хотелось, потому что тогда бы опять пришлось доказывать что денег должны отдать больше, чем я заплатил, поскольку точно такой же ноутбук стал стоить дороже на 25% и это всего за 10 дней.

Ложка третья
Сразу возникла вторая проблема. В этой новой нахваленной всеми системе, которую я купил нет поддержки не таких уж новых стандартов безопасности как WPA и WPA2 для беспроводных сетей, а есть лишь поддержка старого WEP. Даже на форумах Microsoft эти вопросы про WPA без ответов. Однако, каким-то образом я нашёл и скачал патч именно для моей 32 битной Vista, однако, когда я начал его ставить патч сказал, что он не подходит для моей системы.
При этом просто так настроить беспроводное соединение не получалось даже на двух ноутбуках с разными версиями Vista и уже хотя бы на WEP. «ограниченное соединение» писал мне красивый интерфейс. Тут я вспомнил про счастливую покупку лицензии и решил позвонить в службу Microsoft о запросе решения данной проблемы. «Информации по данной проблеме нет, поскольку Microsoft не несет ответственности за работу оборудования WiFi сторонних производителей» — ответили мне в телефонной трубке. Мне порекомендовали обратиться на форумы. После нескольких танцев с галочками, WORKGROUP и различной длиной пароля и Passphrase мне удалось настроить беспроводное соединение.

Ложка Четвертая
Идем дальше – решил поставить ubuntu. И тут я подумал о разбиении винчестера на разделы. Кто придумал так делить их?! Раздел восстановления и его файлы лежали на слайсе в 120Гб, система на остальных 130Гб. Я привык что система отдельно, личные файлы отдельно, бекап отдельно и еще один раздел пустой и неформатированный «на всякий случай».
Я решил записать диски для бекапа, благо далеко лезть не надо, и поставить систему с них, но предварительно разбить диск под свои нужды. Каково же было моё удивление, когда диск после форматирования выдал мне, — что система будет установлена на раздел в 130Гб… я отменил. Я подумал, может я что-то пропустил. Загрузился, посмотрел разделы — всё в порядке.Раздел сохранены, но решил попробывать вариант диска. Так вот этот бекап не восстанавливает систему, а восстанавливает диск как он был залит на заводе.

Господа, скажите мне в чём смысл такого восстановления системы, когда все мои файлы затираются после восстановления?!

Я позвонил в службу поддержки и написал «гневное» письмо о том, что мне нужно разбить винт, сохранить лицензию и при это не потерять данные! На письмо мне пока не ответили, а по телефону предложили воспользоваться PArtition MAgic, который я предположительно должен купить и который по моему опыту не умеет безопасно ужимать разделы без потери данных и самое главное не умеет ужимать разделы на которых он установлена сама система, что логично.

Предполагаю, что есть наверное какой-то Live CD, который надо воткнуть создать образ, диска C, притом так чтобы он поместился меньше чем на 5 DVD, потом тоже самое сделать с разделом восстановления, потом это всё надо зарезать на винт и при этом не увидеть какую-нибудь ошибку типа: «я не могу загрузиться», а то придеться возвращаться обратно на диск восстановления заводских настроек. и всё сначала

Может быть кто-нибудь расскажет о своём опыте общения с этими лицензионными вещами, за которые ты платишь деньги, но при этом они столько неудобства доставляют, что хоть стой хоть падай.
P.S. Вот был первый ноутбук, Vista тогда была еще совсем сырой, она просто перестала восстанавливаться с раздела восстановление. Почистил всё и поставил уже сами понимаете что и всё работало…
Всего голосов 44: ↑14 и ↓30 -16
Просмотры 356
Комментарии 35

Собираем тихий и вместительный домашний сервер

DIY или Сделай сам
image
Задача: собрать малогабаритный домашний сервер с четырьмя 3,5-дюймовыми HDD, по возможности тихий. Служить будет в качестве NAS, backup-сервера и торрентокачалки.

Решение
Читать дальше →
Всего голосов 107: ↑100 и ↓7 +93
Просмотры 36K
Комментарии 164

Бекап Windows-ПК средствами WinRAR и FTP

Чулан
Привет, хабровчане.

В последнее время на Хабре было несколько статей, иллюстрирующих различные способы бекапов данных. (Например, раз, два.)

Тема всегда актуальная и способов ее решения так же много, как и требований к такой системе, у каждого они свои. Есть много достойных сторонних продуктов, как платных так и бесплатных, но некоторые пытаются сделать что-то свое штатными или почти штатными средствами. Я отношусь к таким энтузиастам. Попробовав различные готовые решения, решил попытаться использовать то, что есть под руками.

Под руками оказался внешний винт на 500 Гб, протокол FTP и WinRAR. Также имеется небольшой офис с 6-ю ПК под управлением WinXP, данные с которых неплохо бы периодически сливать во внешнее хранилище.

Что из этого получилось?
Всего голосов 16: ↑7 и ↓9 -2
Просмотры 12K
Комментарии 21

Софт для бекапа сайтов ftp&mysql

Чулан
Уважаемые,

Я вчера озадачился проблемой бекапа своих сайтов и в поисках решения набрел на следующую программу SiteVault. Демка показала, что это в принципе то, что мне нужно.

Но:

а) хотелось бы узнать существуют ли аналоги чтобы сравнить;
б) цена в 99$ не то чтобы неподъемная, но жаба всё же душит :).

Программа должна уметь выкачивать сайт и базу MySql проектом, ну и восстанавливать их. А также работать по расписанию. Собственно это всё, что нужно.

Заранее спасибо.
Всего голосов 16: ↑5 и ↓11 -6
Просмотры 295
Комментарии 24

Я ненавижу компьютеры: исповедь сисадмина

Системное администрирование *
Перевод
Я часто задаюсь вопросом: бывает ли у сантехников такой момент в их карьере, когда после очистки очередного засорившегося водостока они начинают ненавидеть свою профессию? Ненавидеть трубы. Ненавидеть шпатлёвку. Ненавидеть все уловки, которые они выучили за годы, ненавидеть учиться новым. Ради бога, это ведь всего лишь сантехника: соединять трубы и пускать по ним жидкость. Неужели это может быть сложно?
Я ненавижу компьютеры
Всего голосов 282: ↑222 и ↓60 +162
Просмотры 4.7K
Комментарии 263

Как узнать, что бекап прошел успешно

Системное администрирование *
Приветствую!

Всем известно, что админы делятся на тех кто еще пока не делает бекапы и на тех, кто уже делает бекапы. Однако, есть мнение, что еще бывают и такие, кто свято убежден, что бекапы делаются, а на деле это не так. В этом посте мне бы хотелось рассказать парочку реальных историй и (если получится) подвести итоги, сделать выводы.

Читать дальше →
Всего голосов 55: ↑48 и ↓7 +41
Просмотры 12K
Комментарии 34

BackupDay тестирует «Acronis True Image Home 2011»

Я пиарюсь
ЖЖ-шная инициатива BackupDay, о которой тут сообщалось, уже привлекла две с половиной сотни читателей и продолжает расти. Тема своевременного бэкапа таки оказалась востребованной в широких массах – особенно женской её части, трепетно берегущей семейные фото-архивы.

Компания Acronis заметила проект и предложила конкурс – протестируй и напиши обзор на «Acronis True Image Home 2011» или «Acronis Disk Director 11 Home» и получи его бесплатную активацию на 2 года в личное пользование.

15.78 КБ

Как принять участие?

Читать дальше →
Всего голосов 22: ↑6 и ↓16 -10
Просмотры 559
Комментарии 3

Онлайн хранение документов — как быть спокойным за свои данные?

Информационная безопасность *
Из песочницы
«Бекап в облако»… Как красиво это звучит, и как симпатично предлагается на рынке! Я смотрю по сторонам, и удивляюсь: весь мир сходит с ума по онлайн-хранению документов. Dropbox, Wuala, Zumodrive, Box.net — выбирай, не хочу! Каждый отличается чем-то своим, каждый старается подвигнуть жить в своей парадигме, со своим клиентом, каждый уверяет в сохранности и неприкосновенности данных.

Последнее, правда, наводит на размышления. Я верю в искреннее желание авторов этих сервисов сделать все по уму, безопасно и просто красиво. Но я, при этом, понимаю, каким сильным может быть давление обстоятельств — то всплывает тема разбирательства с пользователями, которые хранят что-то не то (а судить, то или нет, почему-то хочет кто-то третий — и круг имеющих доступ к данным растет), то, как будто бы без причины, шифр оказывается расшифровываемым не только владельцем, то сервера сервиса оказываются не самым лучшим образом доступными. Все это заставляет меня задуматься, а есть ли смысл пользоваться чем-то внешним, по определению не самым надёжным, и хочу ли я успокаивать себя, что «не такая я важная птица, никому мои данным не нужны».
Причин порыться в моих данных...
Всего голосов 60: ↑44 и ↓16 +28
Просмотры 7.9K
Комментарии 99

Backup решение от Cloud4Y

Блог компании Cloud4Y
Приветствуем Хабра людей!

Хотим представить вашему вниманию возможности нашего облачного резервного копирования.

На сайте www.cloud4y.ru заходим в панель управления под своим логином.

Для начала нужно создать новую виртуальную машину — create new virtual machine

Читать дальше →
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 3.9K
Комментарии 8

Сбой в ДЦ МГУ

Блог компании Parking.ru
В ночь с 16 на 17 декабря 2011 года у нас произошел серьезный сбой одного из наших хранилищ. В результате пострадало порядка 100 виртуальных серверов, часть из которых были облачными.

Серверы которым была заказана услуга бекапа и администрирования были восстановлены в кратчайшие сроки в соответствии с SLA (http://www.parking.ru/documents/). Сейчас ведутся работы по восстановлению хранилища и попытке вернуть «к жизни» серверы, к которым мы не имеем административного доступа, среди них в основном были серверы под Linux без компонентов интеграции, что не позволило резервировать их при помощи механизма System Center Data Protection Manager.

p.s. Если у Вас есть бекап данных, то мы можем в кратчайшие сроки восстановить вашу машину, не дожидаясь проверки и восстановления всего хранилища. Для этого нужно обратиться в службу нашей технической поддержки info@parking.ru

UPD. Работа хранилища восстановлена, но желательно проверить свои серверы.
Всего голосов 13: ↑9 и ↓4 +5
Просмотры 3K
Комментарии 13

Катастрофоустойчивые IT-системы: как внедрить в своей компании

Блог компании КРОК
Представьте, что ваш дата-центр (или боевой сервер) сегодня упал. Просто взял и упал. Как показывает практика, готовы к этому далеко не все:

  • 93% компаний, которые теряли свой ЦОД на 10 и более дней из-за катастрофы, стали банкротами в течение года (National Archives & Records Administration in Washington)
  • Каждую неделю в США выходит из строя 140 000 жестких дисков (Mozy Online Backup)
  • У 75% компаний нет решений для аварийного восстановления (Forrester Research, Inc.)
  • 34% компаний не тестируют резервные копии.
  • 77% тех, кто тестируют, обнаруживали нечитаемые накопители в своих библиотеках.

В предыдущих постах (раз и два) я писал про организационные меры, которые ускорят и облегчат восстановление ИТ-систем и связанных с ними процессов компании при чрезвычайной ситуации.



Сейчас поговорим про технические решения, которые в этом помогут. Их стоимость разнится от нескольких тысяч до сотен тысяч долларов.
Читать дальше →
Всего голосов 22: ↑17 и ↓5 +12
Просмотры 49K
Комментарии 17

Правильный бэкап в ЦОДе

Блог компании КРОК

EMC Avamar в ЦОД КРОК

Вот этот здоровенный шкаф из нескольких серверов называется EMC Avamar. Он стоит у нас в дата-центре, занимается резервным копированием, и делает это очень интересно.

Что внутри шкафа?


Технологически – это блок x86-серверов, сейчас их 10 штук. Архитектура следующая: есть запасной узел и узел управления, а на остальные 8 пишутся данные. Учитывая избыточность (принцип кода Хэмминга, равномерное распределение RAIN – Redundant Array of Independent Nodes), при выходе из строя любого из узлов, данные сохраняются. Запасной узел в этот момент заменяет убитый. Итого в системе непосредственно используется только 50% каждого узла — резервный узел, узел четности и вторая половина уходит на нужды обеспечения сохранности данных. Физическая ёмкость массива 200 Тб превращается в 62,5 Тб.
Читать дальше →
Всего голосов 28: ↑21 и ↓7 +14
Просмотры 33K
Комментарии 27

Комплексная автоматизация резервного копирования баз данных Firebird/InterBase на Windows-серверах

Firebird/Interbase *
Из песочницы
Tutorial
image
Приведенный ниже материал может быть полезен начинающим администраторам баз данных, которые осознали важность создания системы резервного копирования, но пока не разжились собственными скриптами или утилитами. Ниже я приведу скрипт в виде командного bat-файла, используемого в нашей организации для автоматизации снятия бекапов с баз данных Firebird, разберу его ключевые фрагменты и приведу примеры использования. Он также подойдет для баз данных Interbase или Yaffil, но полагаю, что с минимальной переделкой вызова утилиты-бекапера, его можно адаптировать практически для любой СУБД.
Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 29K
Комментарии 8

Бекапы в моей жизни

Восстановление данных *
image
Знакомство с бекапами в моей жизни началось почти сразу после знакомства с компьютерами в 2001 году. И тут уместна поговорка админы делятся на два типа, первый тип это те которые еще не делали Backup и второй те кто уже делает. Почти сразу же был подхвачен вирус, которые испортил все файлы jpeg на компе, просто записав в них какой то мусор, слава богу было время ещё аналоговой фотографии и их можно было просто отсканить ещё раз. Но уже тогда в моем мозгу крепла мысль иметь всегда копию.

Сперва она лежала на соседнем компе в кабинете информатики. Потом появилось чудо пишущий cdrom со скоростью 1-2x для записи, я стал покупать болванки стоили они тогда по моему рублей 50 и со временем подешевели рублей до 5 для безбоксовых вариантов. С того времени у меня осталось две больших коробки с записанными дисками. Время шло болванки дешевели и неожиданно мой хороший друг потратив какие то бешеные деньги купил пишущий dvdrom со скорость 2-4x записи, dvd болванки стоили тогда больше 100 рублей и покупать их было бедному студенту очень накладно.
Читать дальше →
Всего голосов 21: ↑5 и ↓16 -11
Просмотры 12K
Комментарии 11

Как мы «перенесли» всю инфраструктуру в «облако» за 5 дней

Блог компании КРОК
К нам недавно пришел заказчик и сказал: нужно перевести работу всей компании в «облако». Желательно вчера. В общем, как и все авральные проекты — задача мечты, потому что работы много, а времени нет.

По сути, нужно было с нуля спроектировать архитектуру IT и перенести туда данные сотрудников. Со стороны заказчика — исполнительный-директор и его напарник, около 100 человек пользователей на 4 площадках, с нашей стороны — четыре небольшие рабочие группы. Одна занималась терминальным доступом, вторая — отвечала за почту. Третья занималась инфраструктурой (VPN, сетевое взаимодействие), и четвертая настройкой бэкапа.

Справились за пять календарных дней — за среду провели полный аудит ИТ-инфраструктуры компании Таврос, разработали основные архитектурные решения и выбрали технические средства для их реализации. Следующие 2 дня специалисты КРОК активно работали над развертыванием соответствующей требованиям заказчика инфраструктуры. В субботу и воскресенье допиливали мелочи и тестировали. В понедельник пользователи компании вышли на работу и ничего не заметили, но большинство ИТ-объектов уже были в нашем «облаке».
Читать дальше →
Всего голосов 44: ↑32 и ↓12 +20
Просмотры 35K
Комментарии 26
1