Как стать автором
Обновить
0
0
Алексей Старцев @AStartsev

Пользователь

Отправить сообщение

Скрипт резервного копирования через rsync

Время на прочтение3 мин
Количество просмотров28K
Возникла необходимость как-то и куда-то бэкапится. Причём чтобы процессоры не грузились и место не занималось, а бэкапы ротэйтились и удобно доставались. Раньше всегда пользовался fsbackup, но захотелось отказаться от архивирования. Для решения задачи была использована rsync и механизм жёстких ссылок (так называемых хардлинков) файловой системы.

Архитектура: есть отдельно стоящий сервер с большим винтом — на нём и работает скрипт. Есть много разных серверов с доступом по ssh, на которых в ~/.ssh/authorized_keys добавлен публичный ключ пользователя, под которым работает скрипт резервного копирования.
Читать дальше →
Всего голосов 43: ↑38 и ↓5+33
Комментарии36

Как мы писали SLA

Время на прочтение6 мин
Количество просмотров92K
Всем привет. Я с моими коллегами работали(ем) в небольшой аутсорсинговой компании. Таких мелких компаний, предоставляющих услуги по обслуживанию инфраструктуры достаточно много, да и почти каждый Системный администратор или ИТ менеджер задумывался, а не начать ли мне подобный бизнес? Одному ли, или с партнером? Вопросов на этом этапе возникает много и я со своей позиции могу поделиться опытом по созданию подобной «конторы».
Начать хотелось бы с конца, ну или почти с конца — с написания SLA. На самом деле SLA просто необходима, даже если вы начинаете работать один и берете себе клиентов на фриланс. SLA сможет помочь вам мотивированно отказывать симпатичной секретарше в просьбе починить очередной чайник. Я конечно же утрирую, но истина не так далека от примера с чайником. Если вы хотите предоставлять конвеерные услуги, т.е. такие, которые бы были идентичны от клиента к клиенту, то SLA вам в руки. Его можно называть как угодно: доп. соглашением, соглашением уровня сервиса или просто приложением к договору.
Собственно мы столкнулись с задачей по написанию SLA, когда поняли, что клиенты недовольны тем, что мы не являемся по щелчку пальца и не решаем задачи по мановению волшебной палочки. Твердо решив узаконить отношения с клиентами был составлен юридически «правильный» договор и некое подобие SLA. Конечно многие ИТ менеджеры начнут кидать в меня помидоры, но все же, то что мы создали имеет право называться SLA, т.к. несет аналогичную смысловую нагрузку.
Читать дальше →
Всего голосов 46: ↑44 и ↓2+42
Комментарии30

Pinba — мониторим php в реальном времени

Время на прочтение4 мин
Количество просмотров57K
Как сказано на официальном сайте
Pinba is a realtime monitoring/statistics server for PHP using MySQL as a read-only interface.

И это действительно так. Она позволит вам в реальном времени получать статистику по работающему приложению, при этом не замедляя само приложение.
Что делать со статистикой — это уже ваше дело, например, мы выводим ее в заббикс и используем как для мониторинга стабильности (нет ошибок, мало число длинных запросов), так и для аналитики.
Удивительно, что про это действительно замечательное изобретение не было еще ни одной статьи на хабре.

Прочитать еще
Всего голосов 177: ↑176 и ↓1+175
Комментарии116

Скромное руководство по прохождению интервью: часть 2

Время на прочтение5 мин
Количество просмотров20K
Во второй части поста будут рассматриваться “Алгоритмы и концепции”, если вы не читали предыдущий пост или хотите “вспомнить” список тем, то загляните сюда.

Алгоритмы и концепции

Сортировка и поиск

Понимание/знание известных алгоритмов сортировки очень важно, поскольку многие решения связанные с сортировкой или поиском, мягко говоря, требуют владения этими алгоритмами. Хороший способ показать свои знания перед интервьюером, когда дана здача на сортировку – это «пробежать» по известным алгоритмам и увидеть/выяснить какой из них лучше всего подходит для решения данной задачи. Вы получите и решение и то, что интервьюер будет довольным вашими «разными» способов решения одной и той же задачи.
Читать дальше →
Всего голосов 69: ↑64 и ↓5+59
Комментарии43

ISPmanager Cluster

Время на прочтение1 мин
Количество просмотров5.1K
Компания ISPsystem объявляет о выходе нового программного продукта ISPmanager Cluster.
Кластер — объединение однородных элементов в группу, которая функционирует и рассматривается как единое целое.
ISPmanager Cluster это:
— Единая точка входа. В отличие от традиционного подхода «много серверов — много панелей управления», ISPmanager Cluster имеет единую точку входа в панель управления. Веб-интерфейс ISPmanager Cluster построен на основе ISPmanager Pro и обладает всем необходимым набором функций для оказания услуг shared-хостинга.
— Отказоустойчивость. Различные виды сервисов и задач распределяются между различными машинами, и выход из строя одной из них, никак не влияет на функционирование системы в целом. В случае аварийной ситуации, вы просто меняете один из серверов, причём необязательно делать это в «пожарном» режиме.
— Масштабируемость. По мере роста числа клиентов и/или создаваемой ими нагрузки вы просто добавляете новые сервера в кластер.
image

ISPmanager Cluster — это программный продукт, позволяющий оказывать услуги shared хостинга на принципиально иной основе и на другом качественном уровне.

Подробнее о продукте на нашем сайте.
Всего голосов 11: ↑8 и ↓3+5
Комментарии11

Система автоматической генерации настроек DNS-сервера Bind

Время на прочтение5 мин
Количество просмотров7.7K
По службе приходится часто и много создавать зоны ДНС, добавлять или изменять в них записи. Вручную это довольно кропотливый и сложный процесс: ведь надо держать в голове синтаксис и не ошибаться в мелочах. Для таких вещей самое оно заставить работу выполнять компьютер.

IAdmin — это система создана для автоматической генерации конфигов Bind на хостинговом сервере и представляет собой базу iadmin в БД MySQL и скрипт, который на основании данных из базы генерирует конфигурационные файлы. Для настройки Bind используются таблицы dns_domains, dns_records, dns_subgmail. Основной скрипт, написанный на перле читает данные из БД iadmin и создаёт файлы конфигурации. Файлы зоны генерируются в дирректории /var/cache/bind/. Там же хранятся и прочие файлы зон, которые не обслуживаются системой iadmin. Этой же системой создаётся конфиг для secondary-DNS, который туда и переносится. До тех пор, пока скрипт не отработает, все изменения из БД НЕ материализуются.
Читать дальше →
Всего голосов 21: ↑18 и ↓3+15
Комментарии29

Lock-free memcache API

Время на прочтение5 мин
Количество просмотров4.9K
Доброго времени суток, хабражители!
Этот пост есть краткий конспект многих часов раздумий, каляк на бумаге, набросков кода и, в конце-концов, реально работающего кода в продакшене.
Наш сайт (и далее — просто сайт) активно использует мемкеш для горячих данных. Код, заполняющий мемкеш, может работать очень долго (0,5 секунд — это долго) и при этом пользовательские запросы успевают запустить ещё сотню процедур обновления. Последстия понятны, однако долго мы просто не могли их заметить на уровне общей нагрузки. Только когда мы увидели всплески времени на обслуживание некоторых запросов (от возросшей нагрузки они ещё и попадали в SLOW_QUERIES_LOG MySQL) — тогда и закипела работа.
Пара рисунков, 100 строк кода и увлекательные пояснения здесь.
Всего голосов 57: ↑49 и ↓8+41
Комментарии69

Посещаемость сайтов контент-ферм значительно снизилась со времени введения нового поискового алгоритма Google

Время на прочтение2 мин
Количество просмотров1.9K


Со времени введения нового поискового алгоритма, направленного на борьбу с контент-фермами, прошло уже пара месяцев (Google ввел алгоритм в феврале). Уже через пару недель некоторые контент-фермы заявили о том, что они терпят значительные убытки, а такой компании, как Mahalo, пришлось распрощаться со своими фрилансерами. Теперь стало известно о том, что и такой гигант, как Demand Media, не застрахован от изменений поискового алгоритма.

Читать дальше →
Всего голосов 61: ↑57 и ↓4+53
Комментарии62

Подводные камни при использовании кэширования в nginx

Время на прочтение10 мин
Количество просмотров57K
В web-сервер и reverse-proxy nginx встроены очень мощные возможности по кэшированию HTTP-ответов. Однако в ряде случаев документации и примеров не хватает, в результате не все получается так легко и просто, как хотелось бы. Например, мои конфиги nginx-а местами написаны кровью. Этой статьей я попробую немного улучшить ситуацию.

В этой статье: а) подводные камни при полностраничном кэшировании; б) кэширование с ротацией; в) создание динамического «окна» в закэшированной странице.

Я буду предполагать, что вы используете связку nginx+fastcgi_php. Если вы применяете nginx+apache+mod_php, просто замените имена директив с fastcgi_cache* на proxy_cache*

Если выбирать, кэшировать ли страницу на стороне PHP или на стороне nginx, я выбираю nginx. Во-первых, это позволяет отдавать 5-10 тыс. запросов в секунду без каких-либо сложностей и без умных разговоров о «высокой нагрузке». Во-вторых, nginx самостоятельно следит за размером кэша и чистит его как при устаревании, так и при вытеснении нечасто используемых данных.

Кэширование всей страницы целиком


Если на вашем сайте главная страница хоть и генерируется динамически, но меняется достаточно редко, можно сильно снизить нагрузку на сервер, закэшировав ее в nginx. При высокой посещаемости даже кэширование на короткий срок (5 минут и меньше) уже дает огромный прирост в производительности, ведь кэш работает очень быстро. Даже закэшировав страницу всего на 30 секунд, вы все равно добьетесь значительной разгрузки сервера, сохранив при этом динамичность обновления данных (во многих случаях обновления раз в 30 секунд вполне достаточно).
Читать дальше →
Всего голосов 91: ↑87 и ↓4+83
Комментарии83

Отдаём статику nginx'ом

Время на прочтение2 мин
Количество просмотров4.8K
Начиная с версии 0.8.11 в nginx появилась новая возможность для раздачи статики — использование AIO (Asyncronous Input-Output — неблокирующий ввод-вывод) для Linux и FreeBSD.

Чем это событие знаменательно? До этого момента nginx использовал неблокирующий режим только при работе с сетью — любая работа с файлами блокировала рабочий процесс. К чему это приводило? Если у вас есть много разного контента, который не весь находится в кэше ОС (фотохостинг, etc) — то рано или поздно все 50, 150, 200 процессов будут ждать дисковые операции и не смогут обслужить нового клиента — даже если нужный ему контент можно отдать из файлового кэша или запросить с бэкенда.

Как с этим боролись раньше?
Всего голосов 42: ↑38 и ↓4+34
Комментарии18

Нагрузочное тестирование «по-быстренькому»

Время на прочтение3 мин
Количество просмотров210K
Может кому будет интересно как «по-быстрому» провести нагрузочное тестирование своего веб-приложения.
Подробности под катом
Читать дальше →
Всего голосов 86: ↑82 и ↓4+78
Комментарии40

Оптимизация скорости бэкапов средствами файловой системы (read ahead, опережающее чтение)

Время на прочтение5 мин
Количество просмотров13K
Данная статья адресована инженерам и консультантам работающим с производительностью операций, связанных с последовательным чтением файлов. В основном, это конечно бэкапы. Cюда же можно включить чтение больших файлов с файловых хранилищ, некоторые операции баз данных, например полное сканирование таблиц (зависит от размещения данных).
Читать дальше →
Всего голосов 26: ↑24 и ↓2+22
Комментарии16

Обзор «фабрики контента» Relevant Media

Время на прочтение9 мин
Количество просмотров15K
Большинство проектов, которым требуется качественный контент, оказываются в затруднительном положении. С одной стороны, конечно, хочется, чтобы он был мегакачественным — и тут директор непременно ткнёт пальцем в лучшие тематические сайты. Но, с другой стороны, когда выясняется ценообразование этого самого контента (авторы, редакторы, эксперты, человеко-часы на подбор команды и умение ей управлять), то внезапно выигрывают безымянные копирайтеры с free-lance.ru и бюджет ценой похода в супермаркет.

Однако есть и срединный путь. Контент — это работа, его можно производить в заданных объёмах с указанными параметрами качества, которые вполне поддаются формализации. И вполне можно наладить конвейер, на котором буквы будут складываться в тексты приличного уровня, небессмысленные, читабельные, информативные. Достаточно все эти параметры задать в исходном ТЗ. Ну и собрать людей, которые умеют так работать. Конечно, фабричный продукт будет уступать по многим параметрам уникальным работам отдельных умельцев, но у него будут все преимущества мануфактурного производства: масштабируемость и воспроизводимость результата при приемлемой стоимости конечного изделия. Именно такую фабрику контента и представляет собой проект Relevant Media, выпущенный Fast Lane Ventures:



Читать дальше →
Всего голосов 34: ↑22 и ↓12+10
Комментарии42

Что мне нравится в Redmine

Время на прочтение4 мин
Количество просмотров130K
В недавней статье об инструментах управления проектами был задан вопрос о различиях Trac и Redmine. Ниже перевод довольно субъективной, но вполне аргументированной статьи о различиях между этими системами.

Читать дальше →
Всего голосов 38: ↑35 и ↓3+32
Комментарии35

«Облако» как альтернатива традиционному хостингу

Время на прочтение8 мин
Количество просмотров36K

На последнем РИФе я рассказывал об «облаке» как альтернативе традиционному хостингу (на примере Амазона).

С тех пор прошло несколько месяцев. За это время я многократно дискутировал как с ярыми противниками «облака», так и с не менее активными сторонниками.

Последний такой спор случился пару дней назад непосредственно с хостерами. И закончился (с их стороны) примерно таким выводом: «Сейчас облако в хостинге — маркетинговое зло, которое только путает людей».

Тема, как мне кажется, не просто популярная и интересная, но и очень важная. Поэтому я хотел бы обобщить свой собственный опыт (у меня есть несколько личных сайтов на виртуальном shared хостинге, периодически по знакомству присматриваю за одним дедиком, а все рабочие проекты размещены в «облаке» Амазона) и вместе с вами постараться разобраться во всех плюсах и минусах облачного хостинга по сравнению с традиционным.
Читать дальше →
Всего голосов 93: ↑82 и ↓11+71
Комментарии160

Бесплатные мобильные IBM Connections

Время на прочтение3 мин
Количество просмотров2.6K
Далеко не все знают, что компания IBM занимается разработкой и распространением социального инструмента, который позволяет эффективно выстраивать сообщества, вики, социальные потоки, форумы для обсуждений и многие другие вещи, способные сплотить коллектив вашей компании в единую внутреннюю социальную сеть — Connections, входящую в семейство продуктов Lotus. Сегодня мобильная версия Connections стала бесплатной.

Версии приложения существуют для самых популярных мобильных платформ: Android, iOS и Blackberry. Мобильное приложение подключается к серверу на базе Windows или Linux Connector, установленному в вашем офисе. Если IBM Connections не используется в вашем бизнесе, но вам хочется посмотреть на функционал приложения и попробовать его в деле — вы можете это сделать. Зарегистрируйтесь на сайте Lotus Greenhouse (вы оформляете заявку, ее рассматривают и в том случае, если все хорошо, присваивают вам логин и пароль — мою заявку рассматривали 5 минут), после чего эти же данные используются для входа в мобильное приложение. Когда приложение спросит вас о URL'е для подключения к серверу — укажите greenhouse.lotus.com/mobile
Читать дальше →
Всего голосов 13: ↑11 и ↓2+9
Комментарии6

Как Стив Джобс воскресил студию Pixar

Время на прочтение2 мин
Количество просмотров15K
Стив Джобс очень грамотно использовал свой талант менеджера. За короткое время он превратил маленькую компьютерную фирму Pixar в одну из лучших киностудий Америки. Как ему это удалось — пишет NY Times.

Студию Pixar основал в 1979 году Джордж Лукас после успеха своих «Звёздных войн». Тогда она называлась просто “Computer Division” и было компьютерным подразделением Lucasfilm. Лукас пригласил лучших специалистов по компьютерной графике, но не знал, что с ними делать. Фильм «Империя наносит ответный удар» в 1980 году вышел вообще без компьютерных спецэффектов.

В 1986 “Computer Division” было решено выделить в отдельную компанию и найти внешнего инвестора. Компанию переименовали в Pixar, а её руководители предстали перед лицом Стива Джобса. Уже тогда личное состояние Стива составляло $185 млн и он был в своём роде культовой фигурой. Его предложение в размере $5 млн было сначала отвергнуто, но после безуспешного поиска другого инвестора владельцы студии, в конце концов, согласились на такую сумму. Джобс изначально видел большие перспективы в технологиях трёхмерной анимации. На протяжении десятилетия он гнул свою линию и продолжал верить в. Как всегда, интуиция не подвела Стива.

Нужно сказать, что на протяжении затянувшегося десятилетнего кризиса Джобс использовал весь свой авторитет и влияние, чтобы удержать контроль над студией. В 1991 году он непонятным образом убедил сотрудников отдать свои пакеты акций взамен на сохранение его личного патронажа над компанией. В середине 90-х Стив настоял на проведении IPO.
Читать дальше →
Всего голосов 72: ↑61 и ↓11+50
Комментарии77

Титаны. Стив Джобс (перевод)

Время на прочтение1 мин
Количество просмотров1.7K
Несколько недель назад американский телеканал CNBC продемонстрировал фильм из своего документального цикла «Титаны», посвященный главе компании Apple Стиву Джобсу. Эти фильмы рассказывают о жизни выдающихся людей, изменивших мир. И конечно же, этот список был бы неполным, если бы в нем не было создателя Mac, iPod, iPhone, iPad и множества других полезных вещей. Русская озвучка подготовлена сайтом — AppleInsider.ru



Еще 2 части под катом.
Читать дальше →
Всего голосов 145: ↑126 и ↓19+107
Комментарии41

Развод под видом Сделки без риска на free-lance.ru. Как не стать обманутым

Время на прочтение5 мин
Количество просмотров32K


Не так давно, сайт free-lance.ru весьма значительно поменял условия накопления рейтинга исполнителями. Основное новшество, которое вызвало бурю недовольства фрилансеров – это уменьшение влияния отзывов заказчиков на рейтинг исполнителя. Если ранее, можно было без денег наработать себе хороший рейтинг, собирая позитивные отзывы работодателей, то теперь самый верный способ быть в верху списка – проводить заказы через Сделку без риска.

Задумка Сделки без риска весьма хороша. Заказчик договаривается с исполнителем о работе, они оговаривают задание, сумму вознаграждения и сроки. После этого, вместо предоплаты 50% исполнителю, заказчик перечисляет 100% суммы на счет сайта. Исполнитель видит, что сумма зарезервирована, выполняет работу, показывает заказчику результат. Если все хорошо, заказчик п говорит «оккей» и Фриланс переводит всю сумму исполнителю. Если же возникли споры, то free-lance выступает судьей, выслушивает стороны, проверяет результаты работы и по своему усмотрению выносит вердикт:
— или вернуть деньги заказчику
— или оплатить работу в оговоренном объеме исполнителю.
Всего 5% с каждого Фрилансу и все счастливы.

Однако на практике Сделка без риска стала отличным поводом для заказчика потерять 100% суммы. Ниже моя история про то, как я чуть не потерял $200 на этой услуге. Сразу оговорюсь, сам free-lance.ru никакого отношения к мошеннику не имеет!
Читать дальше →
Всего голосов 183: ↑168 и ↓15+153
Комментарии113

Кризис Drupal

Время на прочтение3 мин
Количество просмотров8.7K
В последнее время наметились довольно очевидные признаки того, что можно назвать критическим этапом в развитии Drupal.

Февраль 2008: началась разработка Drupal 7.

Октябрь 2008: 285 незакрытых багов для Drupal 7.

Март 2009: Пришёл специалист по переделке интерфейса Drupal 7 (D7UX).

Июнь 2009: 3120 незакрытых багов (13 763 в общей сложности).

Сентябрь 2009: Первоначально предполагалось заморозить код на этом этапе, но решили разработать (с нуля) ещё 10 новых фич и включить их в состав Drupal 7.
Читать дальше →
Всего голосов 174: ↑152 и ↓22+130
Комментарии209

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность