Спасибо, Андрей за отличную серию статей. Memcached — сила! На первый взгляд и не подумаешь, что за такой простой концепцией скрыватеся столько нюансов и возможностей :-)
Вчера начал тестить memcacheq созданый на основе memcached.
Предполагаю использовать его для синхронизации информации на нескольких сайтах.
Нужно чтобы при изменении информации на сайте1 и сайте2 она также обновлялась на «центральном сайте»
Но не хочу вносить код синхронизации в сайт1 и 2.
Предполагаю сделать так: когда инфа на сайте1 или сайте2 меняется, будет отправлятся сообщение через memcacheq — 'update site1' или 'update site2'
И скрипт по крону будет периодически просматривать очередь сообщений и сливать инфу для сайта3.
А изменение в сайте1 и 2 минимальны — положить сообщение, когда данные обновляются.
Почтовик и со средней нагрузкой такая железка держать будет даже с антивирусом и антиспамом.
По опыту: держу почтовик, настраивал 5 лет назад (альт линукс), кол-во пользователей ~300
postfix+drwebd+антиспам+поп3
машина серверная, но очень старая: 256Мб памяти, Board Name: L440GX+, с RAID, проц 500Мгц
и вот только в этом году «не смогла» :-)
начались проблемы со скоростью обработки почты и выделели новую железку. Перестало хватать проца, памяти — ведь каждое письмо анализируется на вирусы и на спам.
Кстати, довод в пользу брэндовых серваков — то что эта машина проработала только в роли почтовика
5 лет, а вообще она 2001гв, если не ошибаюсь.
Вот такой почетный дедушка сервер у нас, сейчас ДНСом работает.
Речь идет о тенденции, что все больше и больше приложений начинают разрабатывать
как веб-приложение. Примеры: Google: gmail, docs, календари. Я теперь даже не
парюсь с редакторами фотографий, т.к. есть онлайн фотошопы. Есть рисовалки векторной
графики, онлайн игры (браузерные) и это еще только начало )
Их гигантское приемущество - они доступны на расстоянии адресной строки браузера )
Другое значимое приемущество - можно работать совместно;
Все это в придачу бесплатно )
Недостаток конечно - интерфейсы не такие "богатые" как десктопные. Но это не существенно.
PS: Десктопные останутся в любом случае. Сейчас они доминируют и так будет еще долго.
Не могу не поделиться своим опытом :) Sphinx - это отличный продукт!!! До этого небыло такого простого и быстрого способа индексировать контент (из БД) и предоставлять пользователям сайта такой хороший и быстрый поиск. Он не только быстро ищет, но и быстро индексирует. Умеет фильровать, группировать еще там есть очень классная штука - MVA (можно к каждой записи например в блоге подключить теги и потом сделать выборку всех записей с тегом X).
До этого пользовался mnogosearch, он как раз специализируется на индексировании страниц, как классический поисковик. Нормально работал.
Сфинкс дает гораздо большую гибкость как в индексировании так и в представлении результатов поиска.
Еще его можно использовать не по назначению ) На больших объемах данных он по производительности
превосходит MySQL и его можно использовать как дополнение для быстрых выборок и поиска.
Да, уверен на 100% что RAID1. У меня не большой опыт работы с RAID контроллерами (с целью его получить и начал эксперименты). т.е. мне тоже не ясно почему он ругается именно на бэд страйп.
Кстати, после того, как выдернул винт, я загрузился с первого (уже в degrade режиме) убедился что система работает. После этого воткнул винт (не выключая компа, там саласки удобные, но не уверен, что они для хот свопа "на свой страх и риск"), дал команду arconf RESCAN 1 после этого
он увидел его и долго делал толи ребилд, толи verify and fix...
когда закончил, он все равно остался в degrade...
По совету anton_k пойду на 3nity.ru советоваться дальше :-)
Неделю назад купили сервер на платформе Supermicro 5015 кажется МТ-Т, 1u
с RAID контроллером Adaptec 3405. (за 55т.р. кстати) тоже под веб сервер
Настроил тоже RAID1 из 2х SATA винтов.
Для эксперимента выдернул один винт. Пошли всякие сообщения об ошибках (ОС Linux Ubuntu Server 7.10) (в dmesg и messages)
Комп не завис, но все операции записи на жесткий диск заблокировал.
Т.е. реально система стала не рабочей, хотя и не зависла...
Перезагрузился, контроллер завопил о проблеме, предложил сохранить новую конфигурацию или оставить старую... Вобщем, система загрузилась с одного винта.
Попытался вернуть винт, сделал RESCAN (он долго делал операцию verify и fix),
но так и остался в degrade статусе. Говорит bad stripe... как это побороть не знаю.
Все оказалось не так радужно, как раньше казалось, вроде инфа и дублируется, но похоже добраться до нее не так просто... в случае реального сбоя...
Буду еще экспериментировать, хочу понять можно ли и как восстановить RAID1 в случае отказа одного из винтов... без приостановки работы системы
И еще волнует вопрос, в случае выхода из строя raid-контроллера, можно ли будет с этих винтов грузится или хотябы добыть инфу.
Вчера начал тестить memcacheq созданый на основе memcached.
Предполагаю использовать его для синхронизации информации на нескольких сайтах.
Нужно чтобы при изменении информации на сайте1 и сайте2 она также обновлялась на «центральном сайте»
Но не хочу вносить код синхронизации в сайт1 и 2.
Предполагаю сделать так: когда инфа на сайте1 или сайте2 меняется, будет отправлятся сообщение через memcacheq — 'update site1' или 'update site2'
И скрипт по крону будет периодически просматривать очередь сообщений и сливать инфу для сайта3.
А изменение в сайте1 и 2 минимальны — положить сообщение, когда данные обновляются.
Мог бы кто-нибудь привести примеры использования системы очередей?
По опыту: держу почтовик, настраивал 5 лет назад (альт линукс), кол-во пользователей ~300
postfix+drwebd+антиспам+поп3
машина серверная, но очень старая: 256Мб памяти, Board Name: L440GX+, с RAID, проц 500Мгц
и вот только в этом году «не смогла» :-)
начались проблемы со скоростью обработки почты и выделели новую железку. Перестало хватать проца, памяти — ведь каждое письмо анализируется на вирусы и на спам.
Кстати, довод в пользу брэндовых серваков — то что эта машина проработала только в роли почтовика
5 лет, а вообще она 2001гв, если не ошибаюсь.
Вот такой почетный дедушка сервер у нас, сейчас ДНСом работает.
как веб-приложение. Примеры: Google: gmail, docs, календари. Я теперь даже не
парюсь с редакторами фотографий, т.к. есть онлайн фотошопы. Есть рисовалки векторной
графики, онлайн игры (браузерные) и это еще только начало )
Их гигантское приемущество - они доступны на расстоянии адресной строки браузера )
Другое значимое приемущество - можно работать совместно;
Все это в придачу бесплатно )
Недостаток конечно - интерфейсы не такие "богатые" как десктопные. Но это не существенно.
PS: Десктопные останутся в любом случае. Сейчас они доминируют и так будет еще долго.
Когда сталкивался с проблемами настройки сфинкса очень помог форум http://sphinxsearch.com/forum/forum.html…
До этого пользовался mnogosearch, он как раз специализируется на индексировании страниц, как классический поисковик. Нормально работал.
Сфинкс дает гораздо большую гибкость как в индексировании так и в представлении результатов поиска.
Еще его можно использовать не по назначению ) На больших объемах данных он по производительности
превосходит MySQL и его можно использовать как дополнение для быстрых выборок и поиска.
Вобщем, кто еще не пробовал советую!
Кстати, после того, как выдернул винт, я загрузился с первого (уже в degrade режиме) убедился что система работает. После этого воткнул винт (не выключая компа, там саласки удобные, но не уверен, что они для хот свопа "на свой страх и риск"), дал команду arconf RESCAN 1 после этого
он увидел его и долго делал толи ребилд, толи verify and fix...
когда закончил, он все равно остался в degrade...
По совету anton_k пойду на 3nity.ru советоваться дальше :-)
с RAID контроллером Adaptec 3405. (за 55т.р. кстати) тоже под веб сервер
Настроил тоже RAID1 из 2х SATA винтов.
Для эксперимента выдернул один винт. Пошли всякие сообщения об ошибках (ОС Linux Ubuntu Server 7.10) (в dmesg и messages)
Комп не завис, но все операции записи на жесткий диск заблокировал.
Т.е. реально система стала не рабочей, хотя и не зависла...
Перезагрузился, контроллер завопил о проблеме, предложил сохранить новую конфигурацию или оставить старую... Вобщем, система загрузилась с одного винта.
Попытался вернуть винт, сделал RESCAN (он долго делал операцию verify и fix),
но так и остался в degrade статусе. Говорит bad stripe... как это побороть не знаю.
Все оказалось не так радужно, как раньше казалось, вроде инфа и дублируется, но похоже добраться до нее не так просто... в случае реального сбоя...
Буду еще экспериментировать, хочу понять можно ли и как восстановить RAID1 в случае отказа одного из винтов... без приостановки работы системы
И еще волнует вопрос, в случае выхода из строя raid-контроллера, можно ли будет с этих винтов грузится или хотябы добыть инфу.