Для мониторинга IT-инфраструктуры мы используем множество инструментов, в том числе:

• Zabbix — о нем написано немало статей здесь на хабре. Нам очень нравятся его возможности низкоуровневого обнаружения, но его возможности визуализации данных оставляют желать лучшего.
• Graphite — система, которая хранит данные и имеет удобный интерфейс для их отображения. Сейчас мы импортируем в нее метрики из Zabbix и храним историю.
• Shinken — система мониторинга, которая основана на Nagios и написана на языке Python. Сейчас мы присматриваемся к ней. Нам нравится то, что в нее очень просто импортировать данные из системы документации сети Netdot (о ней я уже писал ранее), а также она легко интегрируется с Graphite.

Можно долго обсуждать преимущества/недостатки тех или иных систем мониторинга, но я хочу остановиться только на одном вопросе — выявлении аномалий. Когда в вашей системе мониторинга количество метрик измеряется сотнями, отследить аномальное поведение одной или нескольких из них не составляет труда. Но когда количество метрик измеряется десятками или сотнями тысяч, вопрос автоматического выявления аномалий становится актуальным. Ни один администратор или группа администраторов не в состоянии вручную отследить поведение сложной системы, состоящей из сотен устройств.
Инженеры из Etsy в свое время столкнулись с этой проблемой и разработали свой инструмент для обнаружения и корреляции аномалий. Называется он Kale и состоит из двух частей:

• Skyline
• Oculus

Знакомьтесь, Ingress — новая игра от Google. Место действия — альтернативная реальность. Недавний проект Niantic, кстати, был вирусной рекламой сего действа.

Вам предстоит занять одну из сторон — сражаться за власть («Просвещенные»), или за повстанцев («Сопротивление»).

Установленное на андроид-девайс приложение будет проводить вас по местам скопления «Экзотической материи» (реальные географические координаты, которые надо будет посетить).

На иллюстрации внизу показана обратная сторона маски — вогнутое изображение (видео). Из-за известного «глюка» в человеческом мозге большинство здоровых людей видят здесь выпуклое изображение, игнорируя очевидные признаки света и тени. Примерно два года назад учёные доказали, что мозг шизофреника обмануть не удаётся — для него маска остаётся вогнутой. Это интересный случай, когда искажение реальности и самообман — признак здорового человека.



Данная оптическая иллюзия не действует также на некоторых людей под воздействием алкоголя и наркотиков.

Мне очень интересно в долгосрочном плане следить за развитием Facebook и Вконтакте. Интересно даже не с пользовательской или бизнес-точек зрения, а в философском и историческом плане. Эти две соцсети удивительнейшим образом построены на абсолютно разных базовых принципах, которые отражают противоположные менталитеты тех стран и тех политических систем, где родились и выросли их создатели.

Русский публицист Егор Станиславович Холмогоров, размышляя (в своём блоге) над «Избранными работами» западного мыслителя Карла Поланьи, делает практический вывод о том, что современные практики информационного обмена в Интернете (Холмогоров приводит в пример прежде всего торрентовый файлообмен, но логика его рассуждений годится в известной мере и для открытого свободного программного обеспечения) являются примером так называемой реципрокации (то есть такой циркуляции материальных благ и услуг между людьми, в которой проявляются взаимные социальные обязательства этих людей), поэтому они фундаментально враждебны всем современным практикам рыночной экономики и монетизации, и даже со временем окажутся, быть может, способными ниспровергнуть современные практики во имя установления значительно более справедливого общественного устройства.

В рамках этой логики и терминологии торрентовый файлообмен обладает свойством прямой реципрокности (отношения выстраиваются по принципу «сколько у тебя скачали, столько и ты можешь скачать»), а вики обладает свойством макрореципрокности («ты делаешь общий вклад в крупную информационную копилку, за счёт этого она растёт, а ты можешь ею пользоваться»), а YouTube (или другое средство вещания своего контента на других сайтах по обоюдному согласию) обладает ограниченной реципрокностью («даю пользоваться, но не даю владеть»).

В преддверии Нового года решил начать небольшой цикл статей, посвящённых наиболее интересующему меня лично направлению в обработке текстов на естественном языке. (То есть NLP в заголовке означает natural language processing — ваш К.О.) Синтаксический анализ, семантика, машинный перевод, поиск смысла слова в контексте — в общем, вся радость компьютерного лингвиста :)

Наверно, сразу имеет смысл определиться с уровнем изложения. Я сам пытаюсь заниматься компьютерной лингвистикой (с переменными успехами). Постараюсь рассказать о том, что конкретно волнует, чего уже можно, чего пока нельзя, и над чем как раз сейчас надо работать. Быть может, эти статьи помогут мне самому отструктурировать информацию в голове и опираться на уже готовую структуру в новом году. А если у читателей появятся свои идеи или мысли о сотрудничестве — ещё лучше.

Драсте всем.
Спасибо что решили почитать этот пост.

Задача состояла в следующем, в связи с тем что широко известный загрузчик файлов FancyUploader, не всегда, но довольно часто глючит, особенно если использовать прокси, нужно было разработать систему, по которой при загрузке файла показывался прогресс бар… Всё бы ничего, таких систем много, но все либо используют другие флеш загрузчики или иные Апи, что в данном случии являеться негативным результатом разработки.

После некоторого времени поиска была найдена система основанная на модуле apc habrahabr.ru/blogs/webdev/17620. Всё бы хорошо, но вешать дополнительный модуль кеша на сервер где кеш технологии уже используеться было безсмысленно. Тогда мне в руки попалась информация о NGINX upload progress module (http://wiki.nginx.org/NginxHttpUploadProgressModule) и это действительно работает… Тем более что на наших серверах установлен именно nginx в качестве fronе-end сервера.

Но самое интересное оказалось впереди.

Обычно загрузка файлов осуществяеться в то место где и лежит сам сайт (на тот же домен), но у нашей компании это не так. Все картинки и видео лежат на одельном сервере, и соответсвенно хорошо если upload был бы сразу на него, что бы не загружать канал сайта.

После конфигурирования nginx с upload progress module и использование примера с wiki.nginx.org/NginxHttpUploadProgressModule прогресс бар загрузки файла заработал.

Для пересылки самого файла на нужный сервер было изменено не много, и сам же сконфигурированных nginx естественно должен находиться на h_t_t_p://STORAGE-SERVER.com.

<

Мой список книг, которые мне хочется прочесть, изрядно вырос, спасибо топику “запасаемся на зиму”. Под катом вы обнаружите список книг, составленный по комментариям в том топике.

Я счастливый владелец PocketBook 301. Я считаю ее самой лучшей книгой всех времен и народов. Что меня больше всего в ней радует?



— e-Ink второго поколения, достаточно контрастный, без остаточных следов предыдущей страницы. Вы смотрите не на LCD, а на реальные физические объекты — черно-белые шарики. Это очень важно для сохранности глаз.
— прямая (без конвертации) поддержка всех естественных форматов, txt, html, rtf, fb2, zip, pdf, djvu, jpg, mp3
— отсутствие проприетарных дров и программ, следствие — поддержка под любой ОС без установки ПО. Можно закачать книги в Linux, MacOs, Windows, на любом своем или чужом компьюетере. Или прямо в книгу сохранять из броузера

Ричард Столлман родился 16 марта 1953 года в Нью-Йорке. Сразу после окончания средней школы, в возрасте 18 лет он устроился на работу в научный центр IBM, где и проработал все лето над препроцессором для языка PL/I

Так получилось, что я люблю программирование и компьютеры. Поэтому у каждого члена моей семьи было по одному PC. У меня стационарный (Ubuntu), у мамы тоже (Windows XP), а у жены — ноутбук (Windows Vista). Была задача — организовать интернет для всей этой техники. Провайдер мне его отдает по PPTP. Недолго думая (и будучи лентяем) я докупил обычные Ethernet-сетевые карты, вставил на стационарные компы и соединил все компьютеры проводами (если честно, я еще купил WiFi модуль для своего компа, но тупо не смог настроить для ubuntu).

Шло время, потребности росли (особенно потребности в мобильности рабочего места) и я стал обладателем ноутбука MacBook Pro. Что делать со старым компьютером? Выбрасывать? Было жалко… Ведь почти руками его собирал в течение двух лет. И тогда я решил — будет сервером! Я почистил компьютер и заново поставил туда Ubuntu Linux.

Первый шаг — систематические каталоги библиотек. В их соответствующих разделах можно найти классику — те работы по Вашей теме, которые не знать нельзя.

Второй шаг — реферативные журналы и брошюры РГБ «Реферативно-библиографическая информация». В этих журналах можно найти сведения о литературе, опубликованной в последние годы.

Третий шаг — чтение работ, изданных в последние годы и найденных Вами в реферативных журналах. Из их библиографических списков также можно почерпнуть информацию о литературе, достойной внимания.

Четвёртый шаг — поиск во всемирной паутине. В качестве поискового запроса имеет смысл использовать имена авторов тех работ, изданных в последние годы, которые Вы нашли в реферативных журналах. Возможно, удастся найти информацию о научных школах и исследовательских коллективах, которые эти авторы представляют, о научных конференциях, в которых эти авторы принимали участие, а далее — о других докладах, звучавших на этих конференциях, об авторах этих докладов, а затем найти другие работы этих авторов и так далее.

Поиск по ключевым словам исследуемой темы имеет смысл проводить в специализированных поисковых системах для исследователей. Примеры:

Все мы привыкли считать, что в Интернете найти можно все. «Где бы почитать новости? — Зайди на lenta.ru», «Где достать программу для распознавания текста? — А-а, тебе нужен Finereader, слей из инета», «Где бы достать свежий фильм? — Зарегистрируйся в торрентах и качай». Пребывая в гуще сети никто из нас уже не задумывается над тем, откуда все это берется. В самом деле, почему свежевышедшая игра уже доступна в интернете и работает без установочного диска, хотя разработчики защитили свой продукт последней версией StarForce? Каким образом на горбушке продают DVD, если фильм только сегодня выходит в США? Все это покрыто тайной для обычного обывателя, а в СМИ общеупотребимым стало абстрактное слово «пиратство».

Наверняка, многие пользователи устройств на базе операционной системы Android думают, что под их платформу нет ни одного достойного ICQ-клиента. Но так ли это? Легко ли самостоятельно отделить зерна от плевел в магазине приложений, который сейчас бьет все рекорды по своему росту? Давайте попробуем разобраться.

Для тех, кто хочет подобрать клиент под свои нужды и предпочтения, и подготовлено это тестирование. В обзор вошли 18 различных клиентов. Все тесты проводились на аппарате HTC Hero (официальная прошивка Android Eclair). Под катом много скриншотов, поэтому будьте внимательны, если трафик у вас ограничен.

Разработчики приложений для Android, ориентирующиеся при разработке на все вышедшие устройства, наверняка знакомы с этой схемой:



На 1 июля 2010 года это было статистикой запущенных версий Android. С выходом новых версий Android разработчики стали задумываться: добавить в приложение новые функции, предоставленные новой версией, либо сделать его доступным на как можно большем количестве устройств.

Опытные разработчики уже удостоверились, что эти два варианта являются взаимоисключающими, и сохранение баланса между ними может быть болезненным. В этой статье я покажу вам, что это не так.

Небольшой дисклеймер:
1. Я — преданный пользователь ubuntu и не критикую эту ОС, сидя под Windows. Это важно.
2. Не стал писать это в блоги про Linux, так как здесь затрагивается кроссплатформерная тема.

После моего прошлого рассказа о покупках подарочных изданий DVD я подумал, что тема геморроя проигрывания их в линуксе не раскрыта. Непорядок.
Начнем, пожалуй с totem’а. Не знаю, о чем думали мантайнеры моего горячо любимого дистрибутива, когда включали его в комплект именно как плеер для воспроизведения DVD. То, что он вытворяет с дисками — это просто ужас. Вот так у меня открывается «Рассвет мертвецов»:

Давно была идея собрать воедино интересные вопросы, касающиеся сетей.

Объединяет их то, что все они довольно простые, но мы подчас о них не задумываемся (я во всяком случае о них не задумывался).
В общем я их собрал, подбил, нашёл ответы.
Итак, блиц опрос:

Начнём с самых низких уровней и с самых простых вопросов

В1. Почему для витой пары выбран такой странный порядок: синяя пара на 4-5, разрывая зелёную, которая на 3, 6?

В2. В стандарте Ethernet между кадрами всегда имеется промежуток, называемый IFG (Inter Frame Gap) длиною 12 байтов. Для чего он нужен, и почему он присутствует в современных стандартах?

В своей предыдущей статье я вкратце коснулся темы создания High Availability решения на основе демона heartbeat. Однако, как выяснилось, что-то сложнее чем 2-х узловой кластер на нем делать не так уж удобно. Изучение проблемы вывело меня на след проекта Pacemaker. Его-то мы сейчас в кратце и рассмотрим.

Добрый день, коллеги.

Собравшись с мыслями, решил нормально оформить родившееся у меня решение.

Итак, постановка задачи:

Есть два канала между точками А и Б, чаще всего от разных провайдеров. Необходимо обеспечить учет качества обслуживания на данных каналах, а именно:
1. При потерях >0.5% на канале, канал не должен использоваться.
2. При jitter > 10мс, канал не должен использоваться.

Такая задача возникла у меня на работе, поскольку два города соединены двумя каналами, по которым бегает в большом количестве голос, который, как известно, весьма капризен в отношении вышеописанных показателей. Кому интересно — милости прошу под кат.

Чем можно заниматься в 0 часов 0 минут в Москве? Сидеть за праздничным столом и праздновать? Как бы не так. В этот праздничный миг я хочу поделиться с вами моими сегодняшними изысканиями по тюнингу производительности софтрейда в домашнем сервере. Можно пропустить теорию и сразу читать последний абзац где основная соль.

Почему RAID-6?

Как известно, RAID-5 выдерживает смерть одного веника, и после этой самой смерти – до момента когда закончится восстановление рейда с новым винчестером ваши данные под угрозой – восстановление обычно занимало до 70 часов для больших массивов и еще один веник может легко умереть в это время.
RAID-6 выдерживает смерть 2-х любых веников. Из минусов – общепризнанное мнение что тормозит, особенно запись, даже по сравнению с RAID-5. Что-ж, проверим.