Pull to refresh

Kindle DX Graphite — покупка, обзор, впечатления

Reading time 7 min
Views 29K
Computer hardware
image

Электронные книги для чтения, основанные на технологии электронных чернил, все прочнее входят в нашу жизнь. И это не удивительно, в последнее время началась прямо-таки гонка, новые игроки все чаще и чаще выходят на этот рынок, заставляя таких гигантов как Amazon делать свои читалки лучше и дешевле. Не даром ведь полугодовой приоритет на новые экраны E-Ink Pearl и новые контроллеры к ним был «добровольно» отдан Amazon и Sony. Добавим новый E-Ink Pearl в неповторимый по своим размерам Kindle DX и получим идеальное устройство для чтения как художественной литературы дома, так и технической на работе — Kindle DX Graphite.

А так ли оно идеально? Посмотрим поближе.

Читать дальше →
Total votes 91: ↑85 and ↓6 +79
Comments 102

Mozilla Firefox будет поддерживать технологию Graphite от SIL International

Reading time 2 min
Views 1.4K
Typography *
Технология Graphite, разработанная SIL International, заключается в пополнении шрифта в формате TrueType тремя дополнительными таблицами данных, описывающими особенности системы письменности. Правила, внедрённые в шрифт, описывают изменения символов в зависимости от контекста: это лигатуры, замены символов, автоподстановки символов, перестановки символов, привязка диакритических знаков, кернинг, рост ширины символов через удлинение горизонтальных штрихов, и так далее. Код Graphite, интерпретирующий эти правила, распространяется свободно (по условиям GNU Lesser General Public License и Common Public License).

Смысл Graphite в том, что знание об особенностях системы письменности (например, таких, как изменение формы арабских согласных в зависимости от их положения в слове: в начале, в середине, в конце слóва, отдельно стоящие; подобных особенностей в азиатских языках множество, я привёл только наиболее известную) и учёт всех этих особенностей возлагается не на каждую отдельную программу (такую, как браузер или редактор документов), и даже не на библиотеку, используемую для отображения шрифтов (такую, как Graphite), а размещается автором шрифта непосредственно в шрифте.

Усилия по интернационализации того или иного программного обеспечения (авторы которого могут жить на противоположной стороне планеты и ничего не знать не только о письменности, но и о самóм существовании какого-нибудь небольшого народа) сводятся, таким образом, к простому употреблению нужного пользователям шрифта; предполагается, что разработчик шрифта куда ближе знаком с особенностями той письменности, чьи буквы рисует да описывает метаданными.

Читать дальше →
Total votes 18: ↑14 and ↓4 +10
Comments 13

Настраиваем связку graphite + virtualenv + collectd

Reading time 6 min
Views 12K
Server Administration *
Sandbox
В данной статье я бы хотел поделиться своим опытом настройки настройки сервиса сбора и визуализации статистики сollectd в связке с graphite. Первый используется как сборщик данных, второй — как хранилище с визуализатором.
Читать дальше →
Total votes 19: ↑18 and ↓1 +17
Comments 9

Как Instagram к запуску Android приложения готовился

Reading time 3 min
Views 5.5K
Server optimization *
Как вы уже могли узнать, Instagram продается Facebook за $1 млрд. У многих возник вопрос: За что такие деньги? Кто-то на хабре сравнил это с бумом доткомов. Да только весь этот бум на одном Facebook и держится.

В течении двух лет CEO Instagram Kevin Systrom думал, как же монетизировать свое быстрорастущее детище, но так и не придумал. При том много раз просказльзывали слухи о его отказе в сделке с Facebook. Автоподсказчик Google уже давно выдавал первым вариантом к запросу «kevin systrom» фразу «Kevin Systrom net worth». Дела шли в гору и без Facebook.

Неделю назад они выпустили приложение на Android и продались Facebook за сумму с 9 нулями в долларах. Владельцы андроидов были рады:

Разработчики же, не очень: «Куда так топят? За что им платят? Я тоже так могу, там же ничего сложного и инновационного!» кричал каждый второй разработчик на Android / iOS.

Лично я ждал падения сервиса в день релиза приложения в магазине Google Play. Но этого не случилось. Количество зарегистрированных пользователей в первые 24 часа составило около миллиона человек. Немалая цифра, я вам скажу.

И как же команде из 9 человек удалось вытерпеть такой наплыв и не сломаться?
Читать дальше →
Total votes 92: ↑72 and ↓20 +52
Comments 104

Проект Dual ETL или как мы строили Disaster Recovery для Greenplum

Reading time 6 min
Views 13K
TINKOFF corporate blog SQL *Big Data *
В этой статье я хочу рассказать про ещё один этап развития DWH в Тинькофф Банке.

Ни для кого не секрет, что требования к наличию Disaster Recovery (далее DR) в современных бизнес информационных системах относятся к категории «must have». Так, чуть более года назад, команде, занимающейся развитием DWH в банке, была поставлена задача реализовать DR для DWH, на котором построены как offline, так и online процессы банка.



Читать дальше →
Total votes 11: ↑10 and ↓1 +9
Comments 9

В поисках идеального мониторинга

Reading time 12 min
Views 74K
TINKOFF corporate blog
В этой небольшой статье я хотел бы рассказать о средствах мониторинга, использующихся для анализа работы DWH нашего банка. Статья будет интересна всем, кого не устраивают существующие готовые системы мониторинга и кого посещали мысли собрать таковую «под себя» из отдельных кусочков. Большое внимание в статье уделяется дашборду Grafana, который, по моему мнению, незаслуженно обделён вниманием на Хабре. По большинству компонентов системы мониторинга будет вкратце рассмотрен процесс инсталяции (под RedHat).


Тёплый ламповый дашборд
Читать дальше →
Total votes 28: ↑27 and ↓1 +26
Comments 22

Сбор и визуализация метрик приложения в Graphite и Graph-Explorer

Reading time 9 min
Views 60K
Website development *Python *Data visualization *
Tutorial
Зачастую возникает необходимость отслеживать различные параметры работы приложения/сервиса. Например, интерес представляет количество запросов в секунду, среднее время ответа сервера, количество ответов сервера с различным HTTP-статусом (технические метрики), количество регистраций пользователей в час, количество платежных транзакций в минуту (бизнес-метрики) и пр. Без системы сбора метрик разработка и сопровождение продукта происходит практически вслепую.



Данная статья является руководством по настройке системы сбора и анализа метрик приложения на базе Graphite и vimeo/graph-explorer.
Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Comments 11

Brubeck — быстрый, statsd-совместимый агрегатор метрик от GitHub

Reading time 3 min
Views 17K
High performance *Website development *Designing and refactoring *Data visualization *


История появления


Одной из главных целей команды разработчиков GitHub всегда была высокая производительность. У них даже существует поговорка: «it's not fully shipped until it's fast» (продукт считается готовым только тогда, когда он работает быстро). А как понять, что что-то работает быстро или медленно? Нужно мерять. Измерять правильно, измерять надёжно, измерять всегда. Нужно следить за измерениями, визуализировать всевозможные метрики, держать руку на пульсе, особенно, когда дело имеешь с высоконагруженными онлайн системами, такими как GitHub. Поэтому метрики — это инструмент, позволяющий команде предоставлять столь быстрые и доступные сервисы, почти без даунтаймов.

В своё время GitHub одними из первых внедрили у себя инструмент под названием statsd от разработчиков из Etsy. statsd — это агрегатор метрик, написанный на Node.js. Его суть состояла в том, чтобы собирать всевозможные метрики и агрегировать их в сервере, для последующего сохранения в любом формате, например, в Graphite в виде данных на графике. statsd — это хороший инструмент, построенный на UDP сокетах, удобный в использовании как на основном Rails приложении, так и для сбора простейших метрик, наподобие вызова nc -u. Проблема с ним начала проявляться позже, по мере роста количества серверов и метрик, отправляемых в statsd.
Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Comments 11

Moira: Realtime Alerting

Reading time 5 min
Views 17K
Контур corporate blog Python *Go *Development for Linux *

Контур делает несколько десятков продуктов, каждый из которых состоит из нескольких десятков микросервисов, каждый из которых запущен на десятках серверов.

Эта инфраструктура порождает метрики на всех технологических уровнях — нагрузка на железо, состояние ОС, метрики приложений. Исходные данные собираются в один большой кластер Graphite. Сейчас у нас есть миллион уникальных метрик, по которым суммарно генерируется 20 тысяч значений в секунду.

Ясно, что за миллионом метрик не уследить глазами на телевизорах и дашбордах — нужна система отправки уведомлений о нештатных ситуациях. Перед тем как написать свою систему Moira, мы использовали для этой задачи Seyren.
Читать дальше →
Total votes 18: ↑18 and ↓0 +18
Comments 4

Установка связки Carbon + Graphite + Grafana + Nginx + MySQL для сбора и отображения метрик в Ubuntu

Reading time 5 min
Views 50K
MySQL *
Tutorial

Хочу поделиться опытом установки и настройки сервиса для сбора и отображения метрик Graphite + Grafana.
Искал долго, читал много, нашёл 2 статьи на английском, добавил своё, в итоге получилась данная статья.


Немного предыстории..


Graphite — система для отображения метрик (числовых значений) для любых свойств сервера или домашнего ПК.


Carbon — демон/бэкенд, в который пишутся метрики.


Grafana — более красивая и удобная Web-морда для Graphite.


И так, приступим.

Читать дальше →
Total votes 16: ↑13 and ↓3 +10
Comments 35

Установка и настройка Collectd для сбора и отправки данных в Graphite (Grafana)

Reading time 5 min
Views 21K
*nix *
Tutorial

Недавно я писал статью о настройке и установке Graphite+Grafana, теперь я расскажу как установить и настроить Collectd для сбора данных о состоянии сервера, отправки их в Grapfite и отображения в Grafana.


Предисловие


Collectd — система сбора, хранения и отправки метрик о состоянии машины, на которой он запущен.


Он имеет множество плагинов "из коробки" и очень гибок в настройке.


И так, приступим.

Читать дальше →
Total votes 6: ↑4 and ↓2 +2
Comments 8

Визуальный мониторинг серверной инфраструктуры на базе Nagios + Grafana

Reading time 7 min
Views 46K
IT Infrastructure *Server Administration *
Sandbox
nagios + grafana

Мы в Атласе любим, когда все находится под контролем. Это касается и всей серверной инфраструктуры, которая, с годами, превратилась в живой организм из многочисленных виртуальных машин, сервисов и служб. Появилась потребность наблюдать за жизненно важными аспектами IT-составляющей нашей деятельности: мониторить боевой сервер, отслеживать изменения системных ресурсов на виртуалках баз данных, следить за ходом бизнес-процессов и тд. Встал вопрос — как же этого добиться и главное какими инструментами? Стали искать какие-то готовые решения. Перепробовали кучу платных/бесплатных сервисов, которые, якобы, предоставляли бы нам "самую ценную" информацию о состоянии нашей системы. Но, в конечном итоге, все сводилось к каким-то непонятных диаграммам, схемам и цифрам, которые, по сути, для нас не имели никакой ценности.


Так мы пришли к пониманию, что надо собирать что-то самостоятельно. За основу решили взять самую гибкую и продвинутую систему, которую можно настроить для мониторинга чего и как угодно — Nagios. Настроили, поставили, работает — круто! Жаль только интерфейс сего чуда застрял где-то в середине 90-х, а нам хотелось, чтобы еще и визуальная составляющая была на уровне.


Недолгий поиск показал, что лидером среди решений по созданию красивых дашбордов является Grafana. Так и решили выводить весь наш мониторинг из Nagios на мониторах в виде красивых графиков в Grafana. Вопрос остался только в том — как их подружить друг с другом?

Я расскажу как!
Total votes 30: ↑30 and ↓0 +30
Comments 24

Обзор архитектуры и подсистем деплоя и мониторинга. Как инженеры делают систему прозрачной для разработки

Reading time 17 min
Views 13K
Конференции Олега Бунина (Онтико) corporate blog System administration *IT Infrastructure *Server Administration *DevOps *


Константин Никифоров ( melazyk )


Доклад будет про всякие секретные и не очень штуки, которые такая большая компания, как Mail.Ru, использует в мониторинге и для деплоя, и для управления конфигурацией.

Меня зовут Константин Никифоров, я являюсь руководителем группы системных администраторов в компании Mail.Ru. Наша группа занимается обслуживанием проектов target.my.com, рекламными системами Mail.Ru и проектом top.mail.ru. Все три наших проекта достаточно специфичные, потому что мы не обладаем никаким юзер контентом, мы в основном паразитируем на вас, как пользователях, и особенность наша заключается в том, что у нас очень большие PPS на фронтах, что не у многих проектов есть. Т.е. у таких проектов, как Одноклассники, как ВКонтакте, это понятно, потому что они просто огромные, у более мелких проектов такого нет. А мы размещаемся на всех вышеперечисленных и на всех страницах Mail.Ru, поэтому наш PPS еще больше, чем у этих проектов.
Total votes 18: ↑15 and ↓3 +12
Comments 3

Мониторинг как сервис: модульная система для микросервисной архитектуры

Reading time 9 min
Views 22K
AvitoTech corporate blog System administration *Data storages *DevOps *
Сегодня на нашем проекте, помимо монолитного кода, функционируют десятки микросервисов. Каждый из них требует того, чтобы его мониторили. Делать это в таких объемах силами DevOps-инженеров проблематично. Мы разработали систему мониторинга, которая работает как сервис для разработчиков. Они могут самостоятельно писать метрики в систему мониторинга, пользоваться ими, строить на их основании дашборды, прикручивать к ним алерты, которые будут срабатывать при достижении пороговых значений. С DevOps-инженеров — только инфраструктура и документация.

Этот пост — расшифровка моего выступления с нашей секции на РИТ++. Многие просили нас сделать текстовые версии докладов оттуда. Если вы были на конференции или смотрели видео, то не найдете ничего нового. А всем остальным — добро пожаловать под кат. Расскажу, как мы пришли к такой системе, как она работает и как мы планируем её обновлять.


Читать дальше →
Total votes 33: ↑31 and ↓2 +29
Comments 1

Как обложить сервис метриками и не облажаться

Reading time 6 min
Views 25K
Контур corporate blog IT Infrastructure *Data visualization *Industrial Programming *DevOps *

Меня зовут Евгений Жиров, я разработчик в инфраструктурной команде Контур.Экстерна. Этот пост — текстовая версия моего доклада с недавнего митапа Perm Tech Talks.


У нас в команде 200 микросервисов, которые должны быть отказоустойчивыми, чтобы пользователи не замечали никаких проблем. А проблемы, конечно, возникают. Поэтому мы собираем метрики, чтобы знать, как дела у конкретных сервисов и у системы в целом. Метрики помогают вовремя среагировать и всё починить.


Метрики можно собирать, хранить и визуализировать. И есть много способов собрать метрики неправильно, нарисовать с ошибками и сделать неверные выводы.


Я расскажу о нескольких примерах из своей работы и поделюсь советами.


Какие бывают метрики?



Метрика requests.count.byhost.*

Читать дальше →
Total votes 32: ↑30 and ↓2 +28
Comments 8

Хранение метрик: как мы перешли с Graphite+Whisper на Graphite+ClickHouse

Reading time 7 min
Views 24K
AvitoTech corporate blog System administration *Data storages *DevOps *

Всем привет! В своей прошлой статье я писал об организации модульной системы мониторинга для микросервисной архитектуры. Ничего не стоит на месте, наш проект постоянно растёт, и количество хранимых метрик — тоже. Как мы организовали переход с Graphite+Whisper на Graphite+ClickHouse в условиях высоких нагрузок, об ожиданиях от него и результатах миграции читайте под катом.


Читать дальше →
Total votes 55: ↑55 and ↓0 +55
Comments 36

Сбор статистики MTProto Proxy

Reading time 5 min
Views 8.6K
Instant Messaging *Programming *Go *Data visualization *DevOps *
Содержание
  • Предыстория
  • Сбор статистики
  • Отображение статистики
  • Визуализация и ведение статистики
  • Развертка
  • Заключение


Предыстория


Привет хабр, телеграм сейчас на пике популярности, все скандалы, интриги, блокировки вертятся вокруг него, в связи с чем телеграм выкатил свой вариант прокси под названием MTProto Proxy который призван помочь с обходом блокировки. Однако предоставленные телеграмом сервисы для мониторинга MTProto Proxy не дают возможности наблюдать статистику в реальном времени и собирать её для наблюдения за её изменениями, потому мы будем решать проблему своими силами.
Читать дальше →
Total votes 18: ↑18 and ↓0 +18
Comments 11

ClickHouse + Graphite: как значительно уменьшить потребляемое место на дисках

Reading time 5 min
Views 6.5K
Open source *System administration *Database Administration *Data visualization *DevOps *


Приветствую, habr.


Если кто-то эксплуатирует систему graphite-web и столкнулся с проблемой производительности хранилища whisper (IO, потребляемое дисковое пространство), то шанс того, что был брошен взгляд на ClickHouse в качестве замены, должен стремиться к единице. Данное утверждение подразумевает то, что в качестве принимающего метрики демона уже используется сторонняя реализация, например carbonwriter или go-carbon.


ClickHouse хорошо решает описанные проблемы. К примеру, после переливки 2TiB данных из whisper, они уместились в 300GiB. Подробно на сравнении я останавливаться не буду, статей на эту тему хватает. К тому же, до недавнего времени с нашим ClickHouse хранилищем было не всё идеально.

Так что же не так?
Total votes 11: ↑10 and ↓1 +9
Comments 0

Небольшой рассказ, как мы модернизировали и расширяли сеть Wi-Fi до 14 000 точек доступа

Reading time 14 min
Views 7.1K
Python *Network technologies *Wireless technologies *
Sandbox

Небольшой рассказ как мы модернизировали и расширяли сеть Wi-Fi получив на выходе сеть из 14000 точек доступа.

Читать далее
Total votes 12: ↑11 and ↓1 +10
Comments 17

Сборка, роутинг и обслуживание метрик

Reading time 9 min
Views 2.7K
Playrix corporate blog High performance *Designing and refactoring *Data visualization *

Введение


Неотъемлемой частью любой сложной системы является телеметрия (мониторинг). Она включает в себя сборку логов, сборку различных метрик из разных частей системы, межсервисную трассировку вызовов и в самых критических случаях, если это возможно, — ручное взаимодействие. В этой статье мы остановимся только на процедуре сбора метрик. Возможно, кому-то наш подход покажется архаичным и устаревшим, однако для нас он, как говорится, battleprоven и хорошо себя зарекомендовал в наших условиях.



В основе наших метрик лежит хорошо известная система Graphite. Здесь мы не будем останавливаться на базовых вещах его конфигурирования и первичной настройки, для этого существует достаточное количество материалов в интернете, скажем лишь то, что от самого проекта Graphite у нас нет практически ничего :). Все его компоненты заменены на более производительные аналоги. В этом, кстати, большое достоинство Graphite: он построен из кубиков, которые легко друг с другом комбинировать и заменять. Остановимся лишь на проблемах, с которыми мы столкнулись в ходе эксплуатации.
Читать дальше →
Total votes 12: ↑11 and ↓1 +10
Comments 0
1