Pull to refresh
1
0
Send message

Что использовать для распределённого хранения данных Zabbix, и почему мы остановились на нетипичном решении?

Level of difficultyHard
Reading time7 min
Views3.4K

На одном крупном проекте мы, инженеры компании «Инфосистемы Джет», столкнулись с типичной проблемой стандартных инсталляций Zabbix на больших объемах - производительностью и низкой отказоустойчивостью базы данных. Конфигурация Zabbix была следующей:

один Zabbix-сервер;

множество прокси;

сервер БД PostgreSQL с расширением TimescaleDB;

сервер Grafana для визуализации данных.

При обычной нагрузке (12000 NVPS) система работала стабильно, но стоило произойти массовой аварии на инфраструктуре или перезагрузке сервера/прокси, как производительности БД не хватало. В такие моменты очень быстро накапливались очереди обработки данных, заканчивались кэши – система фактически прекращала работу. Непростую ситуацию ухудшали еще ложные срабатывания (данные не всегда могли попасть в БД) и рассылка уведомлений ответственным администраторам, проверявшим состояние систем в WEB-интерфейсе. Для восстановления работы приходилось перезапускать компоненты друг за другом, контролируя нагрузку на БД.

Проблему оперативно решили при помощи снижения количества чанков для хранения трендов. Причина происходящего крылась в некорректном партиционировании трендовых данных. Детально о проблеме и методах решения можно почитать в баг-репорте производителя (ZBX-16347). Он помог нам в устранении аварии, но ограничиваться только им не стали – одного репорта, на наш взгляд, было недостаточно. Мы стали смотреть шире и задумались над альтернативными решениями.

А какие варианты есть?

Начнём с того, что наибольшая нагрузка на БД в Zabbix создается на операциях с историческими данными и происходящими в мониторинге событиями. Это таблицы: history, history_uint, history_text, history_str, history_log, events, problems. Производитель предлагает использовать следующие БД: MySQL, PostgreSQL и Oracle DB. Кроме того, исторические данные можно отправлять и в Elasticsearch.

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments3

Dark Souls, Project Dark: семь раз умри, один раз убей

Level of difficultyEasy
Reading time8 min
Views5.5K
image

Узнали ли вы о ней от знакомых, самостоятельно или в интернете – не важно, ведь она определенно врезалась вам в память. Даже если вы бросили после первой попытки. Слово “Эстус” каждый геймер точно слышал хоть раз в жизни, а Лордран – одно из самых известных королевств в истории видеоигр. Кто-то зовёт ее Темнодушьем, хоть это уже слишком нишево. Да, это Project Dark, детище FromSoftware, повелительница горелых стульев, адепт сломанных клавиатур, и та сама игра, которая «если затянет, то уже не отвертеться». Что? Почему не Dark Souls? Смею вас заверить, это именно она. Немногие, проходя игру или даже всю серию, задумывались о том, как она вообще развивалась, и что происходило за производственными кулисами. Но сейчас мы вам всё об этом и поведаем.
Читать дальше →
Total votes 24: ↑23 and ↓1+30
Comments4

История «некоммерческой» лаборатории OpenAI, которая полюбила деньги

Level of difficultyEasy
Reading time10 min
Views33K
Логотип OpenAI в главном офисе, 2020 год, источник

Лаборатория OpenAI образована 11 декабря 2015 года как некоммерческая организация, которая должна работать на благо всего человечества. Абсолютно бескорыстно, принося пользу всей цивилизации, публикуя свои наработки в открытых репозиториях для всех людей. Главной идеей была забота, что будущий сильный ИИ может оказаться в частной собственности какой-то корпорации — а этого нельзя допустить. Поэтому и создали «общественную лабораторию».

Но со временем ситуация изменилась. Сначала в 2019 году пришлось зарегистрировать дочернюю структуру OpenAI LP (limited partnership), имеющую право на коммерческую деятельность и получение прибыли. Структура была нужна «чисто формально» для оформления инвестиций, которые фирма обязана вернуть из будущей прибыли. Поскольку у некоммерческой лаборатории по определению нет прибыли, то «пришлось» зарегистрировать LP. Просто чтобы получить инвестиции.
Читать дальше →
Total votes 63: ↑59 and ↓4+78
Comments127

25 Гбит/с дома, часть 1

Level of difficultyMedium
Reading time16 min
Views46K

Я живу в маленьком сельском городке в Швейцарии и довольно давно являюсь клиентом init7 (местный провайдер). Этот провайдер хорошо известен тем, что в данный момент только они начали пару лет назад рекламировать доступное для частных лиц 25 Гбит/с подключение. Впрочем, им требуется время, чтобы обновить оборудование в точке присутствия, а, в моем случае, им нужно было открыть где-нибудь поблизости новую точку присутствия (до этого у них был договор с другим провайдером об аренде части оборудования и места в стойке, что по прежнему давало мне оптику в квартиру, она по прежнему была не GPON'ом, но скорость была ограничена гигабитом). Но в 2023 году они наконец анонсировали скорое открытие POPа и перевод всех пользователей на их основной продукт (fibre7). То что это новый POP для меня означает, что там сразу будет доступен 25 Гбит/с тариф.

Читать далее
Total votes 106: ↑106 and ↓0+106
Comments265

Как стать гуру или WiFi Cheat Sheet

Level of difficultyMedium
Reading time21 min
Views31K

А что мы знаем про пентест Wi-Fi?

Кажется, что уже всё, но вот на offzone 2023 была представлена атака WPA‑E (Надеюсь, в скором времени выложат запись и pdf) и я задумался, а так ли всё хорошо с моими знаниями... Нет, я всё с концами оставил на старых ЖД и где‑то далеко в памяти, пришлось восстанавливать по крупицам всю информацию. Заметки, время и старания — главное составляющее статьи.

Этот документ больше похож на чек‑лист для самопроверки и может содержать полезные советы и хитрости, за основу я взял структуру «WiFi Penetration Testing Cheat Sheet». Я очень благодарен автору, но он забросил вести данную шпаргалку и многие вещи устарели.

Все было протестировано на Kali Linux v2023.1 (64-битной версии), а также проработано на реальном опыте проведения тестирования на проникновение Wi‑Fi и в лабораторных условиях.

Пора ознакомиться
Total votes 29: ↑28 and ↓1+35
Comments10

Почему портятся приложения: тирания маржинального пользователя

Level of difficultyEasy
Reading time5 min
Views17K

Недавно мы с моим другом оплакивали странную смерть OKCupid. Семь лет назад, когда я впервые попробовал онлайн-знакомства, он работал следующим образом: нужно было написать длинный рассказ о себе и о том, что ты ищешь. Ты отвечал на сотни вопросов о своей личности, мечтах, о том, что хочешь увидеть в партнёре, о том, что для тебя недопустимо. Затем тебе показывали самых совместимых с тобой пользователей с «показателем соответствия» от 0 до 100%. Эти показатели работали пугающе хорошо. Почти каждый раз, когда я читал профиль пользователя с показателем соответствия 95% или выше, я как будто немного влюблялся. Каждое свидание было интересным; «химия» возникала не всегда, но мне казалось, что мы, по крайней мере, можем стать отличными друзьями.

Сегодня я достаточно скептически отношусь к количественным оценкам романтики и к идее о том, что схожесть обеспечивает хорошие отношения. Да и в то время я был довольно скептичен. Чего я не ожидал, так это того, что OKCupid образца 2016 года окажется лучшим, на что будут способны сервисы онлайн-знакомств. Что инструменты, при помощи которых люди будут пытаться искать самые важные отношения в своей жизни, будут становиться всё хуже, и хуже, и хуже. OKCupid, как и другие проекты, купленные Match.com, сегодня стал просто ещё одним клоном Tinder — видишь лицо, свайпаешь влево, видишь лицо, свайпаешь вправо. Цифровой ночной клуб. А я не хочу искать себе жену в ночном клубе.

И это касается не только приложений для знакомств. Почти все популярные потребительские приложения двигаются в сторону минимального участия пользователя, лент с бесконечным скроллингом и мусорного контента. Даже самое драгоценное в Интернете, поиск в Google, настолько испортился, что его нельзя использовать для сложных запросов. Reddit и Craigslist остаются невероятно полезными и ценными именно потому, что их ПО замерло в своём развитии. Как старые викторианские дома в Сан-Франциско, они стоят, защищённые причудами судьбы от ветров капитала, напоминая нам о более гуманной эпохе.

Читать далее
Total votes 78: ↑77 and ↓1+98
Comments98

Четыре важных навыка, которые не потеряют актуальность в течение ближайших 5-15 лет

Level of difficultyEasy
Reading time3 min
Views61K

Привет, Хабр! Меня зовут Елена Махова, я работаю системным аналитиком в РСХБ-Интех — технологической дочке Россельхозбанка. Сегодня хочу поделиться собственным рабочим опытом. Я расскажу о четырех важных навыках, освоение которых позволит вам оставаться востребованными ИТ-специалистами в течение ближайших 5-15 лет. Долгое время я и сама придерживалась этих принципов, а после увидела материалы про них в известных пабликах. Собственный опыт я соотнесла с опытом экспертов из известных изданий и компаний, например, INC, Forbes, the Economist и не только.

Читать далее
Total votes 101: ↑43 and ↓58+6
Comments169

Почему мой любимый API — это файл zip на сайте Европейского центрального банка

Level of difficultyEasy
Reading time7 min
Views31K

Когда был максимальный курс доллара к евро?

Вот небольшая программа, вычисляющая это:

curl -s https://www.ecb.europa.eu/stats/eurofxref/eurofxref-hist.zip \ | gunzip \ | sqlite3 -csv ':memory:' '.import /dev/stdin stdin' \ "select Date from stdin order by USD asc limit 1;"

Результат: 2000-10-26. (Можете попробовать запустить её самостоятельно.)

Читать далее
Total votes 81: ↑67 and ↓14+76
Comments27

Chrome следит за тобой

Level of difficultyEasy
Reading time3 min
Views36K

4 сентября 2023 года я получил уведомление о том, что хром меняет политику приватности. Казалось бы, нужно ли обращать на это внимание? Обычно я нажимал "Согласен" и жил себе спокойно жизнью. Но в этот раз это уведомление зацепило мой взгляд.

Мне предлагалось согласится с тем, что хром будет предоставлять данные о моих интересах сторонним сайтам. И делать он это будет на основе истории браузера!

Читать далее
Total votes 34: ↑28 and ↓6+31
Comments271

Juniper PTX series как шаг в светлое будущее

Reading time4 min
Views18K
Juniper анонсировал новую платформу на новом же супер-пупер чипсете Express. Называется платформа PTX. Есть две модели: показанный на картинке PTX5000 и непоказанный PTX9000, который тоже в два прокрута колеса мышки на экране высотой, но еще и в два раза шире.



Не волнуйтесь, дорогие хабровчане, это не пресс-релиз от лица компании Juniper Networks, призыващий срочно покупать новый продукт. Они со своей рекламой справятся как-нибудь сами. Да и покупать пока нечего: анонсирована не значит продается. Не говоря уже о цене.

Тут интересно другое.
Total votes 31: ↑25 and ↓6+19
Comments32

Оптоволоконная революция: как EDFA Роберта Мирса сделала мир ближе

Reading time10 min
Views4.3K

Волоконно-оптический усилитель, легированный эрбием (Erbium Doped Fiber Amplifier — EDFA), появился в 1986 году и навсегда изменил наш мир. Сигналы по оптоволоконным кабелям теперь можно передавать на тысячи километров без электронных повторителей, а также разделять их на отдельные полосы разной длины волны, применяя плотное мультиплексирование DWDM (Dense Wavelength Division Multiplexing). 

Это увеличило пропускную способность на несколько порядков, а суммарная протяженность кабелей, уложенных под водой, на 2023 год составляет около 1,4 млн км. 

Посмотрим на историю изобретения EDFA, его принцип действия и роль в развитии интернета.

Примечание: статья предназначена для широкого круга читателей. Объяснять будем максимально упрощенно, посему специалистам по ВОЛС просьба несильно ругаться в комментариях ?

Читать далее
Total votes 15: ↑15 and ↓0+15
Comments4

Почему одних MSSP и ISP недостаточно для защиты от DDoS-атак. Зачем нужна on-prem защита

Level of difficultyMedium
Reading time8 min
Views2K

Мы провели опрос и выяснили, что среди распространенных в прошлом году атак одними из самых популярных стали DDoS, и сейчас они продолжают удерживать пальму первенства. Причем, как показывает практика, сервисов по защите от DDoS-атак не всегда может быть достаточно, чтобы чувствовать себя спокойно, и нужно разворачивать on-prem защиту.

Мы решили глубже разобраться в вопросах: хватает ли для защиты MSSP и ISP? От каких атак они могут защитить, а какие потребуют on-prem защиты? Как можно построить эшелонированную защиту крупной корпоративной сети с публичными сервисами? Мы подготовили совместную статью с продакт-менеджером российской компании-разработчика on-prem решения по защите от DDoS-атак MITIGATOR, Глебом Хохловым. Тем, кто занимается защитой крупной корпоративной сети, обмен опытом в свете последних атак будет не лишним.

Читать далее
Total votes 15: ↑15 and ↓0+15
Comments1

Ностальгические игры: Need for Speed Porsche Unleashed

Level of difficultyEasy
Reading time11 min
Views8.8K

Своё знакомство с этой франшизой я начал со второй части, правда играл в неё далеко не в момент релиза. В те далёкие времена, находясь в гостях у лучшего друга, между длинными партиями в Героев Меча и Магии 3 нам иногда хотелось расслабиться и сыграть во что-нибудь не столь продолжительное. Одной из таких игр, что выручала нас в подобные моменты, была NFS II. Правда на сегодняшний момент всё, что я о ней помню – это наличие секретной «машины», которая, по сути, являлась бревном. Да, по трассе под вашим управлением ехало настоящее бревно! В те времена нас это очень забавляло)) Но есть в этой серии игра, которая действительно хорошо отложилась в моей памяти – пятая часть под названием NFS Porsche Unleashed, выпущенная при сотрудничестве с фирмой Porsche в честь её пятидесятилетия (правда с небольшим запозданием, так как 50 лет компания отметила в 1998 году, а сама игра вышла в 2000 году).

На момент 2000 года игра поражала хорошим графическим исполнением, приятным поведением автомобилей на трассе, а также пусть и плохенькой, но всё же моделью повреждения авто. Для серии NFS это редкость, даже в современную эпоху! Кто знает, может быть именно этот проект подарил мне любовь к Porsche 911 и мечту – когда-нибудь стать богатым и успешным обладателем именно этой модели авто. Что ж, я не стал крутым банкиром или известным футболистом, а выбрал путь журналиста-блогера, но надеюсь, что у меня хотя бы получится подарить вам пару приятных минут чтения этой статьи и пробудить чувство ностальгии о временах давно ушедших. Это, конечно, не заменит Порш, но всё равно сделает меня счастливее =)

Читать далее
Total votes 21: ↑17 and ↓4+15
Comments42

Знакомьтесь — Linux From Scratch

Reading time4 min
Views48K

Вместо вступления


Tux Construction.С самого раннего детства я интересовался компьютерами. Интерес этот произрастал из игр под MS-DOS в детсадовском возрасте, заканчивая всевозможными олимпиадами по программированию к окончанию школы. Не удивительно, что после школы пошел учиться в технический институт на программиста. Самое странное, что все эти годы я был абсолютно далек от такой замечательной операционной системы, как GNU/Linux. Но полтора года назад, в самом начале первого семестра, я познакомился с парнем (он был незначительно старше меня и поступил в институт уже после техникума — имея опыт работы), который во время одного из разговоров сказал:
«Хочешь начать изучать GNU/Linux? Начни с Linux From Scratch.»


Единственный бумажный дистрибутив


LFS (здесь и далее аббревиатура от Linux From Scratch) – книга, написанная Герардом Бикмансом, описывающая процесс сборки минимального рабочего варианта GNU/Linux из исходных кодов. Почему бумажный? В свое время книгу можно было купить в твердом переплете, что делает «дистрибутив» несколько необычным, не правда-ли? Помимо самой книги, для сборки конечно-же понадобится интернет (или заранее загруженные исходные коды), свободный раздел на жестком диске, и любая операционная система на базе ядра Linux, имеющая компилятор. Лично я всегда использую либо уже собранный дистрибутив LFS, либо полную установку Slackware – в нем есть все необходимое, чего не скажешь про (например) Ubuntu. Конечно, всегда можно загрузить нехватающие пакеты, но ведь мы хотим только-только научиться линуксу? А Slackware даже в своей базовой установке и без конфигурирования предоставляет требуемый инструментарий.
Читать дальше →
Total votes 132: ↑112 and ↓20+92
Comments92

Как мы обеспечиваем комфортные условия работы с оборудованием в ЦОД

Reading time6 min
Views5.6K
Необходимость совершать рабочие выезды в ЦОД, где размещено ваше оборудование, вряд ли воодушевляет. Еще, как правило, какие-либо нештатные ситуации случаются в самый неподходящий момент.

Мы это понимаем, поэтому стараемся сделать ваше пребывание комфортным. Итак, поехали!

Доступ в дата-центр


Никто не любит ждать — доступ в ЦОД по пин-коду


Когда клиент приходит в дата-центр, обычно его сопровождает инженер технической поддержки. Это нужно для того, чтобы предоставить доступ в серверные залы и к стойкам. Но ждать не любит никто, а иногда это и вовсе не к месту, если нужно произвести все работы как можно быстрее. Поэтому мы реализовали доступ к оборудованию без инженера — по персональному пин-коду.


Читать дальше →
Total votes 10: ↑10 and ↓0+10
Comments20

Проектируем самодельный 16-битный CPU в 2023 году

Level of difficultyMedium
Reading time14 min
Views23K

Для создания самодельного CPU требуется большое количество чипов логики. И в самом деле разумно, что для реализации регистров, счётчика команд, АЛУ и других компонентов CPU на логике TTL или CMOS действительно необходимо существенное число чипов. Но сколько конкретно?

Я попытался оптимизировать свой самодельный CPU, минимизировав количество чипов логики, чтобы ответить на вопрос: какое минимальное число интегральных схем требуется для полного по Тьюрингу CPU без CPU?

Мой ответ: для создания 16-битного последовательного CPU нужно всего 8 интегральных схем, включая память и тактовый генератор. Он имеет 128 КБ SRAM, 768 КБ FLASH и его можно разгонять до 10 МГц. Он содержит только 1-битное АЛУ, однако большинство из его 52 команд работает с 16-битными значениями (последовательно). На своей максимальной скорости он исполняет примерно 12 тысяч команд в секунду (0,012 MIPS) и, среди прочего, способен выполнять потоковую передачу видео на ЖК-дисплей на основе PCD8544 (Nokia 5110) с частотой примерно 10 FPS.
Читать дальше →
Total votes 91: ↑90 and ↓1+120
Comments51

Профилирование Python — почему и где тормозит ваш код

Level of difficultyMedium
Reading time10 min
Views20K

Представьте ситуацию: вы написали скрипт для обработки каких-то данных на ноутбуке, ушли попить кофе, а когда пятнадцать минут спустя вернулись, завершилось едва ли 10%.

Почему скрипт работает так медленно? Какая его часть тормозит? Дело в чтении данных, их обработке или сохранении? Как ускорить исполнение? Действительно ли скрипт вообще медленный?

Ответить на все эти вопросы поможет инструмент под названием «профилировщик» (profiler).
Читать дальше →
Total votes 48: ↑47 and ↓1+66
Comments10

А давайте убьем все фреймворки?

Level of difficultyMedium
Reading time15 min
Views50K

Общая тенденция развития технологий характеризуется рывками и спадами. Рассмотрим, например, массовое перемещение человеческих тел. Изначально применялись лошади и повозки, которые постепенно стали сложными, и эта технология превратилась в отдельную индустрию. Затем внезапно появились поезда. Про лошадей быстро забыли, и фокус сместился на новое направление. Пар стал объектом исследований и превратился в сложную науку. Параллельно развивались дизель и электричество. В определенный момент паровые двигатели ушли в прошлое, и все перешли на дизель и электричество. Аналогично сейчас происходит переход на электромашины, требующие значительно меньшего количества жидкостей.

Технологии эволюционируют и функционируют, а новые технологии их полностью заменяют. Считаю, что сейчас наступает эпоха, когда технологии фреймворков и Электрона могут быть вытеснены генеративными AI. Рассмотрим несколько примеров.

Нажимайте вот эту вот кнопотуленку
Total votes 115: ↑89 and ↓26+82
Comments274

Xbox is a new Dreamcast. Зачем покупать консоль от Microsoft в 2023 году и во что играть

Level of difficultyEasy
Reading time11 min
Views8.4K
image

В 2001 году вышла консоль, которая крайне дерзко показала всем геймерам, каким будет будущее видеоигр. К её технологиям не все были готовы, а графика поражала воображение уже в лонч-тайтлах. Этой консолью стал Xbox.

Первая консоль от Microsoft фактически стала идейным наследником Dreamcast — консоли от Sega, вышедшей в 1998 году. Xbox получил сиквелы известных сеговских тайтлов, да и определённые технические моменты сильно напоминают японскую консоль, провалившуюся благодаря неумолимому росту популярности Playstation 2.
Читать дальше →
Total votes 28: ↑26 and ↓2+37
Comments9

TimescaleDB против всех: как база данных справляется с рядом сложных задач

Reading time11 min
Views8.9K

В фильме «Отряд самоубийц: Миссия навылет», когда персонажи Идриса Эльбы (Бладспот) и Джона Сины (Миротворец) знакомятся при участии Аманды Уоллер, звучит следующая фраза:

– Ты сказала, что у всех в отряде уникальные навыки, а он — это тот же я.


Источник

Казалось бы, при чем здесь базы данных? На самом деле, отношения между PostgreSQL и TimescaleDB напоминают эту пару героев. PostgreSQL — одна из самых популярных СУБД в мире. Вокруг решения давно существует комьюнити, а за годы в коммерческой разработке набралось достаточно документации. TimescaleDB, будучи расширением PostgreSQL, умеет многое из ее арсенала, но применяется более точечно. В основном в проектах, где нужно работать с временными рядами или собирать данные с IoT-устройств.

В этом материале мы рассмотрим особенности работы TimescaleDB, а также покажем, как ее использует клиент Selectel — сервис DwarfByte.
Читать дальше →
Total votes 32: ↑31 and ↓1+44
Comments4

Information

Rating
Does not participate
Registered
Activity