Как стать автором
Обновить
222.13

IT-инфраструктура *

Инфоцентры + базы данных + системы связи

Сначала показывать
Порог рейтинга
Уровень сложности

Кто мощнее в базах данных? Сравниваем производительность БД на серверах с ARM- и x86-процессорами

Уровень сложности Средний
Время на прочтение 15 мин
Количество просмотров 13K

Всем привет! Ранее я разобрал и протестировал сервер с процессором ARM, который попал к нам в Selectel Lab. Сервер показал хорошие результаты по производительности в ряде классических тестов, но в этот раз захотелось проверить его в боевой задаче — в работе с базами данных. Быть может, архитектура ARM-процессора сделает всех конкурентов на этой территории?

Чтобы ответить на этот вопрос, протестировал ARM вместе с семеркой серверов разных конфигураций с процессорами Intel и AMD. В качестве баз данных для нашего эксперимента выбрал самые популярные — PostgreSQL и MySQL. Результаты тестов с графиками и комментариями — под катом. Надеюсь, они будут полезны вам при выборе сервера под БД.
Читать дальше →
Всего голосов 59: ↑57 и ↓2 +55
Комментарии 45

А у вас есть кубернетес? Подборка текстов по k8s для тех, кто не DevOps

Время на прочтение 5 мин
Количество просмотров 8.6K

В каноничном видео человек грустит, пытаясь ответить на вопрос, зачем ему Kubernetes. В этом тексте на него мы не ответим, зато поможем разобраться с базовыми концепциями, связанными с оркестратором. Будет полезно тем, кто не работает с кубиком напрямую, но кодит приложение под Docker/Kubernetes. И тем, кому нужно будет поддержать умную беседу на кофе-пойнте. Под катом разбираем понятия Cloud Native, микросервисов и готовых кластеров Kubernetes.
Читать дальше →
Всего голосов 45: ↑40 и ↓5 +35
Комментарии 0

ЦИПР 2023: ощущение новой ИТ-реальности

Уровень сложности Простой
Время на прочтение 19 мин
Количество просмотров 9.4K

ЦИПР всегда отличается от других конференций. С одной стороны, с площадки уходит в СМИ много цитат представителей власти и официоза про заключённые соглашения, меморандумы, рамочные договоры, с другой — на секциях ведутся деловые, горячие и часто искренние дебаты по насущным проблемам. Сессии настолько сильные и увлекательные, что даже в конце третьего дня в теплый летний денёк, в каких-то 300 метрах от видового парка на Стрелке собираются довольно плотные залы. И писать про ЦИПР можно по-разному: списками соглашений и контрактов или рассказами о сессиях и экспозиции. Списков на Хабре и в новостях хватает, поэтому расскажу вам о том, что удалось увидеть и услышать за два полных рабочих дня на ЦИПРе (31 мая и 2 июня). 

Читать далее
Всего голосов 50: ↑40 и ↓10 +30
Комментарии 22

Установка и настройка сервера Matrix Synapse + PostgreSQL + Admin UI + Element WEB. Ubuntu 20 LTS / Ubuntu 22 LTS

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 29K

Всем привет. В данном гайде я постарался пошагово, подробно и доступно описать процесс установки на свой сервер Matrix Synapse + Element WEB + Admin UI на базе Ubuntu 20 LTS / Ubuntu 22 LTS.

Столкнувшись с задачей поднять свой сервер я затратил очень много времени на установку, настройки и отладку некоторых настроек. В сети были разные гайды, но все они так или иначе не работали на все 100.

Разобравшись с данным вопросом и затратив не мало усилий я решил поделиться своими результатами с сообществом habr.

Читать далее
Всего голосов 28: ↑27 и ↓1 +26
Комментарии 34

Истории

Три кита. Краткая история трех популярных CMS и попытка заглянуть в будущее

Уровень сложности Простой
Время на прочтение 9 мин
Количество просмотров 5.7K


Во второй половине «девяностых» индустрия «сайтостроения» переживала расцвет. Каждая компания стремилась заявить о себе в интернете, каждый пользователь мечтал завести личную «домашнюю страничку». На помощь веб-мастерам приходили всевозможные программы вроде FrontPage и Dreamweaver, но большинство сайтов все еще представляли собой набор статических HTML-страниц, иногда — с вкраплением CSS. Чуть позже появилась технология Server Side Includes, позволявшая динамически собирать сайт на сервере из стандартных блоков: «шапки», панели меню, «подвала» и, собственно, полезного содержимого. После этого оставался только один шаг до внедрения баз данных и систем управления контентом, значительно упростивших жизнь как разработчикам, так и владельцам ресурсов.
Читать дальше →
Всего голосов 33: ↑31 и ↓2 +29
Комментарии 17

Kafka за 20 минут. Ментальная модель и как с ней работать

Уровень сложности Средний
Время на прочтение 19 мин
Количество просмотров 68K

Привет! Меня зовут Глеб Гончаров, и я руковожу подгруппой ИТ-инфраструктуры в СберМаркете. В работе мы широко используем Kafka как шину данных для микросервисов и не раз убедились на практике, что к инструменту важно подобрать правильный подход. Об этом сегодня и поговорим в двух частях — сначала обсудим основы, а в конце статьи будет ссылка на практические задания.

Читать далее
Всего голосов 41: ↑41 и ↓0 +41
Комментарии 15

Новые инструменты для работы c ML-моделями и обзор MLOps от CERN

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 4.1K

Привет всем, кто работает с ML-моделями и занимается аналитикой данных! В новом дайджесте для вас много интересных обзоров по инструментам — как говорится, ни ClearML и Airflow едиными. Рынок решений стремительно развивается, и наши подборки помогут вам держать руку на пульсе. Еще больше полезных текстов по DataOps и MLOps публикуем в Telegram-сообществе «MLечный путь».

Как вам, кстати, ренессансная GPU на обложке, которую сгенерила нейросеть для блога Andreesen and Horowitz? Что тут сказать — просто поделитесь промтом.
Читать дальше →
Всего голосов 40: ↑40 и ↓0 +40
Комментарии 1

5 млн долларов за строчку кода: подробный разбор сбоя сервисов Datadog

Уровень сложности Средний
Время на прочтение 24 мин
Количество просмотров 13K

В марте сервисы Datadog не работали более суток. Что пошло не так, как отреагировала команда инженеров, и что можно извлечь из этого инцидента? Это перевод эксклюзивного исследования, которое провел Гергели Орош (Gergely Orosz), консультант mobile.dev, автор нескольких книг по работе с инфраструктурой, в прошлом — инженер в Uber, Skype, Microsoft. 

Читать далее
Всего голосов 46: ↑46 и ↓0 +46
Комментарии 11

Мир. Труд. Майпу. Или как мы тестировали китайскую СХД

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 8.9K

Чем заменить на санкционном безрыбье системы хранения данных Dell, HPE, Huawei и других покинувших нас вендоров? Мы уже долго изучаем этот вопрос и протестировали большинство доступных альтернатив enterprise-уровня.

И что думаете? Кажется, нашли приемлемое решение — СХД китайского вендора Maipu с привычными функциями, перспективными возможностями и не только. Мы привезли его в лабораторию и первыми на российском рынке протестировали — срочно делимся впечатлениями и результатами.

Читать далее
Всего голосов 28: ↑28 и ↓0 +28
Комментарии 6

OpenStack vs VMware: что лучше — open source или проприетарная платформа

Время на прочтение 7 мин
Количество просмотров 12K

Чем отличается облачная платформа на OpenStack от облака на базе VMware? Собрали команду системных администраторов, разработчиков и продакт-менеджеров, чтобы обсудить вопрос и подискутировать на тему того, что лучше. Посмотрели на платформы с позиции пользователя, разработчика, менеджера. Предлагаем и вам присоединиться к дискуссии: на чьей вы стороне? Делитесь мнением в комментариях.
Читать дальше →
Всего голосов 45: ↑44 и ↓1 +43
Комментарии 41

Когда типизация делает тебе больно: как у нас появился статический анализатор

Время на прочтение 10 мин
Количество просмотров 8K

Удобство процесса разработки напрямую влияет на скорость работы и на количество ошибок при написании кода. Что делать, если среда разработки почему-то отказывается использовать автодополнение во всю силу? Правильно, искать обходные пути и изобретать велосипеды.

Язык программирования Python в силу своей динамичности может легко создать ситуацию, когда статический анализатор не может вывести типы и, как следствие, часть проверок отключается. В статье я подробно расскажу о проблеме в разработке системы управления выделенными серверами, которую мы сами себе создали, а затем героически решили. В примерах используется интерпретатор Python 3.10, а средой разработки выступает PyCharm 2022.2.4.

Текст будет интересен тем, кто хочет узнать новые стороны Python, и кому любопытно, с какими проблемами можно столкнуться, если использовать все модные фичи языка.
Читать дальше →
Всего голосов 57: ↑57 и ↓0 +57
Комментарии 0

Особенности национальной… покупки софта

Уровень сложности Простой
Время на прочтение 11 мин
Количество просмотров 12K
Мой знакомый предприниматель недавно выбирал часы: с прошлого ноября по начало мая. Не Rolex, не Vacheron Constantin, обычную повседневную модель «подо всё». Он изучил всё и прожужжал нам уши: механизмы, типы стёкол, расположение апертуры даты, безели, материалы шестерён, характеристики пружин, марки, модели, весь российский, швейцарский и японский рынок. И вот он гордо носит новые часы и на майских за мангалом впроброс говорит, что «купил в компанию ERP-шку». Я как бывший автоматизатор всего и вся в бизнесах всех мастей офигеваю и спрашиваю, а чего не проконсультировался. На что он отмахнулся «делов-то, оплатили и забыли» и ушёл укладывать купаты на решётку гриля. В моей голове не сходилось: выбирать полгода часы за 100 тысяч рублей и внедрить проект за 1,7 млн с нехилой ежемесячной арендой, как выяснилось, за неполный апрель («да у нас всё по базе, что мы как лохи»). А потом я вспомнил свои будни автоматизаторские и понял: либо я сейчас устрою ему разнос, либо статья. Статья на Хабр.

Читать дальше →
Всего голосов 61: ↑59 и ↓2 +57
Комментарии 28

Готовые кластеры Kubernetes или самостоятельное развертывание? Что выбрать

Уровень сложности Простой
Время на прочтение 9 мин
Количество просмотров 8.6K

Многие провайдеры предлагают услугу Managed Kubernetes — это готовые кластеры Kubernetes на базе облачной инфраструктуры. Обычно провайдеры объясняют ценность подобных PaaS-сервисов так: мы сами заботимся об отказоустойчивости кластеров, control plane и избавляем администраторов от рутинных задач.

Альтернатива managed-решению — это кластеры, которые собственноручно поднимают и настраивают сисадмины конкретной компании (self-hosted). Это можно сделать как на виртуальных машинах, так и в bare metal-инсталляциях на выделенных серверах. Второе встречается чаще, поскольку развертывать кластеры на выделенных серверах, как правило, дешевле, чем в облаке.

Под катом рассказываем, чем отличается Managed Kubernetes от самостоятельного развертывания инфраструктуры, и рассуждаем, кому подойдет готовое решение. Если у вас есть опыт подобного выбора, делитесь в комментариях!
Читать дальше →
Всего голосов 43: ↑41 и ↓2 +39
Комментарии 5

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн
PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн

FlexGen на практике: получится ли запустить тяжелую модель без мощной видеокарты

Время на прочтение 6 мин
Количество просмотров 6.9K

От таких штук нас обещает избавить FlexGen при работе с текстовыми моделями.

Ранее я рассказывал про создание виртуальной подруги на основе текстовой модели GPT-J, которую можно развернуть локально. Ожидаемый недостаток этой идеи — большие «аппетиты» текстовых моделей по отношению к вычислительным ресурсам. Собственно, мой последний эксперимент состоялся только благодаря карточке A100 в сервере.

В конце февраля группа исследователей опубликовала FlexGen — решение для запуска масштабных текстовых моделей в среде с ограниченными ресурсами. В теории оно должно помочь обойтись ресурсами персонального ПК, без добавления мощных видеокарт. Под катом расскажу о FlexGen и его применимости в существующем проекте.
Читать дальше →
Всего голосов 61: ↑59 и ↓2 +57
Комментарии 3

История о жрущем память API-сервере Kubernetes

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 4.8K

Несколько месяцев назад коллеги, работающие с одним из кластеров Kubernetes в dev-окружении, обратились с проблемой недоступности API-сервера Kubernetes. Dev-среды обычно не подключены к дежурной смене, и решением проблем занимаются владельцы или, если проблемы нестандартные, обращаются к профильным специалистам. В ходе диагностики оказалось, что kube-api стал потреблять значительно больше памяти. Это приводило к возникновению ошибки с OOM.

Давайте будем честными — если бы это произошло в production-окружении, мы, скорее всего, закинули бы больше памяти и успешно бы забыли про проблему. Но dev-стенд не имеет жёстких SLA с финансовой ответственностью, и это дало нам возможность и время разобраться с прожорливым kube-api.

Всех, кому интересно, что из этого вышло, прошу под капот.

Читать далее
Всего голосов 27: ↑27 и ↓0 +27
Комментарии 9

TCP vs UDP

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 34K

Приведу 7 отличий, которые было бы неплохо знать.

Читать далее
Всего голосов 47: ↑42 и ↓5 +37
Комментарии 31

Если он в воде не тонет… значит, это дата-центр: плавучие и подводные ЦОД становятся все популярнее

Время на прочтение 4 мин
Количество просмотров 4.2K
floating-Nautilus-data-center-3

Еще несколько лет назад идея плавучего дата-центра казалась обычной технологической фантазией. Но после того, как компании Nautilus Data Technologies удалось реализовать такой проект, в разных странах стало появляться все больше плавучих дата-центров. И это не только дополнительные дата-центры от Nautilus, но и проекты других компаний. Давайте посмотрим, что там нам сейчас предлагают разработчики плавучих ЦОД.
Читать дальше →
Всего голосов 45: ↑45 и ↓0 +45
Комментарии 8

Тренды Kubernetes и контейнеризации в 2023 году

Время на прочтение 14 мин
Количество просмотров 17K

Какие вызовы стоят перед Kubernetes? Каким будет текущий, 2023 год? Что ждет Kubernetes в будущем? Мы проанализировали различные профильные исследования и постарались выделить все самое интересное, чтобы ответить на эти и другие вопросы. Рады поделиться с вами полученной информацией.

Читать далее
Всего голосов 34: ↑34 и ↓0 +34
Комментарии 0

Нагрузочный поединок: Tarantool 2.10 vs Redis 7.0.5

Уровень сложности Средний
Время на прочтение 14 мин
Количество просмотров 3.1K

Tarantool и Redis по большей части — два очень разных продукта. Начиная от заложенной в них функциональности и заканчивая протоколом, репликацией и кластерными решениями. 

Тем не менее в них много схожего. И в статье мы хотим рассмотреть: что, если взять Tarantool как замену Redis? Просядет ли производительность из-за всех «дополнительных» фичей в Tarantool? Насколько хорошо или плохо справится дисковая подсистема с нагрузкой?

Мы взяли типичные кейсы работы с Redis и реализовали такие же механики на Tarantool, начиная от простых K-V операций и заканчивая вторичными ключами и производительностью кластерных решений: для Tarantool это Tarantool Cartridge, для Redis — Redis Cluster.

Читать далее
Всего голосов 35: ↑33 и ↓2 +31
Комментарии 8

Массивный курс по управлению данными и обзор новинок от NVIDIA. Дайджест полезных текстов про ML и дата-аналитику

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 3.4K

Привет, Хабр! Делюсь новым уловом текстов, которые помогут вам лучше разобраться в темах ML, искусственного интеллекта и дата-аналитики. В этой подборке — смесь фундаментальных трудов и более «популярных» статей. Начнем с красочного лонгрида, а закончим — сводом знаний по управлению данными в 10 главах (не пугайтесь).

Еще больше полезных подборок по DataOps и MLOps публикуем в Telegram-сообществе «MLечный путь». Там обсуждаем проблемы и лучшие практики организации production ML-сервисов, а также обмениваемся опытом. Присоединяйтесь к более 1 000 специалистов, развивающим ML- и Data-направления в российских и зарубежных компаниях.

Читать дальше →
Всего голосов 40: ↑38 и ↓2 +36
Комментарии 1

Вклад авторов

Работа