Администрирование

Всем привет!

Вопрос - где применяется подход DDD?
Аналитика, разработка, тестирование. Конечно архитектура АС, с нее все начинается.
Но это еще не все.
Есть такой класс систем как Data Warehouse (DWH) или аналитическое хранилище данных. В это хранилище попадают данные из всех бизнес-сервисов компании для дальнейшего анализа. Т.об. мы разделяем оперативную БД и аналитическую, снимая лишнюю нагрузку с оперативной БД. Особенность Data Warehouse - технологии обработки и хранения данных отличаются от используемых в системах оперативной обработки данных. Hadoop, Greenplum, ClickHouse... А значит нужны специалисты, которые подготовят хранилище под ваши данные и настроят синхронизацию с оперативной БД. Но эти специалисты не знают ваш домен, в отличие от команды. Плюс они часто становятся "бутылочным горлышком". Плюс структура данных постоянно меняется...
Что делать?
Data Warehouse специалисты готовят инфраструктуру, а за подготовку и синхронизацию данных, актуальность их структуры и способ предоставления этих данных потребителям отвечает бизнес команда. Это же ее bounded context. Подход называется Data Mesh. Вот неплохая статья на эту тему.
P.S. На самом деле DevOps в своем идеальном виде о том же - DevOps инженеры готовят инфраструктуру, а за сборку и деплой отвечает команда.

Компании «РЕД СОФТ» и «Анлим‑Софт» провели тестирование совместимости продуктов из своих экосистем. В рамках тестирования система сбора данных с досмотровых комплексов «АРГОС» показала, что стабильно работает с СУБД Ред База Данных, передавая поступающую информацию для обработки, хранения и классификации.

Система «АРГОС» осуществляет сбор и обработку информации со всех типов досмотровых комплексов. Решение позволяет консолидировано собирать и хранить информацию о триггерных событиях (срабатываниях), обрабатывать их и связывать с фото и видеофрагментами для более быстрой идентификации потенциального нарушителя. Система прошла обязательную сертификацию в рамках Постановления Правительства № 969 от 26.09.2016 «Об утверждении требований к функциональным свойствам технических средств обеспечения транспортной безопасности и Правил обязательной сертификации технических средств обеспечения транспортной безопасности».

СУБД Ред База Данных обеспечивает стабильную и наглядную работу с данными, поступающими от системы «АРГОС». Безопасность СУБД от компании «РЕД СОФТ» подтверждена сертификатом соответствия № 2729 ФСТЭК России: решение полностью соответствует новым Требованиям по безопасности информации к системам управления базами данных, утвержденных приказом ФСТЭК России № 64 от 14 апреля 2023г., по 4 классу защиты. Решение можно применять в инфраструктурах с повышенными требованиями к информационной безопасности, а также использовать для хранения и обработки персональных данных.

Всем любителям железа посвящается! Для вас — наш новый проект 👀

Больше 15 лет мы собираем серверы, следим за новинками и внедряем их. За это время накопили много опыта и хотим им поделиться. «Железный обзор» — это проект, в котором будем дотошно изучать серверы, возможности и задачи, которые они выполняют. 

В первом выпуске «Железного обзора» знакомимся с настоящими суперпроцессорами, мозгом и драйвером всех процессов. Сергей Ковалёв, менеджер продукта в отделе по развитию выделенных серверов, и Артем Дробот, руководитель отдела сборки и обслуживания серверного оборудования, разбирают AMD 9004 и Intel Xeon Scalable5. Вместе мы выясним, для каких задач подходит каждый из процессоров, и определимся с фаворитом.

Смотрите видео в ВК или на YouTube, чтобы следить за новинками и изучать топовое железо вместе с нами!

Качать напрямую на сервер с Яндекс.Диска

Бывает нужно скачать на сервер огромный файл. На серверах обычно интернет супер быстрый и очень выгодно качать на сервер напрямую с облачного диска. С гуглом уже писал в телеге как быть.

Теперь знаю как это делать с Яндексом. Обращаемся к апишке яндекса следующим образом. Есть GET метод у API: https://cloud-api.yandex.net/v1/disk/public/resources/download?public_key=ПУБЛИЧНАЯ_ССЫЛКА

Вместо ПУБЛИЧНАЯ_ССЫЛКА подставляем ссылку вида https://disk.yandex.ru/d/abcabc. Вставляем это в браузер. В ответ приходит json и в поле href лежит уже готовая ссылка, которую можно передавать в wget и качать все напрямую на сервер.

Дико удобно и быстро получается. Яндекс еще любезно запаковывает все в архив.

SpaceWeb усиливает защиту сайтов до уровня  L7

Для клиентов виртуального хостинга мы подключили новую услугу на базе решений DDoS-Guard с максимальным уровнем защиты L7.

Кибератаки уровня L7, в отличие от DDoS L3 и L4, направлены на прикладной уровень и затрагивают конкретные веб-приложения и сервисы. Новая степень защиты обеспечит глубинную защиту и позволит эффективно противодействовать киберугрозам. 

Система защиты от SpaceWeb использует современный стек для фильтрации и анализа трафика, это поможет выявлять и блокировать как известные, так и новые виды атак близко к источнику. А при подключении защиты L7 веб-разработчики получат ускорение работы сайта благодаря разгружающей основной сервер CDN (Content Delivery Network), за счет принятия на себя часть трафика. 

Узнать подробнее про новый уровень защиты от DDoS можно на сайте.

Компании «РЕД СОФТ» и «VR Concept» завершили тестирование и сертификацию совместимости VR Concept с операционной системой РЕД ОС. В рамках взаимодействия компании подготовили совместимые решения для оснащения классов VR‑тренажерами, работающими на базе РЕД ОС.

ОС компании «РЕД СОФТ» была ранее передана образовательным учреждениям, включенным в партнерскую программу. VR Concept получила сертификат, подтверждающий безопасность и корректность функционирования программного обеспечения в среде РЕД ОС, что гарантирует стабильную и надежную работу продуктов компании на отечественной платформе.

С помощью VR‑шлемов и ПО VR Concept преподаватели и студенты могут погружаться в единое виртуальное пространство, где ученики взаимодействуют с 3D моделями в масштабе 1:1, что позволяет усваивать материал в интерактивном и наглядном формате. Применение VR‑технологий в учебном процессе уже продемонстрировало значительное улучшение качества усвоенных знаний. В пилотном проекте, проведенном в ГБОУ РОЦ № 76, были зафиксированы результаты, показавшие повышение успеваемости по химии с 67,7% до 83,3%, по биологии — с 72% до 83,3%, и по физике — с 68% до 100%.

Компании «РЕД СОФТ» и «VR Concept» продолжают предоставлять образовательным учреждениям бесплатный доступ к продуктам своих экосистем, активно развивая сотрудничество и способствуя формированию устойчивой платформы для импортозамещения VR‑лабораторий и классов в России.

Запустил WHOIS API сервис за один день

Челлендж заключался в том, смогу ли я за один день сделать сервис с нуля до рабочей MVP. 

За 15 часов плотной работы у меня есть:

– Сайт сервиса

– WHOIS сервис

– API

– Тарифные планы

– Форма предзаказа

Да, есть над чем еще работать напильником, адаптивность местами, функционал, прикрутить оплату, SEO, фишки, плюшки. 

Результатом и маркетинговой стратегии подробно поделился тут.

Челлендж может быть неудачным. Ничего страшного, если бы я сделал этот сервис за несколько дней или неделю. 

Ключевая идея - это быстрый запуск. Чтобы уже на следующий день/неделю можно было заниматься маркетингом и продвижением сервиса. 

А не пилить его месяц, a потом еще месяц, потому, что вот тут надо логирование добавить или баг на мобилках. 

Манипуляция временем транзакции в блокчейне Hyperledger Fabric - уязвимость (теперь официально).
Мне удалось добиться назначения идентификатора CVE (CVE-2024-45244) уязвимости, связанной с манипуляцием времени транзакции (о чём писал на Хабре) в блокчейне с открытым исходным кодом Hyperledger Fabric. Разработчик выпустил исправление, но не счёл это уязвимостью (о чём я узнал в переписке, по моему обращению на HackerOne). В итоге, мне пришлось самостоятельно заниматься процессом назначения CVE (воспользовавшись найденной мной на Хабре статьёй). Между обращением в MITRE и назначением CVE прошло чуть менее 2-х недель. UPD 13.09.2024 разработчик пытался оспорить, что это уязвимость - не вышло.

Согласно результатам голосования на моём докладе на конференции по кибербезопасности OFFZONE, все участники согласились, что манипуляция временем транзакции является уязвимостью. Исправление сейчас недоступно для стабильных версий (т.е., в ветке 2.4 и 2.5 исправлений нет, а ветка 3.0.0 не является стабильной). В качестве защиты, можно воспользоваться моей open source разработкой.

Блокчейн активно используется в разных сферах: цифровые валюты центробанков (Беларусии, Нигерии), операторами информационных систем цифровых финансовых активов, электронное голосование, энергетика, здравоохранение и др.

Notion уходит из РФ, удаляя все мои данные 9 сентября.

На протяжении многих лет весь IT мир двигался в сторону облачного подхода, в котором я не должен париться об инфраструктуре и просто плачу подписку и дальше хранение данных уже выполняется не мной, а я просто занимаюсь своей жизнью/бизнесом. И вроде как договариваемся, что я могу спать спокойно и не ждать подставы в виде удаления моих данных.

Но последние пару лет явно показали несостоятельность этой модели лично для меня и моего бизнеса. Я все больше и больше возвращаюсь к модели self-hosted решений, которые могут отставать от крутых продуктов, но адаптировать процессы компании проще, чем унижаться и хавать такое нечеловеческое отношение ко мне.

Notion сказал, что 9 сентября просто удалит под чистую все данные без возможности восстановления. Невероятно удобно и надежно и вызывает огромное доверие! Как у них на баннере написано "Write. Plan. Organize." и забыли добавить "... and we'll destroy it".

Прекрасный западный мир, который приглашал к себе меня и мои деньги теперь дает понять, что у этого приглашения есть национальность. А как только я стал неугодный для них, то удаляют меня вместе с моими данными.

Теперь это все время стоит иметь в виду и не воспринимать "Облачный сервис" как что-то надежно. Удобное — да, а вот надежное оно лишь пока я для него буду оставаться удобным в ответ.

Что лучше для бизнеса: облака или on-premise? Узнаем уже завтра, 28 августа в 15:00 по Москве.

Приглашаем на экспресс-вебинар, где обсудим, зачем переходить в облако и кому это нужно. И посмотрим реальные результаты на примере успешной миграции авиакомпании Smartavia.

Каждый участник прямого эфира сможет задать свои вопросы и получить промокод на скидку на разовые работы.

Чтобы зарегистрироваться — перейдите по ссылке.

Обновился драйвер поддержки Django 5.0 для Firebird и СУБД Ред База Данных. Теперь пользователям СУБД Ред База Данных и Firebird доступен фреймворк Django 5.0. Это актуальная версия фреймворка, важными особенностями которой являются:

• поддержка Python 3.10, 3.11, и 3.12;

• возможность указывать вычисляемые значения по умолчанию, используя свойство db_default для Field;

• поддержка функции GeneratedField для генерации данных в полях базы;

• возможность использования асинхронных методов как для Client, так и для AsyncClient.

Список изменений для драйвера django‑firebird:

• добавлена поддержка Django 5.0;

• добавлена поддержка частичных индексов;

• добавлена поддержка оконных функций;

• добавлена поддержка TIME WITH TIME ZONE и TIMESTAMP WITH TIME ZONE для TimeField и DateTimeField;

• добавлена поддержка массовой вставки данных (bulk insert);

• обновлен firebird‑driver до версии 1.10.4.

Полный список изменений можно посмотреть на GitHub проекта.

Группа компаний «Гарда» и «РЕД СОФТ» подтвердили совместимость обновленных версий СУБД Ред База Данных и «Гарда DBF». Система «Гарда DBF» стабильно контролирует запросы к системе управления базами данных от «РЕД СОФТ» и защищает чувствительную информацию.

Совместное внедрение СУБД Ред База Данных и «Гарда DBF» поможет компаниям не только выполнять требования регуляторов по защите данных, но и своевременно пресекать возможные утечки по вине недобросовестных сотрудников.

«Гарда DBF» (ранее «Гарда БД») — система для обеспечения безопасности СУБД и независимого аудита операций с базами данных и бизнес‑приложениями. Предназначена для защиты от утечек уничтожения, изменения, копирования информации и несанкционированного ее распространения. «Гарда DBF» ведёт непрерывный мониторинг обращений к ресурсам и в режиме реального времени выявляет подозрительные операции. Зарегистрирована в Едином реестре отечественного ПО. Сертифицирована ФСТЭК России по классу НДВ-4.

СУБД Ред База Данных — промышленная российская система управления базами данных. Команда РЕД СОФТ самостоятельно и независимо развивает продукт и оказывает высококвалифицированную техническую поддержку. Поддержка оказывается на всех уровнях: от настройки, сопровождения и аудита до внесения самых сложных изменений в код СУБД.

Подборка вебинаров августа по ML 🗓

📌 22 августа, 16:00 

Как сократить расходы на инференс LLM? Кейс компании «Актион»

Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM.

Присоединиться онлайн →

📌 29 августа, 16:00 

Production ML: как настроить GPU-ноды в кластерах Kubernetes?

На практическом вебинаре покажем особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.

Присоединиться онлайн →

Оптимизация изображений с помощью Image Stack

Loading… ⏰

Падают охваты из-за долгой загрузки страниц?

В мобильных приложениях, соцсетях и на веб-сайтах это может произойти из-за большого количества изображений.

Image Stack — функция CDN — помогает решить проблему и уменьшить объем передаваемых данных. Инструмент автоматически оптимизирует изображения, улучшает SEO-результаты и повышает уровень конверсии.

В новом материале рассказываем, как работает Image Stack, кому он подходит и какие задачи решает. Также оставили инструкцию по подключению функции.

Читать статью в Академии Selectel→

В развитии темы

Нагрузочное тестирование СУБД в облачной среде — часть 2. Итоги и результат https://habr.com/p/837462/

Методика проведения нагрузочного тестирования .

Задача

Оценить значение производительности СУБД при постоянной нагрузке, в условиях нестабильной инфраструктуры.

Проблема

На производительность СУБД влияет множество случайных факторов.

Гипотеза

В идеальных условиях, при постоянной нагрузке, значения производительности СУБД должно иметь нормальное распределение.

Из гипотезы следует решение задачи:

1. Из непрерывной серии наблюдений сформировать выборку, максимально удовлетворяющую критерию нормального распределения .

2. Статистические результаты найденной выборки - будут решением задачи.

Дополнение по итогам анализа результатов проведенных экспериментов

В связи с трудоемкостью реализации стандартных статистических тестов Колмогорова -Смирнова и Шапиро –Уилка в PostgreSQL, для практического решения задачи, условия получения результирующей выборки можно сильно упростить.

Достаточно выполнение условия симметричность распределения: Медиана = Мода.

Полученные средние значения ( медиана/моде) производительности будут исходным набором данных.

Для уменьшения объёма выборки , набор данных необходимо отсортировать и отфильтровать по значению дисперсии, исключив результаты выходящие за заданную погрешность измерения.

Полученная совокупность данных и будет статистическим результатом нагрузочного тестирования в облачной среде.

Дополнение

Запускать нагрузку необходимо в течении суток.

19 сентября в московском офисе Ситидрайва пройдет очередной митап на тему «Уникальность работы с Kubernetes» – присоединяйся к нам!

Инженеры из команды Ситидрайва, OKKO и Positive Technologies расскажут об особенностях эксплуатации с использованием Kubernetes: только кейсы из практики и личный опыт. В завершение каждого доклада можно будет задать вопросы и пообщаться со спикерами в неформальной обстановке. А после мероприятия – подкрепиться закусками, погулять по офису и познакомиться друг с другом поближе.

Программа:

18:00-18:30 | Сбор в офисе Ситидрайва, знакомство и Welcome

18:30-19:00 | Доклад «Управление и мониторинг баз данных с помощью k8s»

Спикер: Анатолий Тимченко — Team Lead DBA в Ситидрайве.

19:10-19:40 | Доклад «Talos платформа для k8s в OKKO»

Спикер: Алексей Романов — Lead of Kubernetes в OKKO.

19:40-20:10 | Нетворкинг

20:10-20:40 | Доклад «Kubernetes: master внутри cluster-а»

Спикер: Максим Залысин — Head of DevOps в Positive technologies

20:45-21:15 | Доклад «Переезд монолита с ВМ в k8s»

Спикер: Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.

21:15-22:00 | Нетворкинг

Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.

Компании «Газинформсервис» и «РЕД СОФТ» подтвердили совместимость программного обеспечения Litoria Desktop 2 с операционной системой РЕД ОС 8. Совместное внедрение разработок «Газинформсервис» и «РЕД СОФТ» позволит организациям реализовать функциональность при работе с электронной подписью и шифрованием под управлением сертифицированной отечественной ОС.

Программный комплекс Litoria Desktop 2 предназначен для решения комплекса задач электронной подписи и шифрования с ведением аудита действий пользователя. ПО обеспечивает на уровне пользователя поддержку инфраструктуры открытых ключей на основе отечественных СКЗИ, подтвержденное сертификатом ФСБ и результатами тестирования на соответствие международным стандартам в области инфраструктуры открытых ключей (ITU‑T X.509) в рамках международной системы тестов NIST Public Key Interoperability Test Suite (PKITS).

РЕД ОС 8 — российская операционная система семейства Linux для серверов и рабочих станций, разработанная компанией «РЕД СОФТ».. Безопасность работы РЕД ОС обеспечивается средствами защиты информации от доверенных партнеров «РЕД СОФТ», встроенными инструментами мониторинга и реагирования на инциденты, присутствует сканер уязвимостей и средства безопасной разработки.

Всем привет!

Завтра, 22 августа, приглашаем на вебинар, чтобы поговорить про Кафку и научиться разворачивать кластер на своём железе:

«Поднимаем Кафку, не опуская руки. Отказоустойчивый кластер на вашем ПК»

На вебинаре: 

• Расскажем про язык Кафки: топики, партиции, продюсеры-консьюмеры, кластер, ноды. 
• Рассмотрим принципы её работы: как работают очереди сообщений, сколько должно быть консьюмеров для эффективной вычитки, как повысить надёжность кластера с помощью репликации данных.
• И покажем, как развернуть кластер Кафки на своём ПК с 3 нодами, schema-registry и авторизацией.

Обычно в инструкциях кластер из 1 ноды, зукипера и 1 брокера, но это не наш путь. Будем работать с реальными исходными данными, а не на теоретических примерах!

На вебинаре пройдёт и традиционный розыгрыш — один из участников получит бесплатное место на курс «Apache Kafka для разработчиков».

Спикер — Василий Калугин, владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг». 

📌 22 августа в 14:00 мск
📌 Занять место на вебинаре — по ссылке. 

Selectel Tech Day 2024: масштабная конференция для бизнеса и айтишников

Привет, Хабр! 10 октября мы проведем Selectel Tech Day — поговорим об IT-инфраструктуре, трендах в области железа, информационной безопасности, машинном обучении и о том, зачем это все бизнесу. Будут доклады, нетворкинг, мастер-классы, обзор опыта наших партнеров и вечерняя программа.

Зарегистрироваться →

Какие доклады

• «На железе в облака»: как эффективно управлять IT-инфраструктурой в 2025 году.

• Секретный доклад о продукте, который вы ждали.

• Как скорость сетевого стека влияет на бюджет? Ускоряем время с собственной ОС.

• Крупный бизнес в мире IaaS: актуальные требования к облачному провайдеру.

• Как упростить путь в реестр отечественного ПО.

• «Много не мало»: зачем нужен выделенный сервер под базы данных и Kubernetes.

• Как поднять инференс-платформу с автоскейлингом, блэкджеком и обновлениями на лету.

• Инфраструктурные вызовы при построении генеративного ИИ.

Подключайтесь онлайн или присоединяйтесь лично — встречаемся в Москве, в Центре событий РБК. Участие в конференции бесплатное, но нужно зарегистрироваться.

Компания «РЕД СОФТ» заявила об обновление СУБД Ред База Данных 3.0. В августе 2024 года специалисты компании активно работали над функционалом, повысили комфорт взаимодействия с СУБД и внесли 18 исправлений.

Среди нововведений СУБД Ред База Данных v3.0.16:

• Таймаут ожидания при завершении подключений через guardian увеличен до 30 минут;

• Новый параметр конфигурации «LDAPConnectionRetries»: количество попыток подключения к серверам из списка LDAPServer;

• Новая контекстная переменная «LDAP_SERVER» в пространстве «AUTHDATA»;

• Возможность изменять тип BLOB‑поля на другой тип BLOB, совместимый с ним;

• Поиск пользователя SYSDBA теперь выполняется только в БД безопасности (не в LDAP);

• Добавлен плагин агрегатного трейса;

• Возможность аудита базы, которая хранит данные о своих же пользователях (self‑security);

• Возможность подключения к базе пользователя с доверенным сертификатом без создания учетной записи в БД безопасности.

Полный список улучшений представлен на сайте.

19 августа СУБД Ред База Данных подтвердила соответствие новым требованиям по безопасности информации к системам управления базами данных ФСТЭК России.