Облачные сервисы *

Как компания «Литрес» построила облачное аналитическое хранилище на базе КХД Cloud.ru и сократила время обработки и анализа данных 📚

Что за компания

Компания «Литрес», основанная в 2005 году, сегодня является лидером на рынке лицензионных электронных и аудиокниг в России и странах СНГ. Ежемесячная аудитория сервиса Литрес составляет 11 млн человек, которые скачивают более 2,7 млн книг в месяц. 

Какая была задача

«Литрес» подошла к этапу, когда мощностей для быстрого расчета витрин для аналитики и отчетности перестало хватать, поскольку был накоплен значительный объем данных — около 6 ТБ. Компания решила разработать собственное хранилище — создать надежную и масштабируемую платформу для хранения и обработки больших объемов данных, что позволило бы оптимизировать бизнес-процессы и повысить эффективность работы.

Как ее решили

Изначально у нас было два варианта, как можно сделать большую аналитическую базу. Первый и самый очевидный — запустить Greenplum. Но для этого нужно было выделять серверы, оптимизировать решение, нанимать администраторов — это сложно и долго. В качестве второго варианта можно было закупить готовое решение у подрядчика, однако выяснилось, что поддержка такого решения при приемлемом уровне производительности стоит космических денег. В итоге в Cloud.ru нам предложили альтернативу — КХД — облачное корпоративное хранилище, которое дает возможность быстро обрабатывать огромные массивы данных из разных систем хранения и источников. Решение нас заинтересовало.

Кирилл Шевченко

Руководитель отдела разработки информационно-аналитических систем группы компаний «Литрес»

Чтобы понять, какое решение выгоднее и эффективнее, «Литрес» провели исследование и сравнили работу КХД, ClickHouse в облаке и локального ClickHouse компании. Результат — КХД лучше всего справился с поставленными задачами (например, обработка больших запросов на таблицах с JOIN заняла всего 20 минут).

Что в результате

Команда «Литрес» создала собственное хранилище на базе КХД Cloud.ru и в результате сократила время на обработку и анализ данных:

• обновление всего хранилища занимает 40 минут вместо 3 часов, 

• среднее время выполнения процедур — 2 минуты вместо часа,

• на обработку простого запроса при обновлении витрин хватает 5 секунд.

• раньше на создание одной витрины требовалось несколько дней, а теперь можно создать 3 витрины в день.

Читать кейс полностью 💼

Сжимаем видое без потери качества — релизнулся топовый компрессор SqueezeVid:

• Сжимает видео, не теряя ни единого пикселя — качество останется на высочайшем уровне.

• Работает со всеми популярными форматами, включая MP4, MOV и AVI.

• Можно конвертировать ролик в нужный формат и даже контролировать степень сжатия.

• Вся обработка происходит локально, прямо на ПК пользователя

• Без ограничений, без регистрации, бесплатно.

Новые тарифы Kubernetes

Апгрейднули тарифы и добавили пояснение к каждому. Давайте знакомиться:

• 👉Тариф Dev. Подходит для тестирования функционала нашего Managed Kubernetes — 200 ₽/мес

Пример использования: небольшие пет-проекты

• 👉Тариф Base. Для кластеров со средней нагрузкой, где отказоустойчивость не критична — 2000 ₽/мес

Пример использования: корпоративные веб-сервисы или ML inference-сервисы

• 👉Тариф Custom. Для гибкой настройки — от 2520 ₽/мес

Пример использования: highload-платформы и BigData/ML пайплайны

Пара слов о тарифе Custom. В нем можно выбрать количество ядер, объем оперативы и диска, а также установку с одной мастер-нодой или с тремя для настройки отказоустойчивости.

Найти свой идеальный тариф →

Представлен сервис для удаления фона с необычным дизайном — ваша фотка буквально отправляется в стирку. Работает просто: закидываете картинку в машину, пару секунд наблюдаете за гипнотизирующим барабаном и забираете PNG-шку. Дизайнеры познают дзен — здесь.

YouTube предлагал нестандартное название типа новой iOS.

Apple прикола не оценили и перенесли слово «ass» «glass» на строку ниже.

В развитие темы Bare Metal VM, над которой я время от времени размышляю начиная аж с 2010 года, предлагаю ознакомиться с интересным и, на мой взгляд, перспективным проектом OSv.

Ещё в 10-м году я подумывал над тем, что имея сервера приложений наподобие Томката и серьёзную взрослую изоляцию на уровне загрузчика классов - можно выкинуть подлежащую ОС со всеми её ненужными сервисами из нашего стека, оставив сервер приложений на голом железе. Тогда же выяснилось, что не я один так думаю, было коммерческое предложение Oracle JRockitVE. Судя по всему, наследница вот этого приобретения Bea.

Ранее я уже писал статью об этой идее на Хабре и пытался защищать в дискуссии.

Можно попробовать снова.

Ещё можно смотреть на развитие ОС на базе грааля. Или вспомнить про JaOS.

К современным ОС типа Линукса у меня есть много претензий, и есть несколько идей, которые можно было бы реализовать для их улучшения. Некоторые из них описаны в указанном проекте. Некоторые в том или ином виде наличествуют в специализированных коммерческих предложениях (Юникс) крупных вендоров типа АйбиЭм или того же Оракла. Это касается, например,

• файлово-дискового стека,

• оптимизации сети,

• использования ГПУ в неожиданных местах,

• гибкости в использовании СУБД при разработке с контейнером.

Присоединяйтесь к вебинару, и вы узнаете, как получать больше выгоды за рекомендацию решений Cloud.ru 💸

📆 Когда: 17 июня в 11:00 мск

📍 Где: онлайн

Реферальная программа Cloud.ru — это возможность получать стабильный доход, рекомендуя облачные сервисы. За каждого привлеченного клиента партнер получает процент от суммы его чеков, а клиент — бонусные рубли. 

Недавно мы обновили условия реферальной программы, чтобы вы могли еще выгоднее рекомендовать сервисы клиентам, коллегам или друзьям. На вебинаре мы расскажем:

• про новые условия программы: сколько теперь вы сможете зарабатывать вместе с Cloud.ru;

• про сценарии использования сервисов: как предлагать решения и какие вопросы задавать для выявления потребностей;

• как подключиться к программе: пошаговая инструкция и сопровождение от наших сотрудников;

• кейс реального партнера — как он привлекает клиентов, оптимизирует доход и взаимодействует с Cloud.ru.

Кому будет полезно: разработчикам частного ПО, DevOps-инженерам, системным интеграторам, IT-консультантам, маркетинговым агентствам, веб-студиям и всем, кто хочет монетизировать свои знания и предлагать клиентам надежные облачные решения.

Зарегистрироваться 👈

Выбрать облачный сервис с помощью ИИ не отходя от кассы

Когда заходите на наш сайт, можете увидеть симпатичный розовый шарик, который предлагает помочь в создании готовой инфры.

Через него можно ввести запрос и получить от нейронки варианты сборки, которые мы можем предложить для бизнеса и личного пользования (кстати, такая фича есть только у нашего облака 😏).

Пример: Подобрать отказоустойчивую облачную инфраструктуру для SaaS-платформы с 50 000 активных пользователей в сутки.

ИИ-помощник сразу даст варианты сборки и ее конечную стоимость. Нужен кастом? Тогда можете написать сюда.

Лайфхак: Советуем проверить актуальные решения, даже если вы уже юзаете наши сервисы в облаке — вдруг появилось что-то покруче?

Окей, подберите мне топовую сборку →

Управляйте публичными и приватными доменными зонами с Evolution DNS 🌐

❓ Что за сервис? Evolution DNS позволяет создавать приватные и публичные зоны DNS, а еще — управлять их ресурсными записями. При этом не нужно администрировать собственные DNS-серверы и ПО. Сервис поддерживает записи по стандартам RFC: SOA, NS, A, AAAA, TXT, SPF, CNAME, SRV, MX, CAA.

🖥 Особенности и преимущества. Evolution DNS позволяет вашим ресурсам взаимодействовать между собой по доменным именам — это снижает затраты на инфраструктуру и ускоряет запуск приложений. Сервис обеспечивает стабильную работу DNS, приватные доменные зоны защищают внутренние сервисы от внешних угроз. Масштабирование выполняется автоматически. Высокая производительность позволяет быстро обрабатывать запросы, а оплата производится по модели pay-as-you-go — только за фактическое использование доменных зон и количество DNS-запросов.

👨‍💻 Кому будет полезно. Evolution DNS подойдет всем, кто хочет эффективно управлять DNS-инфраструктурой. Например, стартапам и быстрорастущим компаниями, которым важно оперативно масштабироваться, разработчикам и другим IT-специалистам. А еще — организациям, которым важна высокая надежность и безопасность.  

Чтобы больше узнать о работе и возможностях сервиса, смотрите доклад с конференции GoCloud 2025: в нем старший системный инженер Cloud.ru Алексей Болотин рассказал, как эффективнее использовать Evolution DNS в разных задачах.

Воскрешаем YouTube новым видео 🎥

Если кто-то не знал, у нас есть свой YouTube-канал (и он даже не пустой). Раньше там выходили подкасты «Релиз в пятницу» и «Быть». Потом мы сделали паузу и сосредоточились на продукте.

Теперь возвращаемся с новыми видео — про облака, айти-сферу и даже с юмористическим контЭнтом.

На канале вас уже ждут два свежих видео:

1️⃣ Про наш любимый Kubernetes. Наши партнеры показали, как собрать и задеплоить микросервисное приложение в Таймвеб Клауд.

2️⃣ Про стартапы. Продакт-менеджер Артем Гаврилов и лид разработки Михаил Шпаков рассказали о профите облачных решений для бизнеса.

👉 А еще постим на канал забавные шортсы (да, таким мы тоже балуемся).

Ютуб · Рутуб · ВК

В Облаке Рег.ру появились облегченные образы ispmanager

На облачной платформе Рег.ру оптимизируем и прокачиваем работу ispmanager. Свежий апдейт — добавили облегченные образы. Теперь можно заказать панель управления в базовой конфигурации сервера: 1 vCPU, 1 ГБ RAM и 10 ГБ диска. Обновление доступно на ОС: AlmaLinux, Debian и Ubuntu.

Образ ispmanager Mini идет с ограниченным набором ПО и подойдет для быстрого решения несложных задач.

Напомним, что можно заказать сервер с уже установленным ispmanager, оплата происходит по часам, а не месяцам. Лицензия панели управления также оплачивается на почасовой основе.

Обновления в Terraform 🆕

Подготовили для вас кучу апдейтов в Terraform, чтобы вы смогли комфортно юзать его на всех наших сервисах.

Рассказываем, где и какие фичи теперь доступны:

1. Kubernetes. Добавили поддержку конфигуратора воркер-нод, тейнтов и лейблов для групп нод, установку аддонов и редактирование манифестов. А также теперь можно передавать идентификатор VPC-сети при создании кластера и фильтровать пресеты по локациям.

2. S3. Добавили поддержку конфигуратора для стандартного и холодного хранилища.

3. Балансировщики. Добавили поддержку плавающих IP-адресов и новые параметры для гибкой настройки: maxconn, connect_timeout, client_timeout, server_timeout, httprequest_timeout.

4. И, конечно, не обошлось без багфиксов и улучшений. Оставим для вас списком:

• Теперь можно менять логин в twc_database_user

• Поправили создание сервисов с токеном доп пользователя

• Добавили обработку ошибок при устаревших типах баз данных

• Исправили проблемы с кластерами PostgreSQL и Redis

• is_autoscaling в Kubernetes больше не обязателен

• В документации по базам данных добавили пример привязки к приватной сети

Уже бегу тестить обновы →

Дайджест Облака Рег.ру за май

Для многих май оказался расслабленно-праздничным месяцем, но не для команды Облака Рег.ру! Мы выпустили стопку свежих фич и новинок, которыми спешим поделиться. 

• Подключили услугу бэкапирования 

Сделали большой шаг навстречу полноценного Backup as a Service — добавили возможность резервного копирования и управления копиями для облачных серверов. Теперь создавать бэкапы можно вручную или по расписанию, а также настраивать политику хранение резервных копий, восстанавливать удаленные серверы или откатывать состояние до нужной версии. Обеспечивает организацию бэкапов в Облаке Рег.ру инструмент restic, а храним копии в выделенном объектном хранилище S3. Подробнее об этапе разработки рассказывали в статье. 

• Прокачали DBaaS

Продолжаем улучшать наш сервис DBaaS. В мае — увеличили лимит на создание пользователей для СУБД PostgreSQL и MySQL до 95.

• Добавили управление ключами доступа S3

Теперь пользователям облака доступны новые действия: создание, генерация, удаление. Установить политики можно самостоятельно через S3 API. Мы подготовили подробную инструкцию, как это делать. А пока — продолжаем активно работать над функционалом управления.

• ispmanager доступен на новой ОС

Повысили стабильность панели управления облачными серверами и хостингом. Теперь ispmanager доступен на Ubuntu 24.04 LTS — свежей версии с поддержкой до 2034 года. 

• Обновили версии образов Astra Linux

Обновили две версии операционной системы и Astra Linux SE «Орел» и Astra Linux SE «Воронеж». «Орел» подойдет для базового уровня защиты информации, а «Воронеж» — для усиленного контроля. 

Таким для нашей облачной команды Рег.ру был май, а теперь — вперед к летним релизам! 

Узнайте, как импортозаместить и модернизировать унаследованную инфраструктуру, построить частное облако в собственном дата-центре, а также реализовать гибридные облачные сценарии ☁️

Гибридные облака — один из главных трендов в облачных технологиях. По данным Gartner, к 2027 году 90% компаний перейдут на гибридную модель, которая позволяет быстро и удобно развертывать различные сервисы в облаке, и при этом хранить в периметре компании критически важные данные.

На вебинаре расскажем о модульной платформе для создания частного, гибридного или распределенного облака Cloud.ru Evolution Stack. 

В программе:

• сценарии применения Cloud.ru Evolution Stack, ключевые особенности;

• преимущества облака перед системой виртуализации;

• доступные конфигурации Cloud.ru Evolution Stack в зависимости от задач бизнеса;

Вебинар будет полезен для специалистов и руководителей IT-департаментов, CDTO, руководителей служб ИБ, архитекторов, инженеров, разработчиков предприятий и корпораций с государственным участием.

📆 Когда: 10 июня в 11:00 мск

📍 Где: онлайн

Зарегистрироваться 👈

Релизнулся бесплатный и без регистрации загрузчик видео с Youtube — Cliply, который может скачать любой ролик в высоком качестве, любые отрезки и клипы по нужным таймингам.

Представлен дашборд для поиска в интернете данных по запросам ИБ CyberOSINT от геолокации до поисковых запросов в браузере пользователей, компаний по следам в интернете. Решенеи на базе конструктора Google Dork парсит информацию в открытых каналах.

Как не только быстро развернуть бота в облаке без сложных настроек, но и сэкономить на его поддержке? Обсудим на предстоящем вебинаре 🖥️

Архитектор решений Cloud.ru Илья Смирнов расскажет:

• как развернуть бота в облаке — варианты, а также плюсы и минусы каждого подхода;

• в чем особенность развертывания бота;

• какие нужны компоненты, чтобы построить бота в облаке.

А еще покажет демо по настройке вебхука для Telegram-бота, обработке событий и хранению данных в облаке.

📆 Когда: 5 июня в 11:00 мск

📍 Где: онлайн

Зарегистрироваться 👈

Вебинар будет полезен не только тем, кто только задумывается о переезде в облако, но и тем, кто уже активно использует облачные технологии и хочет получить совет эксперта.

Порадуем вас обновами в Kubernetes

А новостей собралось действительно много:

➖ Добавили в маркетплейс дополнений ArgoCD и cert-manager Webhook, который дружит с нашим API. С ними можно автоматизировать деплой приложений и упростить выпуск и обновление TLS-сертификатов в Kubernetes
➖ Открываем новые локации — теперь можно создавать кластеры и во Франкфурте
➖ Обновили публичную документацию API и добавили доки для части аддонов Kubernetes + описание всех новых параметров API
➖ Плюсик к карме и к безопасности — read-only режим для API-токенов, которые выпускаются автоматически при создании кластеров. Никаких случайных изменений или удалений

Забрать все обновы в Kubernetes себе →

Работайте с большими данными в Evolution Data Platform 📊

❓ Что за инструмент? Evolution Data Platform — платформа для обработки больших данных, которая включает в себя несколько PaaS-сервисов. Среди них:

1. Evolution Managed Trino — массивно-параллельный аналитический SQL-движок Trino с использованием распределенных запросов.

2. Evolution Managed Metastore — сервис для хранения метаданных таблиц из разных источников. Metastore сообщает клиентским приложениям, где хранятся данные, как к ним обращаться и как их интерпретировать.

3. Evolution Managed Spark — сервис для развертывания кластерного вычислительного решения на основе Apache Spark для распределенной обработки данных.

4. Evolution Managed ArenadataDB — аналитическая база данных для хранения большого объема структурированных и полуструктурированных данных.

🖥 Особенности и преимущества. Вы можете выбрать любой сервис, который подходит под определенные задачи, или же комбинировать их. Из плюсов конкретных сервисов:

1. Evolution Managed Trino способен работать с разными источниками в одном SQL-запросе, есть несколько конфигураций Trino. А еще можно создать приватный инстанс, недоступный из интернета.

2. Evolution Managed Metastore прямо из интерфейса можно подключить к другим сервисам платформы Cloud.ru Evolution. Создание и обновление инстансов происходит за минуты, а данные для подключения к S3 — в безопасности, так как хранятся в сервисе Secret Management.

3. Evolution Managed Spark позволяет отслеживать статусы выполнения задач, обрабатывать данные из Object Storage, а также из большинства доступных БД.

4. Evolution Managed ArenadataDB дает возможность развертывать инстансы без обслуживания инфраструктуры, а кластеры Greenplum разворачиваются автоматически. Доступны конфигурации от 3 до 50 ТБ, что позволяет адаптировать систему под разные задачи.

👨‍💻 Кому будет полезно. PaaS-сервисы платформы Evolution Data Platform найдут применение во всех областях, где работают с большими объемами данных: финансовых учреждениях, ретейле, логистике, крупном и среднем бизнесе — и не только. Также сервисы будут полезны в машинном обучении и разработке. 

✍️ Где, как и для чего использовать. Для обработки структурированных, слабоструктурированных и неструктурированных данных, SQL-аналитики, ML, хранения метаданных таблиц, отправки сложных запросов, проверки гипотез, A/B-тестирований, построения приложений данных, интерактивного специального анализа данных.

В июне Evolution Managed Trino и Evolution Managed Metastore выйдут в коммерческий доступ, а еще станут доступны для тестирования сервисы Evolution Managed Airflow и Evolution Managed BI. Смотрите доклад с конференции GoCloud 2025, чтобы больше узнать о PaaS-сервисах для работы с данными 🌐

Разработали первый в России «Индекс клиентоцентричности IT-компаний»

И поделились трендами в новом совместном исследовании Cloud․ru и Высшей школы экономики 📊

Поскольку пользователи всё чаще ожидают от взаимодействия с IT-сервисам не только услугу, но и персонализированный опыт, актуальнее становится возможность оценить — реально ли компания ориентирована на глубокое понимание и интеграцию клиентских ожиданий?

Мы провели исследование и оценили 40 ведущих компаний по критериям:

• корпоративная культура, ориентированная на клиента;

• проактивная позиция и быстрая адаптация к запросам;

• активное использование цифровых технологий и искусственного интеллекта;

• контроль взаимодействия с клиентом во всех точках контакта и анализ обратной связи;

• вовлечение клиентов в создание и улучшение продуктов.

Один из выводов: IT-компании, разрабатывающие и использующие AI-технологии, быстрее адаптируют инновации для улучшения клиентского опыта и способны делать более персонализированные предложения.

А про остальные тренды можно прочитать в исследовании 🔍