В Облаке Рег.ру добавили образ NextCloud + OnlyOffice
Запустили удобное корпоративное хранилище для совместной работы с документами в Облаке Рег.ру. Набор офисных приложений OnlyOffice теперь также доступен в облаке — добавили предустановленный образ NextCloud + OnlyOffice. Обновленное облачное решение предлагает универсальную экосистему для совместной работы:
NextCloud подходит для хранения любых документов и файлов;
OnlyOffice позволяет редактировать документы и закрывает большинство стандартных задач пользователей.
Для заказа доступны облачные серверы во всех локациях. Минимальная конфигурация — 4 vCPU, 16 ГБ RAM, 40 ГБ диска.
Новый образ NextCloud 31 + OnlyOffice 5 уже можно тестировать на нашем сайте.
Как компания «Литрес» построила облачное аналитическое хранилище на базе КХД Cloud.ru и сократила время обработки и анализа данных 📚
Что за компания
Компания «Литрес», основанная в 2005 году, сегодня является лидером на рынке лицензионных электронных и аудиокниг в России и странах СНГ. Ежемесячная аудитория сервиса Литрес составляет 11 млн человек, которые скачивают более 2,7 млн книг в месяц.
Какая была задача
«Литрес» подошла к этапу, когда мощностей для быстрого расчета витрин для аналитики и отчетности перестало хватать, поскольку был накоплен значительный объем данных — около 6 ТБ. Компания решила разработать собственное хранилище — создать надежную и масштабируемую платформу для хранения и обработки больших объемов данных, что позволило бы оптимизировать бизнес-процессы и повысить эффективность работы.
Как ее решили
Изначально у нас было два варианта, как можно сделать большую аналитическую базу. Первый и самый очевидный — запустить Greenplum. Но для этого нужно было выделять серверы, оптимизировать решение, нанимать администраторов — это сложно и долго. В качестве второго варианта можно было закупить готовое решение у подрядчика, однако выяснилось, что поддержка такого решения при приемлемом уровне производительности стоит космических денег. В итоге в Cloud.ru нам предложили альтернативу — КХД — облачное корпоративное хранилище, которое дает возможность быстро обрабатывать огромные массивы данных из разных систем хранения и источников. Решение нас заинтересовало.
Кирилл Шевченко
Руководитель отдела разработки информационно-аналитических систем группы компаний «Литрес»
Чтобы понять, какое решение выгоднее и эффективнее, «Литрес» провели исследование и сравнили работу КХД, ClickHouse в облаке и локального ClickHouse компании. Результат — КХД лучше всего справился с поставленными задачами (например, обработка больших запросов на таблицах с JOIN заняла всего 20 минут).
Что в результате
Команда «Литрес» создала собственное хранилище на базе КХД Cloud.ru и в результате сократила время на обработку и анализ данных:
обновление всего хранилища занимает 40 минут вместо 3 часов,
среднее время выполнения процедур — 2 минуты вместо часа,
на обработку простого запроса при обновлении витрин хватает 5 секунд.
раньше на создание одной витрины требовалось несколько дней, а теперь можно создать3 витрины в день.
Как защитить данные без полных бэкапов: разбираем косвенную адресацию в СХД
Мгновенный снимок (снапшот) — это компактная с точки зрения дискового пространства копия данных, созданная в определенный момент времени. Снапшот способен моментально зафиксировать состояние тома, в отличие от резервной копии, создание которой при большом объеме данных может занять длительное время и требовать остановки записи для сохранения консистентности. Снапшот же не создает независимую копию данных, а лишь обеспечивает возможность обратиться к данным тома на момент создания снапшота.
В TATLIN.UNIFIED снапшоты создаются путем копирования карты блоков данных оригинального тома. Сами данные не копируются, поэтому снапшоты создаются очень быстро и не занимают дополнительного места в области данных.
Со временем в родительском томе заполняются новые блоки данных. Некоторые данные у родительского тома и снапшота начинают различаться, но данные, на которые уже ссылается снапшот, не перезаписываются и не освобождаются. Оригинальный физический блок данных считается занятым до тех пор, пока снапшот, который на него ссылается, не будет удален. После удаления снапшота блоки данных, которые он не разделял с другими ресурсами, освобождаются и могут быть использованы для последующих операций записи. Такой вариант реализации снапшотов называют Redirect-On-Write (RoW).
В своей статье Алексей Шушарин, главный эксперт по разработке ПО в департаменте СХД YADRO, подробно рассказал о снапшотах, клонах и всех процессах, связанных с косвенной адресацией. А также о том, как грамотно вписать эту функциональность в стек хранилища.
Работайте с большими данными в Evolution Data Platform 📊
❓ Что за инструмент? Evolution Data Platform — платформа для обработки больших данных, которая включает в себя несколько PaaS-сервисов. Среди них:
Evolution Managed Trino — массивно-параллельный аналитический SQL-движок Trino с использованием распределенных запросов.
Evolution Managed Metastore — сервис для хранения метаданных таблиц из разных источников. Metastore сообщает клиентским приложениям, где хранятся данные, как к ним обращаться и как их интерпретировать.
Evolution Managed Spark — сервис для развертывания кластерного вычислительного решения на основе Apache Spark для распределенной обработки данных.
Evolution Managed ArenadataDB — аналитическая база данных для хранения большого объема структурированных и полуструктурированных данных.
🖥 Особенности и преимущества. Вы можете выбрать любой сервис, который подходит под определенные задачи, или же комбинировать их. Из плюсов конкретных сервисов:
Evolution Managed Trino способен работать с разными источниками в одном SQL-запросе, есть несколько конфигураций Trino. А еще можно создать приватный инстанс, недоступный из интернета.
Evolution Managed Metastore прямо из интерфейса можно подключить к другим сервисам платформы Cloud.ru Evolution. Создание и обновление инстансов происходит за минуты, а данные для подключения к S3 — в безопасности, так как хранятся в сервисе Secret Management.
Evolution Managed Spark позволяет отслеживать статусы выполнения задач, обрабатывать данные из Object Storage, а также из большинства доступных БД.
Evolution Managed ArenadataDB дает возможность развертывать инстансы без обслуживания инфраструктуры, а кластеры Greenplum разворачиваются автоматически. Доступны конфигурации от 3 до 50 ТБ, что позволяет адаптировать систему под разные задачи.
👨💻 Кому будет полезно. PaaS-сервисы платформы Evolution Data Platform найдут применение во всех областях, где работают с большими объемами данных: финансовых учреждениях, ретейле, логистике, крупном и среднем бизнесе — и не только. Также сервисы будут полезны в машинном обучении и разработке.
✍️ Где, как и для чего использовать. Для обработки структурированных, слабоструктурированных и неструктурированных данных, SQL-аналитики, ML, хранения метаданных таблиц, отправки сложных запросов, проверки гипотез, A/B-тестирований, построения приложений данных, интерактивного специального анализа данных.
В июне Evolution Managed Trino и Evolution Managed Metastore выйдут в коммерческий доступ, а еще станут доступны для тестирования сервисы Evolution Managed Airflow и Evolution Managed BI. Смотрите доклад с конференции GoCloud 2025, чтобы больше узнать о PaaS-сервисах для работы с данными 🌐
В Облаке Рег.ру запустили услугу резервного копирования
Добавили в облачной платформе возможность автоматизированного создания, хранения и восстановления резервных копий. Этот релиз — первый шаг по запуску полноценного Backup as a Service в Облаке Рег.ру.
Что внутри нового сервиса:
настройка расписания бэкапов и снапшотов;
удаленное хранение бэкапа;
восстановление сервера до нужного состояния, если возникнет такая необходимость;
создание снапшотов.
Теперь пользователи могут сами настраивать политику хранения бэкапа — от ежемесячной до ежедневной. На случай локальных сбоев предусмотрели защиту от потери данных — консистентные резервные копии хранятся в удаленном объектном хранилище S3. Отсюда и повышенная катастрофоустойчивость инфраструктуры пользователей в целом. Тарификация происходит по модели pay-as-you-go за фактический объем хранения.
Храните и обрабатывайте данные в аналитической базе данных Evolution Managed ArenadataDB 🗄️
❓ Что за сервис?Evolution Managed ArenadataDB — аналитическая БД, которая поможет с хранением и обработкой структурированных и полуструктурированных данных. ArenadataDB развернута на базе open source СУБД Greenplum, а в основе лежит архитектура MPP. Это позволяет быстро и эффективно работать с большим объемом данных, в том числе в критически важных системах.
🖥 Особенности и преимущества. С Evolution Managed ArenadataDB можно развертывать инстансы без привлечения инженеров и обслуживания инфраструктуры, кластеры Greenplum разворачиваются автоматически. Конфигурации от 3 до 50 ТБ позволяют адаптировать систему под разные задачи, а высокая доступность (SLA 99,7%) гарантирует надежную работу.
ADB способна обрабатывать сложные SQL-запросы. Сервис предлагает надежные инструменты для резервного копирования и восстановления данных, включая полное и дифференциальное резервное копирование, а также восстановление на момент времени. Есть возможность создать приватный инстанс, недоступный из интернета.
👨💻 Кому будет полезно. Финансовым и страховым организациям, ретейлу, логистике, бизнесу и любым другим отраслям, где важна работа с большими объемами данных. Также сервис будет полезен в научно-исследовательских учреждениях и компаниях, занимающихся разработкой искусственного интеллекта, машинным обучением.
✍️ Где, как и для чего использовать. Evolution Managed ArenadataDB подойдет, чтобы создавать корпоративные хранилища данных для бизнес-аналитики и отчетности. Сервис позволяет анализировать и прогнозировать действия клиентов, сегментировать аудиторию, персонализировать акции. Еще можно хранить и обрабатывать большие объемы данных для работы с AI и ML, быстро выполнять сложные аналитические запросы.
Перед тем как пойти в новое место, многие лезут в отзывы. Казалось бы — обычное дело. Но что, если я скажу, что ваш безобидный отзыв на шаурму у метро может раскрыть о вас гораздо больше, чем вы думаете?
Сегодня разберём, почему стоит дважды подумать, прежде чем писать отзывы, если вам важна приватность. И заодно — как эти отзывы могут использовать злоумышленники.
Причем здесь 2GIS? В приложении у каждого авторизованного пользователя есть профиль, на который можно подписаться и следить за всеми отзывами. Многие думают: «Ну и что? Я же под ником "Аноним Анонимов"!»
Но вот в чём подвох: ➜ Если кто-то добавит ваш номер телефона в контакты, 2GIS подсветит ваш профиль — со всеми отзывами, фотками и активностью.
Что можно узнать из ваших отзывов? 1️⃣ Интересы — кафе, бары, магазины, кинотеатры… Всё, что вы оцениваете, рисует ваш цифровой портрет. 2️⃣ Место жительства — некоторые пишут отзывы на свои ЖК, ТЦ рядом с домом и даже на подъезды. 3️⃣ Круг общения — если вы и ваши друзья ходите в одни и те же места и оставляете отзывы, связь легко отследить. 4️⃣ Фотографии — машина, питомец, случайно попавшие в кадр документы… Мелочи, которые могут стоить дорого.
Вывод
Интернет ничего не забывает. Даже невинный отзыв может стать кусочком пазла, который сложит вашу жизнь перед злоумышленником.
Больше контента в моем авторском telegram-канале: https://t.me/ru_vm (BritLab)
Хранилище для данных или катастрофа на миллион строк? Видео-гайд по оптимизации запросов в Greenplum
Немного про нашу data-реальность в Сравни: мы используем Greenplum как аналитическую платформу для обработки терабайтов данных — пользовательских, продуктовых и маркетинговых. Это не просто хранилище, но один из основополагающих инструментов для команды DWH и аналитиков.
О применении Greenplum на практике наш дата-инженер Владимир Шустиков выпустил трилогию обучающих видео. С их помощью можно ознакомиться с азами самой БД и узнать, как дата-инженеры Сравни переписывают запросы для более высокой эффективности.
Если интересуетесь в целом Greenplum и вопросом оптимизации запросов в частности — вот все три выпуска гайда!
Видео о сути и архитектуре GP, основных понятиях и возможностях (реплицирование сегментов, дистрибуция, партицирование, индексы, загрузка и выгрузка данных, оптимизация запросов).
Как добиться надежности, гибкости и экономии в условиях растущих объемов данных? Расскажем на вебинаре.
📆 Когда: 29 мая в 11:00 мск
📍 Где: онлайн
В условиях стремительного роста объема информации возникают требования к использованию новых подходов к управлению и защите данных. Но облачные технологии меняют правила игры. На вебинаре вы узнаете, как перенести операционные расходы по управлению данными на облачных провайдеров, оптимизируя процессы резервного копирования и аварийного восстановления.
В программе:
что такое резервное копирование и аварийное восстановление: отличия и необходимость в разных сценариях;
важность резервного копирования и аварийного восстановления в рамках концепции непрерывности данных;
причины использовать облако для обеспечения непрерывности данных;
дополнительные концепты для защиты информации;
демо: как настроить резервное копирование и аварийное восстановление в облаке.
Вебинар будет полезен всем, кого волнует обеспечение непрерывности и отказоустойчивости бизнеса: IT-директорам, системным администраторам, инженерам и архитекторам инфраструктуры.
BI-проекты: 5 причин, почему они выходят за рамки бюджета (и как этого избежать)
Если вы хоть раз участвовали во внедрении BI-системы — знаете, как легко проект может уйти не туда: – бюджет трещит по швам, – сроки съедены интеграцией и доработками, – пользователи по-прежнему делают аналитику в Excel.
Мы в GlowByte собрали в статье практический разбор типичных ошибок, которые чаще всего приводят к перерасходу бюджета и снижению отдачи от BI-проектов.
Плюс: даём самодиагностический чек-лист и PDF-гайд, где перечислены все организационные, финансовые и технические риски BI-проектов.
Мы официально преодолели отметку в 1 500 000 000 объектов. Представьте: если бы каждый пятый житель планеты загрузил по одному файлу — получили бы такую же цифру. Или все статьи с русской Википедии решили сохранить 750 раз.
Наше S3 — это:
➖ хранение любых файлов: от картинок и документов до логов и бэкапов ➖ тройная репликация данных ➖ защищенное соединение ➖ безграничное масштабирование: сколько нужно бакетов, столько и будет ➖ два класса хранения: стандартное и «холодное»
Совсем скоро доедут еще два крутых апдейта — работа с доп пользователями и упрощенная загрузка статических сайтов прямо из панели. Stay tuned!
На пределе железа: протестировали резервное копирование 32 виртуальных машин с дедупликацией «на лету»
Один из сценариев тестирования СХД TATLIN.BACKUP и СРК Кибер Бэкап, в котором резервное копирование производилось с inline-дедупликацией внутри каждой ВМ.
В каждую из 32 виртуальных машин установлены агенты Кибер Бэкапа, а также агенты Tboost, протокола дедупликации в TATLIN.BACKUP. Каждый агент сохраняет резервную копию в локальную папку, подключенную к целевому хранилищу через протокол T‑BOOST (точка монтирования /mnt/esxboost). В качестве хранилища резервных копий в Кибер Бэкапе указано 32 хранилища — по числу ВМ.
Чтение на источнике TATLIN.UNIFIED
График показывает, что мы достигли ограничений оборудования: пропускной способности четырех портов Ethernet по 25 Гбит/с, через которые подключен диск TATLIN.UNIFIED к хостам виртуализации.
Совокупный объем данных, переданных Кибер Бэкапом для полного резервного копирования всех ВМ, составил ~ 4 192 ГБ (32 × 131 ГБ). Параллельно выполнялись 32 операции резервного копирования. Время выполнения операций — от 8 до 11 минут.
Про совместное использование TATLIN.BACKUP и Кибер Бэкапа читайте в статье с результатами тестирования трех сценариев резервного копирования 32 виртуальных машин.
🏖 Рассказываем про миграционные каникулы для данных в Selectel
Сейчас многие компании заняты реорганизацией своей инфраструктуры. Миграция данных устроена так, что бизнес вынужден платить несколько раз:
за исходное хранилище данных,
за трафик при переносе данных,
за запросы в целевое хранилище,
за объем целевого хранилища.
Чтобы помочь компаниям сократить затраты, мы проводим миграционные каникулы для переноса данных в объектное хранилище.
Миграционные каникулы позволяют не оплачивать запросы и хранение 30 дней с момента одобрения заявки. Этот период полностью покрывает время на подготовительные работы и снижает нагрузку на бизнес.
Наше хранилище поддерживает точки присутствия в Москве и Санкт-Петербурге. Вы можете распределять данные между разными географическими зонами, повышая катастрофоустойчивость инфраструктуры.
Как сохранить данные в S3 при работе с Evolution Container Apps — расскажем на конференции GoCloud 2025 ☁️
Покажу, как запустить ваши приложения в два клика, при этом сэкономив ресурсы, и как управлять важными данными с помощью S3. Все это на примере сервиса, работающего со статическим контентом.
Никита Корольков — менеджер продукта в Cloud.ru
Трек: Инфраструктура и сервисы — про новые и популярные инструменты платформы Cloud.ru Evolution и то, как они помогают в решении задач.
Как оптимизировать расходы на резервное копирование
10 апреля в 13:00 подключайтесь к вебинару, где специалисты YADRO и Киберпротект расскажут об эффективном использовании системы резервного копирования (СРК) в связке с системой хранения данных (СХД). СРК занимается резервным копированием и восстановлением данных, а СХД — их надежным хранением, компрессией и дедупликацией.
В прямом эфире вы сможете:
узнать о возможностях СРК Кибер Бэкап и СХД TATLIN.BACKUP,
выбрать подходящий сценарий их совместного использования,
посмотреть в реальном времени, как происходит резервное копирование средствами Кибер Бэкапа на TATLIN.BACKUP с помощью T-BOOST,
задать вопросы экспертам.
Одной из тем вебинара станет технология T-BOOST. Она позволяет выполнять дедупликацию данных на источнике: защищенном хосте или узле хранения Кибер Бэкапа. После дедупликации в хранилище передаются только уникальные данные. Это позволяет минимизировать объем передаваемых данных (снизить нагрузку на сеть) и ускорить резервное копирование.
Как автоматизированно извлекать текст из видео на YouTube?
Пример кода
Знакомо: нашёл на YouTube ролики, в которых есть тонна полезной информации, а тратить часы на просмотр — нет времени?
В 2018 году появился проект youtube-transcript-api (GitHub) — Python-модуль, который за пару секунд извлекает субтитры из видео.
Но есть нюансы: ⚠️ Требует сетевого доступа к YouTube (может не работать в некоторых странах) ⚠️ Использует неофициальное API Вот что пишет создатель проекта:
Этот код использует недокументированную часть API YouTube, которая вызывается веб-клиентом YouTube. Поэтому нет гарантии, что он не перестанет работать завтра, если они изменят то, как все работает. Однако я сделаю все возможное, чтобы все заработало как можно скорее, если это произойдет. Так что если он перестанет работать, дайте мне знать!
Как использовать? 1️⃣ Установить библиотеку youtube-transcript-api (PYPI) 2️⃣ Взять ID интересующего видео (поддается автоматизации) 3️⃣ Запустить скрипт (📖 официальная документация)
Если вам понравился пост и вы хотите узнавать больше о подобных инструментах, то можете подписаться на мой авторский Telegram-канал BritLab!
Какие проблемы решает алгоритм FastCDC при дедупликации данных
FastCDC — это алгоритм разбиения данных на блоки переменной длины (Content Defined Chunking, CDC). В отличие от нарезки с фиксированной длиной блока, FastCDC решает проблему смещения границ (boundary-shift problem), которая возникает при вставке новых данных в файл. Например, если в начало файла добавить байт, то при использовании разбиения с фиксированной длиной все последующие блоки изменятся.
Алгоритмы с переменной длиной блока, такие как FastCDC, устраняют эту проблему, поскольку устанавливают границы блоков на основе содержимого данных, используя хеш-функцию для определения неких избранных последовательностей байтов. Впрочем, если байт будет добавлен в середину какого-то блока, то этот блок будет потерян, а граница будет корректно определена уже для следующего от него блока.
FastCDC выделяется среди других алгоритмов высокой скоростьюобработки потока байтов. Основная вычислительная нагрузка на систему создается операциями разбиения данных на блоки и их сжатия, поэтому оптимизация алгоритма разбиения напрямую влияет на общую производительность.
Основная идея FastCDC заключается в следующем: среди всех возможных последовательностей байтов (множество A) выделяется подмножество B. Когда в файле обнаруживается последовательность из множества B, алгоритм устанавливает границу блока (anchor) сразу после этой последовательности.
Так как хранение подмножества B напрямую невозможно из-за огромного количества возможных последовательностей, используется хеш-функция. Она преобразует каждую последовательность байтов в числовое значение, которое определяет класс этой последовательности.
После нахождения опорного байта (anchor) алгоритм проверяет, удовлетворяет ли он дополнительным условиям. Например, FastCDC не создаст новый блок, если точка находится слишком близко к границе предыдущего блока и минимальный размер блока еще не достигнут. Если опорные байты не найдены, система отрежет блок по его максимально допустимому размеру.
Добавление всего одного нового байта 0 сдвигает все предыдущие байты вправо, что приводит к изменению содержимого каждого блока:
Эксперт по разработке ПО отдела систем обработки данных в YADRO Ростислав Ефремов в статье подробно объяснил, что такое дедупликация данных, какую роль она играет в системах резервного копирования и как работает в СХД TATLIN.BACKUP
В университете Твенте [1] есть коротковолновый приемник, к которому можно подключиться через обычный браузер [ссылка] и исследовать ответы тысяч радиостанций по всему миру (в режиме реального времени).
С помощью ресурса можно: 1️⃣ Слушать радиолюбительские передачи, авиационные каналы, морскую связь и многое другое 2️⃣ Исследовать разные частоты и находить интересные сигналы 3️⃣ Делать записи эфиров, чтобы потом прогонять их через декодеры 4️⃣ Погрузиться в мир радио, даже если у вас нет собственного оборудования
Этот ресурс — настоящий портал в мир радио. Даже если вы, как и я, не станете радиолюбителем, это отличный способ узнать что-то новое.
Вот несколько интересных частот с которых можно начать: 🇳🇱 1008.00 кГц — Radio Twenty Gold (Нидерланды) 🇷🇺 4625.00 кГц — легендарная "Жужжалка" (УВБ-76). Загадочный сигнал, о котором ходят легенды. Подробнее можно почитать здесь (https://www.rbc.ru/base/18/12/2024/6762bb5c9a7947e14d132352) 🇫🇷 9790.00 кГц — Radio France 🇷🇴11930 кГц — Radio Romania International
Если вам понравился пост и вы хотите узнавать больше о подобных инструментах, то можете подписаться на мой авторский Telegram-канал!
P.S. ещё на ресурсе есть онлайн чат, в котором вы можете общаться с другими радиолюбителями
13 марта 16:00 CET (18:00 Мск) Андрей Квапил, более известный в инженерном сообществе как @kvaps будет травить байки о том, как правильно готовить LINSTOR и Talos Linux — на этот раз на комьюнити-мите LINBIT (создатели LINSTOR и DRBD). Основано на реальных событиях, приключившихся в Cozystack:)
Программа комьюнити-мита:
Andrei Kvapil: LINSTOR on Talos Linux: A robust base for Cozystack
