Обновить
128K+

Хранение данных *

Что имеем, то храним

178,95
Рейтинг
Сначала показывать
Порог рейтинга

Вебинар уже через 20 минут: расскажем, как защищать данные в S3

В 12:00 мск на вебинаре разберем все: от базовых Bucket Policies и версионирования до продвинутых Conditional Write, Object Lock (WORM) и клиентского шифрования. Расскажем, как комбинировать эти инструменты для защиты от случайного удаления и кибератак. Объясним, как соответствовать регуляторным требованиям. Вебинар практический, так что вы увидите реальные примеры настройки S3 через API и CLI.

Вы узнаете

  • Какие уровни защиты данных в S3 существуют 

  • Как настраивать версионирование, Conditional Write, Object Lock, шифрование с реальными командами и примерами кода 

  • Какие границы и подводные камни существуют у каждого инструмента 

  • Как комбинировать механизмы для защиты от ransomware, случайного удаления, взлома ключей и соответствия 152-ФЗ 

Подключайтесь: 

📹 на YouTube;

📹 во ВКонтакте.

Теги:
+8
Комментарии0

Новости мира Datalakehouse - DWH: на 26.06.26

"гонка сместилась к ИИ-агентам"

Полгода назад про корпоративные хранилища данных спорили, чей движок быстрее обрабатывает запросы. Сейчас почти каждый крупный анонс - про то, как пустить к данным ИИ-агентов и не дать им наломать дров. Собрал главное человеческим языком.

Сначала про слово, которое будет дальше. Lakehouse - это подход, когда вся аналитика компании живёт в одном общем хранилище поверх дешёвых файлов, без отдельной дорогой базы под отчёты. Дальше речь о том, что с этим подходом случилось за полгода.

Databricks (их большая конференция прошла 16 июня). Показали новый движок Lakehouse//RT - он обещает выдавать аналитику почти мгновенно прямо из общего хранилища, без отдельной быстрой базы под витрины. Пока это ранняя версия и работает только на чтение, то есть данные через него можно читать, но не записывать. Второй анонс - способ держать «живые» рабочие данные и аналитику в одном месте, без постоянной перекачки между системами (обычно компании гоняют данные туда-сюда ночными выгрузками). Третий, и самый показательный - набор инструментов, чтобы пускать к данным ИИ-агентов: объяснять программе смысл данных и контролировать, куда ей можно лезть, а куда нет.

ClickHouse (своя конференция 27 мая). Это очень быстрая база для аналитики. Они запустили собственную управляемую версию Postgres - популярной базы, на которой работают тысячи приложений, - и научили её мгновенно отдавать все изменения в аналитику, без задержек. Плюс добавили ИИ-агентов поверх данных, построенных на Claude. По деньгам у них всё хорошо: годовая выручка за год утроилась и перевалила за 250 миллионов долларов.

Snowflake. Открыли свой каталог данных Polaris - это, грубо говоря, общее оглавление всех таблиц, по которому разные программы понимают, где что лежит. Раньше он был только их, теперь его передали в открытый фонд Apache, чтобы пользоваться им могли любые инструменты. А популярный открытый формат таблиц Iceberg дорос до новой версии и научился хранить более сложные данные.

SAP покупает компанию Dremio (сделка ещё не закрыта). Крупный вендор корпоративного софта докупает технологию, чтобы собрать собственное хранилище нового типа под ИИ. Это часть общего движения: рынок сходится вокруг одного открытого формата данных - того самого Iceberg.

DuckLake дорос до версии 1.0. Маленький и нарочно простой проект: он хранит оглавление данных в обычной знакомой базе (Postgres), а не в куче разрозненных служебных файлов, как делают старшие конкуренты. Меньше магии - проще обслуживать.

Если совсем коротко: скорость никуда не делась, её даже больше. Но она перестала быть главным козырем и стала фундаментом. Поверх неё все теперь строят слой управления ИИ-агентами - как объяснить программе смысл данных и как не пустить её туда, куда нельзя. По сути это ровно то, чем администраторы баз данных занимаются уже много лет, просто теперь у этого модные названия.

Дальше разберу каждый анонс по отдельности. Ждите продолжения.

Подъехало продолжение:

Databricks (их большая конференция прошла 16 июня) - ссылка на подробный разбор

ClickHouse (своя конференция 27 мая) - ссылка на подробный разбор

Теги:
+3
Комментарии0

Подборка вебинаров на июнь 

В июне вас ждут еще три онлайн-встречи с экспертами Cloud.ru — о Spark, облачных расходах и Redis. Регистрируйтесь заранее, чтобы ничего не пропустить.

🎥Spark Connect для ИТ-команд: упрощаем разработку и работу с данными

Покажем, как сделать использование Apache Spark удобным для всей команды с помощью Spark Connect и Evolution Managed Spark. Затронем вопросы разработки в IDE, анализа данных в Jupyter и построения ETL на чистом SQL в dbt. Не бойтесь споткнуться о порог входа — здесь он минимальный. 

🧑‍💻 Для кого: дата-инженеры, аналитики, руководители дата-отделов.

📅 Когда? 23 июня 11:00 мск.

📍 Где? Онлайн. Зарегистрируйтесь, чтобы задать вопросы спикерам.

🎥Как управлять расходами в облаке и не удивляться счетам

Разберем, как сделать облачные расходы прозрачными с помощью FinOps-инструментов. Вы узнаете, почему важно назначать владельцев ресурсов, как правильно выбирать тариф, выставлять автоматические квоты и настраивать алерты, чтобы сократить затраты на 20–30%. Всё — с живым демо в личном кабинете.

🧑‍💻 Для кого: ИТ-менеджеры, DevOps, финансовые директора.

📅 Когда? 25 июня 11:00 мск.

📍 Где?  Онлайн. Зарегистрируйтесь, чтобы задать вопросы спикерам.

🎥Эволюция приложения в облаке: как настроить кеш с Redis и ничего не сломать

Четвертый вебинар большого трека про эволюцию приложений. Обсудим стратегии кеширования и какую из них выбрать под ваш сценарий, типичные ошибки инвалидации и защиту от всплесков нагрузки. Разберем, как оценивать эффективность кеша и ситуации, когда он только маскирует проблемы. 

🧑‍💻 Для кого: бэкенд-разработчики, DevOps-инженеры, архитекторы.

📅 Когда? 30 июня 11:00 мск.

📍 Где?  Онлайн. Зарегистрируйтесь, чтобы задать вопросы спикерам.


Теги:
+4
Комментарии0

Модернизировали дата-центры для быстрого внедрения ИИ

Команда Yandex Infrastructure модернизировала подход к строительству и охлаждению дата‑центров. Новая концепция кампусов дата‑центров и внедрение жидкостного охлаждения поможет ускорить создание и вывод на рынок ИИ‑сервисов Яндекса.

Концепция «кампус дата‑центров». Кампусы — несколько независимых дата‑центров в одной локации с общей внешней инфраструктурой. Команда внедрила концепцию кампусов, чтобы повысить эффективность использования ресурсов, снизить издержки и увеличить мощности в три раза до 180 МВт — рекордного в России показателя.

Жидкостное охлаждение. Для модернизации существующей инфраструктуры инженеры компании разработали сайдкары — дополнительные стойки с жидкостно‑воздушными радиаторами. Они позволяют использовать жидкостное охлаждение в дата‑центрах с фрикулингом без масштабной реконструкции. Сочетание двух технологий обеспечивает эффективное терморегулирование и ускоряет адаптацию инфраструктуры к растущим нагрузкам. 

Благодаря фрикулингу и отказу от доохлаждения дата‑центры Яндекса уже достигают показателя энергоэффективности PUE 1,1. Внедрение жидкостного охлаждения позволит дополнительно снизить энергозатраты и повысить экологичность дата‑центров, делая их ещё более «зелёными».

Теги:
Всего голосов 8: ↑8 и ↓0+10
Комментарии0

Как перестать надеяться на бэкап и автоматизировать Disaster Recovery

В одном из материалов я уже проводил границу между бэкапом и DR, которые решают принципиально разные задачи. Если бэкап — это архивный «огнетушитель», то DR — это система пожаротушения и план эвакуации. По реакции сообщества стало понятно: разницу осознают многие, но главный вопрос остается открытым — как обеспечить предсказуемый подъем сервисов, когда инфраструктура отказала?

Наличие резервных копий гарантирует, что данные не пропадут бесследно. Но бэкап не обеспечивает непрерывность бизнеса. При масштабном сбое восстановление из архивов вручную превращается в многочасовой (а иногда и многодневный) квест, который в условиях стресса часто ведет к человеческим ошибкам и увеличению простоя.

Чтобы перевести обсуждение из теории в плоскость работающих сценариев, мы с командой решили провести технический вебинар. 27 мая в 13:00 МСК в прямом эфире представим практические кейсы по восстановлению инфраструктуры после сбоя.

В программе:

  • Разберем почему бэкап не всегда спасает, и в какой момент нужен полноценный DR. Поговорим о том, как реалистично оценивать RTO и RPO.

  • Покажем сценарии восстановления инфраструктуры и посмотрим, какой подход работает лучше в каждой ситуации.

  • Покажем на практике:

    • восстановление данных через подключение дисков;

    • как это используется в реальных сценариях;

    • на что обратить внимание при восстановлении.

Вебинар будет полезен архитекторам, системным администраторам и всем, кто отвечает за доступность критичных систем. Приходите с вопросами по вашей инфраструктуре — разберем их в конце эфира во время сессии вопросов и ответов.

В финале встречи каждый участник получит актуализированный чек-лист для аудита плана аварийного восстановления.

👉 Зарегистрироваться на вебинар

Теги:
Всего голосов 1: ↑0 и ↓1-1
Комментарии0

Когда у ИИ не выходит каменная чаша.

Сколько же они весят?
Сколько же они весят?

Когда архитектору нечего делать, а гибкость у спины уже не та, что раньше - он начинает разговаривать сам с собой или с ИИ. Проблема, которую хотелось решить достаточно редко встречается - как бы сохранить преимущественно пустые массивы данных для аудита и не разориться при этом спустя несколько месяцев. Чтобы обуздать неуёмные галлюцинации - ИИ сразу был ограничен широко распространёнными архиваторами, результат работы которых желательно открывается из под win систем также как и из под *nix .

С позволения читателей я не буду пересказывать процесс, и перейду к тому, до чего ИИ дошёл - до 7z с рядом флажков. В прилагаемом ниже архиве вместо реальных данных - тестовые и совсем-совсем пустые. Но что ИИ пока не сумел придумать, и что внушает надежду на будущее людей в программировании и вокруг - полученный архив логично было архивировать ещё раз, тем-же 7z . Результат лично мне кажется интересным. Все желающие могут попробовать скачать почти 2 килобайта архива и предположить - какова же ёмкость исходных данных? А потом проверить себя, думаю результат вас удивит.

Архив можно Скачать с SendSpace повторюсь - в нём внутри лежит ещё один 7z архив, а уже в том - тестовые файлы числом менее 20.

Чтобы случайное разархивирование не испортило сюрприз - внешний архив закрыт паролем

Galantereyshik_i_Kardinal_eto_sila

Логически, при ещё большем количестве данных - рекурсию можно будет повторить, но в ближайшем будущем мне кажется и так неплохо вышло. Во всяком случае совсем не каждый ssd сумеет в себя вместить разархивированные из этих 1841 байтов исходные данные.

Предполагаю, что с теорией предмета знакомы все, попробуйте сами получить небольшой архив любым из широко распространённых архиваторов из скажем sparse файла в 5 гигабайт. Спорим он у вас получится больше прилагаемого к посту архива, в котором лежат терабайты.

Теги:
Всего голосов 6: ↑2 и ↓4-1
Комментарии15

Приходите на вебинар — покажем, как построить потоковый конвейер данных с латентностью в минуты

Батчевый ETL раз в сутки перестает справляться, когда бизнесу нужна аналитика в режиме, близком к реальному времени. Как перейти на потоковую обработку без лишней сложности в инфраструктуре?

Разберем это на вебинаре по Evolution Data Platform. Будет полезно дата-инженерам, которые проектируют конвейеры, аналитикам и BI-специалистам, которым важно работать с актуальными данными, а еще архитекторам и руководителям дата-отделов.

На вебинаре расскажем и покажем:

  • как проектировать архитектуру конвейера под near real-time: когда брать микробатчинг в Managed Spark Streaming, а когда хватит классического батча;

  • зачем нужен Managed Trino как единый слой запросов поверх «горячих» и «холодных» данных — и как это убирает дублирование логики;

  • как партиционировать данные по времени в Object Storage, чтобы запросы не тормозили;

  • как управлять схемой через Managed Metastore, когда структура потока меняется;

  • как настроить дашборд в Managed BI с автообновлением и алертами на отклонения;

  • как измерять латентность конвейера — от генерации события до появления на дашборде.

На практической части соберем реальный сценарий: оконная агрегация транзакций в Managed Spark Streaming, оркестрация через Managed Airflow, витрина в Object Storage, ad-hoc запросы через Managed Trino без копирования данных, дашборд с обновлением раз в две минуты.

📅 Когда? 21 мая в 11:00 мск.

📍 Где? Онлайн. Зарегистрируйтесь, чтобы задать вопросы спикеру в прямом эфире.

P.S. А еще мы тут подготовили чек-лист, как создать качественное хранилище данных за 15 шагов — забирайте, нам не жалко. 

Теги:
Рейтинг0
Комментарии0

Коллеги-бумажные инфобезники, у меня к вам тема на поразмыслить. У каждого из нас есть мобильный телефон, в котором имеется телефонная книга и куда мы записываем телефон, фио и иные персональные данные конкретного человека. По сути, с момента нажатия на кнопку “Сохранить” мы начинаем обработку персональных данных (запись, систематизация, накопление, хранение) и должны руководствоваться 152-ФЗ. Но есть пару нюансов.

Во-первых, в соответствии с п. 1 ч. 2 ст. 1 Федерального закона, действие последнего не распространяются на отношения, возникающие при обработке ПДн физическими лицами исключительно для личных и семейных нужд. Простыми словами, если у нас в контактах исключительно родственники и друзья, то нам нечего переживать.

А что если я работаю, например, менеджером по продажам и у меня записаны сотни телефонов клиентов и подрядчиков? В данном случае может ли быть применен п. 5 ч. 1 ст. 6 ФЗ-152, в соответствии с которым обработка ПДн допускается для исполнения договора, стороной которого либо выгодоприобретателем или поручителем по которому является субъект персональных данных?

В продолжении темы: я хочу записать в свою телефонную книгу всех граждан страны (сейчас не рассматриваем технологические ограничения на объем памяти), включая их фио, телефоны, даты рождения, адреса и другую важную для меня информацию. Естественно, я их лично всех не знаю и мне они не нужны для работы. Я не собираюсь передавать их третим лицам или использовать в качестве рекламы. Я просто хочу знать кто мне звонит 😉 (по сути, использовать для личных нужд). Это законно?

С одной стороны, речь идёт о всех гражданах страны и фактические подразумевает массовый сбор и создание базы данных. С другой стороны, а как мне определить число, что это пока еще личные цели, но еще не массовость и, соответсвенно, наоборот: это уже массовый сбор и не подпадает под личные нужды? Кроме того, если мой номер телефона был “слит” в интернет, я такого согласия не давал, но люди записали его себе в справочник: будет ли это нарушением закона как незаконный сбор ПДн?

В общем, ситуация простая, а вопросов много. Предлагаю подискутировать по данному вопрос и уже наконец-то определиться, нужно ли брать согласие субъекта на обработку персональных данных перед добавлением контакта человека в свой телефон? ;)

🧠 Обязательно поделись с теми, кому это может быть полезно: 💬 Телеграм | 💬 Max | 📝 Хабр | 💙 ВКонтакте

Теги:
Всего голосов 3: ↑2 и ↓1+1
Комментарии5

Когда бизнес получил self-service BI и построил внутри него собственное хранилище данных

Знакомая ситуация: вы даёте бизнесу инструмент для самостоятельной аналитики, а через год обнаруживаете, что FineBI выполняет функции корпоративного хранилища. Данные загружаются из файлов, логика считается прямо в датасетах, одни и те же «велосипеды» пересобираются десятки раз. Документации нет, доверия к отчётам всё меньше.

В ОТП Банке за год с момента запуска FineBI выросли до 1 000 пользователей и 660 отчётов при приросте 50 пользователей в месяц. Масштаб впечатляет, но вместе с ним пришло и теневое хранилище.

Пётр Гордиенко, руководитель команды BI в ОТП Банке, расскажет, как они к этому пришли, почему осознанно выбрали «больше свободы» на старте и какой план из трёх шагов готовят, чтобы вернуть контроль, не убив при этом скорость.

📅 22 апреля | 15:00 МСК | FineDay Online 2026

Бесплатно, онлайн, ~3 часа

→ Регистрация

Теги:
Всего голосов 2: ↑1 и ↓10
Комментарии0

Когда у тебя 50 отчётов в FineReport, 100+ дашбордов в FineBI, и никто не знает, откуда берутся данные 

Знакомая история: дашборды живут своей жизнью, новый сотрудник открывает отчёт и не понимает, что значит «ТО 5 руб.», а когда что-то ломается, полдня уходит на то, чтобы пройти по цепочке ETL и найти, где именно.

В Галамарте решили это системно: подключили дата-каталог DataHub к продуктам FanRuan. Как именно это сделали, какие стены пришлось пробить и чего не нашлось ни в одной документации, расскажет Дмитрий Конюхов на FineDay Online.

Что получили на выходе:

— бизнес-глоссарий, где каждый термин привязан к формуле, источнику и конкретным дашбордам

— lineage от витрины до сырых данных — в одном окне, за пределами FanRuan

— возможность за секунды найти, в каких из 100+ дашбордов используется нужнаяметрика

— базу для self-service: аналитики переиспользуют существующие датасеты вместо создания новых

📅 22 апреля | 15:00 МСК | FineDay Online 2026

Бесплатно, онлайн, ~3 часа

→ Регистрация

Теги:
Всего голосов 5: ↑3 и ↓2+1
Комментарии0

Вебинар «BI + ETL + КХД за 1,5 млн: как Modus закрывает весь стек корпоративной аналитики»

21 апреля в 12 по МСК приглашаем на вебинар, на котором эксперты ИТ-интегратора «Белый код» расскажут, как малому и среднему бизнесу внедрить BI-систему за 1,5 миллиона рублей.

Одна из задач, с которой к интегратору приходит малый и средний бизнес, — внедрение BI в рамках ограниченного бюджета. При этом есть жесткие требования, например, единая экосистема BI + ETL, без «зоопарка» инструментов, а также нативная работа с 1С как основным источником данных. 

На вебинаре специалисты поделятся практикой внедрения в сегменте МСБ, а также ответят на вопросы. 

Вы узнаете:

  • Почему BI сам по себе не решает проблему разночтений в данных

  • Какие организационные изменения нужны, чтобы аналитика начала работать

  • Modus ETL: как устроена загрузка и обработка данных

  • Modus BI: аналитический портал без лишней сложности

  • Структура проекта за 1,5 млн рублей: стоимость лицензий, этапы проекта и результат

Спикеры вебинара

  • Андрей Рыжик, product owner BI-направления компании «Белый код»

  • Наталья Лобанова, коммерческий директор компании «Белый код»

📌Дата и время: 21 апреля 12:00 МСК (онлайн)

Участие бесплатное, требуется предварительная регистрация.

Принять участие

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Автоматизируем жизненный цикл баз данных: вебинар про DBaaS в Deckhouse

Database as a Service — подход, в котором базами данных управляют как платформенным сервисом: с автоматизацией и предсказуемым жизненным циклом. Вместо ручного администрирования каждой БД по отдельности — единый процесс от создания и развёртывания до обновлений и оптимизации.

Мы реализовали этот подход в Deckhouse Kubernetes Platform. На вебинаре 3 апреля покажем, как он работает, и расскажем:

  • что Cloud Native-подход меняет в управлении сервисами данных;

  • как устроен DBaaS в Deckhouse: жизненный цикл БД и платформенные модули;

  • как реализовать облачные принципы управления БД в закрытом контуре.

Регистрируйтесь и подключайтесь 3 апреля в 12:00 по Москве, если используете БД или хотите применить DBaaS-подход в своей инфраструктуре.

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Доступные инструменты для миграции: Apache NiFi, Talend и Airbyte

Можно заплатить за коммерческие инструменты миграции и жить спокойно. Но зачем, если есть open-source? В блоге разобрали самые востребованные бесплатные решения для переноса данных: когда брать Apache NiFi, чем от него отличается Talend Open Studio и в каких задачах выигрывает Airbyte. 

Читайте полный разбор на сайте Рег.облака.

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Ближайшие события

Запустили Yandex Cloud Stackland — инфраструктурную платформу для развёртывания приложений в закрытом контуре

С помощью Stackland можно как настроить среду для разработки собственных сервисов, так и быстро внедрять облачные решения. Это готовая инфраструктура со встроенными управляемыми базами данных, контейнерным оркестратором, объектным хранилищем, а также инструментами для управления доступом к графическим ускорителям, которые помогут решать задачи инференса при разработке ИИ‑решений. Выдавать доступы к разработке можно гранулярно, используя встроенные средства безопасности.

Платформу можно развернуть на любых виртуальных, арендованных или собственных серверах, а также интегрировать с уже существующими корпоративными системами. Также она позволяет без дополнительной интеграции внедрять готовые сервисы Yandex Cloud, доступные по модели on‑premises. Сейчас в Stackland доступны инструмент для речевой аналитики Yandex SpeechSense и BI‑система Yandex DataLens, в ближайшее время появится ещё несколько решений, в том числе Yandex AI Studio для разработки ИИ‑приложений и агентов.

Подробнее о разработке опенсорс‑решения для бэкапов CloudNativePG в Stackland и предыстории платформы мы уже рассказывали в отдельной статье.

Для получения доступа к Yandex Cloud Stackland оставьте заявку.

Теги:
Всего голосов 4: ↑4 и ↓0+7
Комментарии0

Худший бэкап — не тот, что не восстановился. А тот, что положил прод.

Что, если post-script не отработал? Моргнула сеть или случился таймаут. Внешний оркестратор просто пишет в лог failed и снимает задачу. А вот PostgreSQL об этом не знает. База остается в режиме бэкапа и начинает непрерывно копить WAL-файлы, ожидая команды на завершение.

Получается, что инструмент для защиты бизнеса от даунтайма, своими руками этот даунтайм и устроил.

Уметь дернуть pg_backup_start( ) — мало. Если СРК не имеет встроенного watchdog-механизма для сброса зависших сессий, резервное копирование превращается в угрозу доступности. Разделение ответственности — правильный архитектурный подход, но он означает, что защита базы от переполнения диска полностью ложится на ваши плечи.

О зависшем backup mode, разрывах PITR и других неудобных вопросах эксплуатации PostgreSQL совместно с Акурой поговорим в режиме live-демо на вебинаре 26 марта в 11:00 (МСК).

Регистрация по ссылкеПриносите в комментарии свои вопросы.

Теги:
Рейтинг0
Комментарии0

Один из самых популярных сетевых стеков в мире — теперь в нашем маркетплейсе 🌍

Добавили FreeBSD сразу в трех версиях:

  1. FreeBSD 14 — стабильная база для продакшена

  2. FreeBSD 15 — баланс классики и новых возможностей

  3. FreeBSD 16 — свежий релиз для тех, кто хочет максимум актуальных фич

Хороший выбор для сетевых сервисов, хранилищ на ZFS и проектов с высокими требованиями к безопасности и стабильности.

Чем хороша FreeBSD:

1️⃣ UNIX-система: предсказуемость и контроль
2️⃣ Сильный сетевой стек: оптимизация под высокие нагрузки и сложные сетевые сценарии
3️⃣ ZFS из коробки: снапшоты, дедупликация и контроль целостности данных
4️⃣ Jails вместо контейнеров: простая и легкая изоляция процессов

Создать сервер с ОС FreeBSD →

Теги:
Всего голосов 9: ↑9 и ↓0+13
Комментарии0

Что будет на конференции GoCloud 2026: трек «Данные и аналитика»

GoCloud — ежегодная конференция Cloud.ru про ИИ и облака. В этом году она пройдет в кинотеатре «КАРО 11 Октябрь» на Новом Арбате в Москве. Формат смешанный — можно прийти офлайн или подключиться удаленно. Выступят больше 40 экспертов. Вас ждут 15 демозон, практические сессии, тематические круглые столы и, конечно, вечеринка после.

Один из треков будет посвящен данным и аналитике — разберем, какие инструменты позволяют сделать управление данными эффективным и не переплачивать, также расскажем, куда движутся тренды в 2026 году. Вот что запланировано:

  • Evolution Data Platform: эволюция платформы данных — куда движется дата-платформа Cloud.ru и что изменилось за год.

  • Как обрабатывать потоковые данные с помощью Evolution Managed Flink — архитектура, компоненты, сценарии использования.

  • Evolution Managed ArenadataDB в облаке: что изменилось с момента запуска — обновления, анонсы новых функций и клиентский кейс.

  • Управляемые базы данных и почему это тоже про машинное обучение — почему все начинается не с моделей, а с инфраструктуры для работы с данными.

  • Управление Evolution Managed Spark с AI: инновации и эффективность — как ИИ помогает оптимизировать Spark-задачи.

Завершит трек круглый стол «Тренды развития дата-сервисов в 2026 году» — про дата-стратегию, суверенные облака, управление данными и как дата-инженерия становится основой для ИИ в реальных проектах.

​Встречаемся уже 9 апреля, успейте зарегистрироваться на сайте

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Поставлю на автопубликацию, на начало вечера пятницы, ибо.

Давайте подумаем, можно ли на основе электрета создать SSD для архивного хранения? Допустим, при записи бита затвор сильно нагревается и электрет плавится, а заодно поляризуется. Можно, скажем, после этого урезать осетра и дать транзистору остыть, не теряя заряд. Или, если у нас какой‑нибудь преднамеренно заложенный тиристорный эффект — превратить все транзисторы в печки, сохраняющие свой заряд одновременно, а охладить превозмоганием — в кипящий фреон окунуть и всё, прошили (только‑только от него в дихлофосах избавились, и тут я, лол). Или для плавления нужен суровый внешний подогрев от отдельного питания +12, который потом отключается или вовсе сменяется охлаждением (это уже какой‑то прямо твердотельный CD‑RW). Или зарядить общей пластиной сверху, расплавив и дав на неё пару киловольт (а транзисторы при этом защищены от пробоя при помощи временного закидывания всех «органов» на ноль), а потом разряжать выборочно, загоняя транзисторы «в режим печки». Нашёл только какой‑то патент 2002 года, номер Ru2297051c2, но там как‑то уныло всё. В кучу кони, люди, «скруглённые углы»…

Ну или с другой стороны — мой любимый кварцевый диск. Допустим, какой‑нибудь шибко дипольный оксид не разлагается до 1500, но хорошо плавится уже при 900. Размешиваем в расплавленном кварце эмульсию нанокапель этого оксида, остужаем до 1000, поляризуем и остужаем дальше. Теперь, если лазером расплавить, поляризация уйдёт. Вопросов только два — как прочитать и что мешает использовать обычный редкоземельный чугуний, который точно так же можно туда вплавить и потом намагнитить остывший диск могучим полем примерно как у ЯМР‑томографа (он же — МРТ), а размагнитить — выборочно, нагревая лазером. Там хотя бы примерно понятно, как читать потом — мы же получили магнитооптический диск, только очень большой, толстый, многослойный и стирается исключительно на заводе.

Теги:
Всего голосов 2: ↑2 и ↓0+4
Комментарии0

Разговоры вокруг отечественного связного 💬 Макс не унимаются с момента его официального выхода. Блогеры по всему миру "изучают" безопасность приложения, выискивая, куда он "ходит" и какую "секретную" информацию передает. В основном, все инфоповоды крутятся вокруг изучения манифеста приложения и его разрешений в системе, не углубляясь в изучение сетевых пакетов, исходники и декомпилляцию. А я как раз тот ленивый инфобезник, который еще ни разу не высказался относительно данного вопроса, поэтому исправляюсь.

В прошлую пятницу на весь 🇷🇺 российский интернет прогремела новость: все фото из ваших чатов в Макс может увидеть любой человек по ссылке.

Когда в личный чат или в папку «Избранное» в мессенджере загружается изображение, для него генерируется статичная гиперссылка. Ее можно найти в коде страницы в веб-версии Max. Эта ссылка открывается с других браузеров и устройств без авторизации в мессенджере - обнаружили пользователи. Более того, фото по ссылке останется в открытом доступе, даже если его удалить из переписки в Max.

На лицо классический IDOR. Но если мы проанализируем ссылки на фотографии, которые генерирует Макс, мы обнаружим, что изображения по ним действительно доступны без авторизации. Часть адреса у разных изображений совпадает, однако они содержат различающиеся подстроки длиной не менее 21 символа (минимум 16^21 комбинаций), а значит получить доступ к таким изображениям простым перебором адресов невозможно. Более того, EDR и WAF вас уже на 1000 запросе за несколько секунд обнаружат и отправят отдыхать минут на 5.
Ну а про хранение файлов "закон Яровой" никто не отменял.

А знаете, где еще применяется такая технология? В недавно (октябрь 2024 года) заблокированном мессенджере Discord. Все медиа файлы из приложения можно открыть в исходном качестве по прямой ссылке без регистрации и смс (именно поэтому его многие использовали как файлообменник, а платформа ограничивала размер передаваемого файла 8 мегабайтами). И, о новость, если потом данный файл удалить, он все равно остается доступным по прямой ссылке (см. прилагаемое видео).

Возвращаясь к Максу, не могу не обратить внимание, что его разработчиком является крупнейший IT-гигант Mail.ru. Я лично принимал участие в тестировании его на безопасность в период 2020-2021 годах и могу с уверенностью сказать, что там более чем секьюрно. Кроме того, опыт в обеспечении безопасности ВК, ОК и других массовых продуктов у них уже в генах.

Более того, у Макса есть Bug Bounty программа от Bi.Zone и за некоторые уязвимости там выплачивают до 10 миллионов рублей:

Получение доступа к приватной переписке определенных пользователей - 10 000 000 ₽
Получение доступа к местоположению определенных пользователей в реальном времени - 4 000 000 ₽
Получение доступа к телефонной книге определенных пользователей - 2 000 000 ₽

За год существования программы, было реально найдено 13 багов, за которые суммарно выплатили 873 тысячи. При указанной выборке я могу сделать вывод, что Макс достаточно безопасен, раз никто пока не смог сорвать джек-пот.

Поэтому, не верьте всему тому, что пишут в интернете: делите все минимум на 10. Ну и конечно, что попадает в интернет - остается в интернете, поэтому не забывайте про цифровую гигиену.

🧠 Обязательно поделись с теми, кому это может быть полезно 💬 Телеграм | 💬 Max | 📝 Хабр | 💙 ВКонтакте | ⚡️Бустануть канал

Теги:
Всего голосов 35: ↑15 и ↓20-4
Комментарии28

Ответьте на три вопроса и получите 3 000 ₽ на хранение данных

Хранить данные можно по-разному: в S3, базах данных, аппаратных СХД. К тому же способы можно комбинировать и даже для самых тривиальных задач получить сотни вариантов решения. А если вы работаете с чувствительными данными, то подход к способу хранения данных становится еще ответственнее.

Чтобы было легче определиться, мы предлагаем новым клиентам тест-драйв наших хранилищ и 3 000 бонусных рублей на него. Ответьте на три вопроса, получите рекомендацию по хранению и протестируйте их.

Теги:
Всего голосов 3: ↑3 и ↓0+5
Комментарии0
1
23 ...