Хабр, привет! Сегодня у нас подборка перспективных open source решений, которые могут упростить хранение данных и работу с ними в облаке. Говорим про Garage, LinDB, LitData и Triplit.

Если вам нужно надежное решение для работы со структурированными данными с возможностью практически неограниченного масштабирования, сервисы MWS помогут организовать полный цикл работы с данными. Вы сможете создать собственную DWH-платформу с масштабированием по клику.

Концепция ЭДО и безбумажного офиса обрела широкую популярность десятилетия назад. Время от времени появлялись устройства, которые считались «предвестниками цифрового офиса будущего». Казалось, что вскоре многие организационные процессы и документооборот станут цифровыми. Однако реализация концепции безбумажного офиса потребовала значительно больше времени.

Сейчас в «цифру» переходит не только первичная документация, но и кадровые документы. Сервисы кадрового электронного документооборота (КЭДО) помогают быстрее и проще нанимать новых сотрудников, контролировать своевременное подписание документов, уменьшить нагрузку на кадровиков, а также сократить время и усилия, затрачиваемые на печать, хранение, обработку и доставку бумажных документов. Теперь всё это доступно на базе российского ПО VK HR Tek.

В этой статье мы рассмотрим устройства, которые опередили своё время, и объясним, почему, несмотря на усилия учёных и инженеров, безбумажный офис так долго оставался утопией. Также расскажем, какую роль в появлении современного ЭДО сыграли достижения аэрокосмической отрасли в 1990-х годах.

В поисках новых способов повысить скорость и качество передачи контента (по этому поводу будет вебинар, подключайтесь), рано или поздно возникает вопрос: можно ли передавать данные мгновенно и безопасно, независимо от расстояния? Наши представления о способах обмена информацией в интернете может вскоре изменить квантовая сеть.

Квантовые коммуникации становятся доступнее, не в последнюю очередь благодаря облачным технологиям. Облако позволяет исследователям и компаниям экспериментировать с квантовыми алгоритмами без необходимости владеть дорогостоящим оборудованием.

Можно уверенно сказать, что полноценные квантовые машины будут продолжать работать с виртуальной инфраструктурой. Чтобы обеспечить их работу, инженеры уже разработали протоколы, которые защищают данные и обеспечивают их приватность при обработке квантовым компьютером в облаке.

Мы уже можем примерно представить будущее квантового интернета.

Вычисления на GPU могут быть полезны многим разработчикам, поскольку они позволяют повысить производительность кода. Эта технология доступна, но для ускорения выполнения кода или создания красочной визуализации нельзя просто перенести вычисления с CPU на GPU — для этого требуются специальные компиляторы и библиотеки.

Сегодня собрали несколько интересных решений, которые пригодятся в разнообразных задачах: от ускорения высоконагруженных вычислений до генерации графики.

История цифровых двойников (ЦД) берет свое начало в 1960-х годах — с появлением систем автоматизированного проектирования CAD и CAE, которые по мере своего развития постепенно сформировали принципы автоматизированной разработки виртуальных копий физических объектов. Подобные системы стали важным компонентом пайплайна, связанного с построением цифровых двойников. Например, теперь их используют при проектировании зданий, помещений, даже целых городов.

Сегодня поговорим о развитии цифровых двойников: как концепция, описанная в научно-популярной книге «Зеркальные миры», нашла отражение в реальном мире. Также рассмотрим несколько кейсов — как в реальной жизни применяют связку «цифровой двойник + машинное обучение».

Разные компании по-разному оформляют свои политики конфиденциальности — единого формата нет. Подавляющее большинство из них написано тяжелым юридическим языком, поэтому многие даже не пытаются изучать их, например, чтобы понять, как тот или иной сервис будет работать с персональными данными.

Есть множество инициатив, призванных повысить прозрачность таких документов: от унифицированных иконок на сайтах до браузерных расширений, и новые проекты продолжают появляться. Мы решили взглянуть на ситуацию со стандартизацией политик конфиденциальности и обсудить, нужен ли им единый формат.

Проектирование ЦОДа — сложная инженерная задача, требующая гибкости мышления и творческого подхода. Нужно тщательно спланировать все детали. В этом плане строительство дата-центра определенно напоминает работу с конструктором, развивающую пространственное мышление, логику и навыки решения проблем.

Есть и ещё одно сходство — и дата-центры, и конструкторы можно масштабировать, добавляя новые компоненты по мере необходимости. Проектировщики дата-центров используют модульный подход для разработки эффективных и надежных решений.

А чтобы пойти ещё дальше, мы решили провести простой эксперимент с DIY дата-центром из конструктора.

Немного контекста.

·       Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики. 

·       Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах.

·       Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход.

Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.

В облаке MWS вы можете связать площадки между собой через защищенный канал поверх сетей общего пользования. VPN-туннелирование использует протоколы шифрования и аутентификации, обеспечивающие защиту передаваемых данных и обмен ключами для сохранения безопасности и целостности информации (больше подробностей о VPN-туннелях — на сайте).

Однако есть мнение, что развитие квантовых технологий скоро приведет к появлению высокопроизводительных квантовых компьютеров, для которых алгоритмы современной криптографии не будут являться стойкими. Так ли это на самом деле или хайп вокруг квантовых вычислений преувеличен? Обсудим аргументы сторон, а также поговорим о том, почему постквантовые алгоритмы шифрования могут быть полезны уже сегодня.

История видеокарт началась задолго до появления персональных компьютеров. Так, в 1970-х чипы для работы с графикой устанавливали в аркадные автоматы. Со временем были сформированы стандарты работы с GPU, а спектр задач, которые оказались способны решать эти устройства, расширился до декодирования видео и математических вычислений. 

Сегодня GPU каждый может использовать на простых ПК для 3D-моделирования, графического дизайна, анимации, архитектуры и конструирования — и всё без закупки графических станций.

Рассказываем, когда и как применялись графические процессоры, а также — чем отличались их предшественники от того, что мы имеем сегодня.

Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.

Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте. 

ИИ развивается стремительными темпами, но чем сложнее становятся технологии, тем больше усилий требуется для создания подходящей инфраструктуры. По данным TrendForce, объём поставок ИИ-серверов во втором квартале 2024 года увеличился почти на 20% по сравнению с предыдущим кварталом. Аналитики ожидают, что по сравнению с 2023 годом годовой рост может составить 41,5%. Облачные провайдеры перенаправляют бюджеты на закупку ИИ-серверов. Для сравнения, рост поставок обычных серверов составит всего 1,9%.

Один из главных способов получить доступ к передовым чипам — облако. Виртуальные GPU-серверы — эффективное решение для работы с нейронными сетями, большими данными и параллельными вычислениями. Однако необходимость сокращения издержек разработки систем ИИ становится всё более очевидной, а преимущества в решении данной задачи — фактором конкуренции в этой области.

Посмотрим, что происходит в сфере аппаратного и программного обеспечения.

Разработка систем искусственного интеллекта и обучение моделей подразумевает взаимодействие с огромными сводами неструктурированных данных — например, текстом и изображениями. Решать эту задачу помогают векторные БД. Они работают с так называемыми векторными представлениями (эмбеддингами), имеют продвинутые алгоритмы индексирования и особенно эффективны для реализации поиска по сходству. 

Учитывая популярность темы машинного обучения, новые векторные СУБД появляются чуть ли не каждый день. Мы сделали подборку open source решений, о которых мало рассказывали на Хабре: от крупных проектов вроде Qdrant до малоизвестных продуктов.

Векторные базы данных можно развернуть в облаке, обеспечивая мощную инфраструктуру, которая значительно улучшает управление крупномасштабными и сложными данными. На виртуальную инфраструктуру MWS сейчас действует скидка 50%.

Еще пару лет назад у всех на слуху было всего одно название — ChatGPT. Сегодня популярность набрали десятки генеративных моделей, а также построенных на их основе сервисов: от проприетарных (Google Gemini или Bing Chat) до открытых (Falcon или Mistral). Для массового внедрения ML-моделей создано достаточно подходящих мощностей. Компании, использующие технологии ИИ, нейронных сетей, больших данных, Data Science могут воспользоваться GPU-ресурсами MWS.

Неудивительно, что ажиотаж вокруг генеративных моделей тянет за собой весь рынок систем ИИ. Так, по оценкам Statista Market Insights, в 2023 году его объем составил $196 млрд, но всего двумя годами ранее эта цифра не превышала $21 млрд. При этом многие аналитики убеждены, что отрасль вырастет еще на 37% в течение семи лет.

Последний год в ИТ-сообществе идет обсуждение перспектив ML-решений. Кто возьмет пальму первенства — открытые или закрытые модели? В материале рассмотрим ситуацию, прогнозы и состояние законодательства.

Начиная с середины 2010-х эксперты пророчили «смерть» частному облаку — то есть облачной среде, созданной и используемой одной компанией, в отличие от общей инфраструктуры, доступной в публичных облаках. Большая часть интереса к экосистеме облачных вычислений была сосредоточена на публичных облачных платформах. Бизнес массово переходил на IaaS, чтобы уменьшить затраты на обслуживание железа и поддержку ИТ-систем. 

Пользователями private cloud в основном оставались компании со специфическими требованиями к безопасности. Например, медицинские организации, которым необходимо хранить данные о пациентах в соответствии с нормами федерального законодательства. 

В сегодняшнем материале поговорим, как возродился интерес организаций к частным облакам, о тренде на универсальные и отраслевые платформы и о том, из-за чего активно развивается направление edge computing.

MWS (MTS Web Services) включает в себя всю ЦОД-инфраструктуру МТС — действующие и строящиеся площадки. Наша инфраструктура находится по всей России, число зон присутствия постоянно растет.

Сегодня количество дата-центров MWS составляет 15, включая крупные и модульные ЦОДы. Хотя последние у многих ассоциируются с контейнерным оборудованием, в нашем случае это полноценный комплекс производственных и офисных зданий общей площадью от 3500 квадратных метров. 

Собственная сеть географически распределенных дата-центров играет ключевую роль для развития MWS и всего МТС. Далее расскажем, как мы обеспечиваем ее надежность, какие практики используем при строительстве и эксплуатации ЦОДов, и почему нам недостаточно просто соответствовать уровню TIER III.

Статью подготовили Александр Тишкин, руководитель Центра сервисов ЦОД «МТС», и Александр Нилов, старший эксперт Группы планирования и автоматизации ЦОД «МТС».

Бизнес-аналитика — неотъемлемая часть работы в ИТ, предоставляющая компаниям ценную информацию для принятия стратегически важных решений. В условиях растущего объема данных и необходимости оперативного анализа возникает потребность в мощных инструментах, способных визуализировать данные, мониторить потоки информации и интегрироваться с IDE. 

Чтобы облегчить выполнение этих задач, можно использовать open source решения. Мы собрали компактный список таких инструментов, включающий платформы для визуализации данных и другие утилиты, облегчающие работу разработчиков.

Открытые инструменты предлагают мощные возможности для создания дашбордов и работы с потоковыми данными. Благодаря гибкости и масштабируемости, они могут быть адаптированы к потребностям различных компаний.

Цифровые хранилища данных изменили способы производства, обработки и хранения информации. Переломный момент наступил в 1996 году, когда цифровое хранилище стало более рентабельным, чем бумажное.

В 1999 году в мире появилось ≈1,5 эксабайт уникальной информации, которая хранилась на бумаге, пленке, оптических и магнитных носителях. Причем печатные материалы всех видов составили лишь 0,003% от общего объема хранимой информации.

По подсчетам IDC и Seagate, глобальная сфера данных к 2025 году достигнет 175 зеттабайт, то есть увеличится более чем в 100 тыс. раз за четверть века. А с развитием генеративных нейронных сетей данных может стать еще больше.

Возникают закономерные вопросы: где хранить информацию, в каком виде и как получать к ней доступ. Человечество изобретает новые накопители (например, жесткие диски с технологией разогрева магнитных пластин лазером) и строит дата-центры, хранящие эксабайты информации, часть из которых предоставляется заказчикам в виде объектных хранилищ. Цель этой статьи — рассказать об особенностях использования таких хранилищ.