Разработка систем искусственного интеллекта и обучение моделей подразумевает взаимодействие с огромными сводами неструктурированных данных — например, текстом и изображениями. Решать эту задачу помогают векторные БД. Они работают с так называемыми векторными представлениями (эмбеддингами), имеют продвинутые алгоритмы индексирования и особенно эффективны для реализации поиска по сходству. 

Учитывая популярность темы машинного обучения, новые векторные СУБД появляются чуть ли не каждый день. Мы сделали подборку open source решений, о которых мало рассказывали на Хабре: от крупных проектов вроде Qdrant до малоизвестных продуктов.

Векторные базы данных можно развернуть в облаке, обеспечивая мощную инфраструктуру, которая значительно улучшает управление крупномасштабными и сложными данными. На виртуальную инфраструктуру MWS сейчас действует скидка 50%.

Еще пару лет назад у всех на слуху было всего одно название — ChatGPT. Сегодня популярность набрали десятки генеративных моделей, а также построенных на их основе сервисов: от проприетарных (Google Gemini или Bing Chat) до открытых (Falcon или Mistral). Для массового внедрения ML-моделей создано достаточно подходящих мощностей. Компании, использующие технологии ИИ, нейронных сетей, больших данных, Data Science могут воспользоваться GPU-ресурсами MWS.

Неудивительно, что ажиотаж вокруг генеративных моделей тянет за собой весь рынок систем ИИ. Так, по оценкам Statista Market Insights, в 2023 году его объем составил $196 млрд, но всего двумя годами ранее эта цифра не превышала $21 млрд. При этом многие аналитики убеждены, что отрасль вырастет еще на 37% в течение семи лет.

Последний год в ИТ-сообществе идет обсуждение перспектив ML-решений. Кто возьмет пальму первенства — открытые или закрытые модели? В материале рассмотрим ситуацию, прогнозы и состояние законодательства.

Начиная с середины 2010-х эксперты пророчили «смерть» частному облаку — то есть облачной среде, созданной и используемой одной компанией, в отличие от общей инфраструктуры, доступной в публичных облаках. Большая часть интереса к экосистеме облачных вычислений была сосредоточена на публичных облачных платформах. Бизнес массово переходил на IaaS, чтобы уменьшить затраты на обслуживание железа и поддержку ИТ-систем. 

Пользователями private cloud в основном оставались компании со специфическими требованиями к безопасности. Например, медицинские организации, которым необходимо хранить данные о пациентах в соответствии с нормами федерального законодательства. 

В сегодняшнем материале поговорим, как возродился интерес организаций к частным облакам, о тренде на универсальные и отраслевые платформы и о том, из-за чего активно развивается направление edge computing.

Бизнес-аналитика — неотъемлемая часть работы в ИТ, предоставляющая компаниям ценную информацию для принятия стратегически важных решений. В условиях растущего объема данных и необходимости оперативного анализа возникает потребность в мощных инструментах, способных визуализировать данные, мониторить потоки информации и интегрироваться с IDE. 

Чтобы облегчить выполнение этих задач, можно использовать open source решения. Мы собрали компактный список таких инструментов, включающий платформы для визуализации данных и другие утилиты, облегчающие работу разработчиков.

Открытые инструменты предлагают мощные возможности для создания дашбордов и работы с потоковыми данными. Благодаря гибкости и масштабируемости, они могут быть адаптированы к потребностям различных компаний.

Цифровые хранилища данных изменили способы производства, обработки и хранения информации. Переломный момент наступил в 1996 году, когда цифровое хранилище стало более рентабельным, чем бумажное.

В 1999 году в мире появилось ≈1,5 эксабайт уникальной информации, которая хранилась на бумаге, пленке, оптических и магнитных носителях. Причем печатные материалы всех видов составили лишь 0,003% от общего объема хранимой информации.

По подсчетам IDC и Seagate, глобальная сфера данных к 2025 году достигнет 175 зеттабайт, то есть увеличится более чем в 100 тыс. раз за четверть века. А с развитием генеративных нейронных сетей данных может стать еще больше.

Возникают закономерные вопросы: где хранить информацию, в каком виде и как получать к ней доступ. Человечество изобретает новые накопители (например, жесткие диски с технологией разогрева магнитных пластин лазером) и строит дата-центры, хранящие эксабайты информации, часть из которых предоставляется заказчикам в виде объектных хранилищ. Цель этой статьи — рассказать об особенностях использования таких хранилищ.

Завершаем серию статей об эволюции DDoS-атак. Сегодня расскажем, как развивались атаки и методы их проведения в нулевых — когда DDoS стали использовать для маскировки других киберпреступлений, а бизнес начал активнее внедрять облачные инструменты защиты.

C помощью cloud-сервисов можно решить множество задач бизнеса — например, организовать централизованное управление корпоративной ИТ-инфраструктурой, разместить клиентские приложения и обеспечить высокую доступность веб-ресурсов при пиковых нагрузках, сократить затраты на серверы и сетевое оборудование.

Но деплой в облаке — задача нетривиальная. Нужно подготовить код и среду, проверить работоспособность и доступность сервиса. Есть открытые решения, которые упрощают этот процесс. Некоторые из них уже набрали популярность — например, Piku и Dokku. Но мы решили поговорить о менее известных, но не менее интересных утилитах, позволяющих запустить коммерческие проекты и снизить расходы на администрирование: Kamal, Qovery, Cuber и MicroK8s.

В мире насчитывают примерно 7 000 естественных языков и 9 000 языков программирования. Но, в то время как количество первых стабильно сокращается, число вторых продолжает уверенно расти.

Сегодня поговорим о универсальном языке программирования «для всего» и причинах появления новых ЯП. Обсудим несколько свежих разработок — например, Carbon, которому пророчат будущее преемника C++, язык для проектирования нейросетей Mojo, облачный язык программирования Wing.

В начале 2010-х годов системные администраторы часто сталкивались с проблемой управления распределенной инфраструктурой. Возникла потребность в унифицированном инструменте для управления инфраструктурой как кодом.

В 2014 году компания HashiCorp создала оpen source проект Terraform. С момента запуска Terraform получил огромную популярность и сегодня остается одним из самых востребованных инструментов для реализации подхода Infrastructure as Code.

В прошлом году HashiCorp перешла с open source лицензии MPL на более закрытые условия распространения программного обеспечения, в частности — лицензию BSL.

Разбираемся, что к чему, как реагирует сообщество, и на что обратить внимание компаниям с точки зрения стратегического развития своих ИТ‑продуктов.

Бизнесу нужны технологии, способные обрабатывать огромные объемы данных, предоставлять релевантные рекомендации, оценивать финансовую надежность клиентов и обеспечивать эффективный поиск информации. Ключевым элементом для автоматизации рутинных задач и создании бизнес-решений на основе данных становится ML.

Ритейл, банки, технологические предприятия, компании-разработчики и все те, кто собирает большие массивы неструктурированных данных, для запуска сложных моделей могут использовать вычислительные ресурсы облака. Например, строить нейросети с помощью ML-платформы или использовать объектное хранилище для обработки Big Data.

Но чтобы грамотно использовать инструменты для работы с AI- и ML-задачами, нужно приобрести необходимо знания и навыки. Поможет разобраться в машинном обучении и инструментах для работы с ML-моделями подборка новых и высокооцененных специализированных курсов, книг и других тематических материалов.

Частота и масштаб DDoS-атак увеличиваются ежегодно. Услуги DDoS as a service позволяют всем желающим относительно легко проводить продолжительные атаки, которые трудно нейтрализовать. В CloudMTS мы уделяем пристальное внимание защите инфраструктуры и хотим ближе познакомить вас с истоком проблем распределенных атак.

Первые шаги в истории DDoS не привлекали внимание широкой публики, но со временем методы злоумышленников становились все изощреннее, а результаты их применения — более заметными: под ударом оказался как бизнес, так и корневая инфраструктура интернета. Обсудим, какими были DDoS-атаки в период с 2000-го по 2010-й.

Есть два ключевых подхода к защите ИТ-систем: реактивный и превентивный. Реактивный — это реагирование на атаки и реализованные ИБ-риски, в том числе восстановление данных, установка патчей и обновлений, прочие активности. Превентивный подход подразумевает обнаружение и минимизацию возможных угроз. 

Для выстраивания комплексной системы безопасности следует внедрять оба подхода. Но ресурсов собственного штата ИБ-специалистов не всегда хватает. Чтобы решить кадровую проблему и повысить безопасность, компания может обратиться к облачному провайдеру, который обеспечивает безопасность с помощью портфеля готовых сервисов. 

Так у МТС есть собственный Security Operation Center для комплексной защиты всех ресурсов клиентов от киберугроз при помощи мониторинга и реагирования 24/7 на инциденты ИБ. Изначально SOC защищал исключительно инфраструктуру МТС и дочерних предприятий, но со временем ИБ-услуги стали доступны всем клиентам.

В другом сценарии (который, впрочем, легко реализовать не вместо облачных сервисов, а вместе с ними) специалисты по кибербезу действуют своими силами и используют открытые технологии. Сегодня мы остановимся на знакомстве с некоторыми интересными open source (Apache License 2.0) инструментами для ИБ-аудита, превентивной защиты и организации безопасных инфраструктурных решений.

Традиционным ИТ-командам трудно успеть за быстрым ростом масштабов и сложности приложений. Растут и требования, которые предъявляют к приложениям пользователи. В этих условиях крайне важно поддерживать бесперебойную работу инфраструктуры. 

На помощь приходят SRE-инженеры. SRE (Site Reliability Engineering) фокусируется на создании высоконадежных систем и их поддержке. Главная задача SRE-инженеров — поддерживать высокую доступность приложений и быстрое реагировать на проблемы в производственной среде.

Сегодня мы разберемся, насколько востребована и перспективна эта специализация, какие навыки потребуются, чтобы освоить ее с начального уровня.  

По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт. 

При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году. 

Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.