Недавно в MWS начался новый бесплатный образовательный курс «Основы сетевых технологий». Мы уделяем большое внимание теме распространения знаний и много пишем о книгах, онлайн-курсах и вебинарах, которые помогают в самообразовании. 

Открытые знания дают свободный доступ к информации, но с этой инициативой не все так просто. Сторонники открытых знаний считают, что информация должна быть бесплатной, приносить пользу обществу и использоваться в образовании и науке. Но не все авторы готовы работать бесплатно. Это приводит к конфликту: одни выступают за свободный доступ к знаниям, другие — за защиту авторских прав. 

Поговорим о том, как возникло движение Open Knowledge, а также предложим пару примечательных книг по облачной тематике с открытых платформ.

Языки программирования растут как грибы после дождя — чем больше задач у программиста, тем выше потребность в новых инструментах. Авторы этих языков стремятся переосмыслить статус-кво или создать специализированные ЯП, предназначенные для решения конкретных задач. Сегодня мы подготовили компактную подборку перспективных инструментов, ориентированных на работу с облачными технологиями.

Облачные языки позволяют эффективно управлять распределёнными ресурсами, учитывая необходимость обработки больших объёмов данных и обеспечения масштабируемости без потери производительности.

Хабр, привет! Сегодня у нас подборка перспективных open source решений, которые могут упростить хранение данных и работу с ними в облаке. Говорим про Garage, LinDB, LitData и Triplit.

Если вам нужно надежное решение для работы со структурированными данными с возможностью практически неограниченного масштабирования, сервисы MWS помогут организовать полный цикл работы с данными. Вы сможете создать собственную DWH-платформу с масштабированием по клику.

Концепция ЭДО и безбумажного офиса обрела широкую популярность десятилетия назад. Время от времени появлялись устройства, которые считались «предвестниками цифрового офиса будущего». Казалось, что вскоре многие организационные процессы и документооборот станут цифровыми. Однако реализация концепции безбумажного офиса потребовала значительно больше времени.

Сейчас в «цифру» переходит не только первичная документация, но и кадровые документы. Сервисы кадрового электронного документооборота (КЭДО) помогают быстрее и проще нанимать новых сотрудников, контролировать своевременное подписание документов, уменьшить нагрузку на кадровиков, а также сократить время и усилия, затрачиваемые на печать, хранение, обработку и доставку бумажных документов. Теперь всё это доступно на базе российского ПО VK HR Tek.

В этой статье мы рассмотрим устройства, которые опередили своё время, и объясним, почему, несмотря на усилия учёных и инженеров, безбумажный офис так долго оставался утопией. Также расскажем, какую роль в появлении современного ЭДО сыграли достижения аэрокосмической отрасли в 1990-х годах.

Вычисления на GPU могут быть полезны многим разработчикам, поскольку они позволяют повысить производительность кода. Эта технология доступна, но для ускорения выполнения кода или создания красочной визуализации нельзя просто перенести вычисления с CPU на GPU — для этого требуются специальные компиляторы и библиотеки.

Сегодня собрали несколько интересных решений, которые пригодятся в разнообразных задачах: от ускорения высоконагруженных вычислений до генерации графики.

История цифровых двойников (ЦД) берет свое начало в 1960-х годах — с появлением систем автоматизированного проектирования CAD и CAE, которые по мере своего развития постепенно сформировали принципы автоматизированной разработки виртуальных копий физических объектов. Подобные системы стали важным компонентом пайплайна, связанного с построением цифровых двойников. Например, теперь их используют при проектировании зданий, помещений, даже целых городов.

Сегодня поговорим о развитии цифровых двойников: как концепция, описанная в научно-популярной книге «Зеркальные миры», нашла отражение в реальном мире. Также рассмотрим несколько кейсов — как в реальной жизни применяют связку «цифровой двойник + машинное обучение».

Разные компании по-разному оформляют свои политики конфиденциальности — единого формата нет. Подавляющее большинство из них написано тяжелым юридическим языком, поэтому многие даже не пытаются изучать их, например, чтобы понять, как тот или иной сервис будет работать с персональными данными.

Есть множество инициатив, призванных повысить прозрачность таких документов: от унифицированных иконок на сайтах до браузерных расширений, и новые проекты продолжают появляться. Мы решили взглянуть на ситуацию со стандартизацией политик конфиденциальности и обсудить, нужен ли им единый формат.

История видеокарт началась задолго до появления персональных компьютеров. Так, в 1970-х чипы для работы с графикой устанавливали в аркадные автоматы. Со временем были сформированы стандарты работы с GPU, а спектр задач, которые оказались способны решать эти устройства, расширился до декодирования видео и математических вычислений. 

Сегодня GPU каждый может использовать на простых ПК для 3D-моделирования, графического дизайна, анимации, архитектуры и конструирования — и всё без закупки графических станций.

Рассказываем, когда и как применялись графические процессоры, а также — чем отличались их предшественники от того, что мы имеем сегодня.

Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.

Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте. 

ИИ развивается стремительными темпами, но чем сложнее становятся технологии, тем больше усилий требуется для создания подходящей инфраструктуры. По данным TrendForce, объём поставок ИИ-серверов во втором квартале 2024 года увеличился почти на 20% по сравнению с предыдущим кварталом. Аналитики ожидают, что по сравнению с 2023 годом годовой рост может составить 41,5%. Облачные провайдеры перенаправляют бюджеты на закупку ИИ-серверов. Для сравнения, рост поставок обычных серверов составит всего 1,9%.

Один из главных способов получить доступ к передовым чипам — облако. Виртуальные GPU-серверы — эффективное решение для работы с нейронными сетями, большими данными и параллельными вычислениями. Однако необходимость сокращения издержек разработки систем ИИ становится всё более очевидной, а преимущества в решении данной задачи — фактором конкуренции в этой области.

Посмотрим, что происходит в сфере аппаратного и программного обеспечения.

Разработка систем искусственного интеллекта и обучение моделей подразумевает взаимодействие с огромными сводами неструктурированных данных — например, текстом и изображениями. Решать эту задачу помогают векторные БД. Они работают с так называемыми векторными представлениями (эмбеддингами), имеют продвинутые алгоритмы индексирования и особенно эффективны для реализации поиска по сходству. 

Учитывая популярность темы машинного обучения, новые векторные СУБД появляются чуть ли не каждый день. Мы сделали подборку open source решений, о которых мало рассказывали на Хабре: от крупных проектов вроде Qdrant до малоизвестных продуктов.

Векторные базы данных можно развернуть в облаке, обеспечивая мощную инфраструктуру, которая значительно улучшает управление крупномасштабными и сложными данными. На виртуальную инфраструктуру MWS сейчас действует скидка 50%.

Еще пару лет назад у всех на слуху было всего одно название — ChatGPT. Сегодня популярность набрали десятки генеративных моделей, а также построенных на их основе сервисов: от проприетарных (Google Gemini или Bing Chat) до открытых (Falcon или Mistral). Для массового внедрения ML-моделей создано достаточно подходящих мощностей. Компании, использующие технологии ИИ, нейронных сетей, больших данных, Data Science могут воспользоваться GPU-ресурсами MWS.

Неудивительно, что ажиотаж вокруг генеративных моделей тянет за собой весь рынок систем ИИ. Так, по оценкам Statista Market Insights, в 2023 году его объем составил $196 млрд, но всего двумя годами ранее эта цифра не превышала $21 млрд. При этом многие аналитики убеждены, что отрасль вырастет еще на 37% в течение семи лет.

Последний год в ИТ-сообществе идет обсуждение перспектив ML-решений. Кто возьмет пальму первенства — открытые или закрытые модели? В материале рассмотрим ситуацию, прогнозы и состояние законодательства.

Начиная с середины 2010-х эксперты пророчили «смерть» частному облаку — то есть облачной среде, созданной и используемой одной компанией, в отличие от общей инфраструктуры, доступной в публичных облаках. Большая часть интереса к экосистеме облачных вычислений была сосредоточена на публичных облачных платформах. Бизнес массово переходил на IaaS, чтобы уменьшить затраты на обслуживание железа и поддержку ИТ-систем. 

Пользователями private cloud в основном оставались компании со специфическими требованиями к безопасности. Например, медицинские организации, которым необходимо хранить данные о пациентах в соответствии с нормами федерального законодательства. 

В сегодняшнем материале поговорим, как возродился интерес организаций к частным облакам, о тренде на универсальные и отраслевые платформы и о том, из-за чего активно развивается направление edge computing.

Бизнес-аналитика — неотъемлемая часть работы в ИТ, предоставляющая компаниям ценную информацию для принятия стратегически важных решений. В условиях растущего объема данных и необходимости оперативного анализа возникает потребность в мощных инструментах, способных визуализировать данные, мониторить потоки информации и интегрироваться с IDE. 

Чтобы облегчить выполнение этих задач, можно использовать open source решения. Мы собрали компактный список таких инструментов, включающий платформы для визуализации данных и другие утилиты, облегчающие работу разработчиков.

Открытые инструменты предлагают мощные возможности для создания дашбордов и работы с потоковыми данными. Благодаря гибкости и масштабируемости, они могут быть адаптированы к потребностям различных компаний.

Цифровые хранилища данных изменили способы производства, обработки и хранения информации. Переломный момент наступил в 1996 году, когда цифровое хранилище стало более рентабельным, чем бумажное.

В 1999 году в мире появилось ≈1,5 эксабайт уникальной информации, которая хранилась на бумаге, пленке, оптических и магнитных носителях. Причем печатные материалы всех видов составили лишь 0,003% от общего объема хранимой информации.

По подсчетам IDC и Seagate, глобальная сфера данных к 2025 году достигнет 175 зеттабайт, то есть увеличится более чем в 100 тыс. раз за четверть века. А с развитием генеративных нейронных сетей данных может стать еще больше.

Возникают закономерные вопросы: где хранить информацию, в каком виде и как получать к ней доступ. Человечество изобретает новые накопители (например, жесткие диски с технологией разогрева магнитных пластин лазером) и строит дата-центры, хранящие эксабайты информации, часть из которых предоставляется заказчикам в виде объектных хранилищ. Цель этой статьи — рассказать об особенностях использования таких хранилищ.

Завершаем серию статей об эволюции DDoS-атак. Сегодня расскажем, как развивались атаки и методы их проведения в нулевых — когда DDoS стали использовать для маскировки других киберпреступлений, а бизнес начал активнее внедрять облачные инструменты защиты.