С тех пор, как я рассказывал на хабре про мой открытый проект спутниковой интерферометрии PyGMTSAR (Python InSAR библиотека) для обработки и анализа радарных данных спутников Sentinel-1, прошло много времени и сегодня PyGMTSAR представляет собой наиболее мощный инструмент среди всех открытых InSAR. Притом, PyGMTSAR действительно общедоступен, поскольку не требует скачивать огромные данные, устанавливать программное обеспечение и так далее — достаточно просто открыть ссылки на Google Colab в браузере и посмотреть и запустить готовые примеры или адаптировать их для своей территории и области интереса. Предлагаемые Google Colab примеры включают в себя создание отдельных интерферограмм для анализа результатов сейсмических событий (землетрясений) и наводнений, создание рельефа, анализ серий интерферограмм для мониторинга оползней и проседаний грунта. И все эти возможности доступны в один клик онлайн на Google Colab и в Docker контейнерах. Для профессионалов предоставляется полностью программируемая среда для выполнения InSAR задач и интерактивной 3D визуализации, доступная на Google Colab, в Docker контейнерах, на GitHub Action runners, и, конечно, на локальных компьютерах и на облачных хостах.
Облачные вычисления *
Концепция общего доступа к ресурсам
Новости
Гиперконвергенция — тренд 2024 года
Сложившаяся в России ситуация с доступностью «железа» для создания и обновления ИТ-инфраструктуры привела к востребованности гиперконвергентного подхода. Это отметил проект GlobalCEO в своем материале о 5 ключевых трендах ИТ-рынка.
В статье мы раскроем тренд гиперконвенгенции.
Уведомления через Telegram-бота при помощи почтового триггера Yandex Cloud Functions
Привет, Хабр!
Возможно, многие сталкивались с задачей: есть сервер с некими cronjob-ами, результат выполнения которых хотелось бы мониторить определенному числу лиц, но при этом сервер находится в каком-нибудь intranet и не имеет доступа к сети интернет. Вот и у нас однажды возникла подобная проблема. Единственным доступным средством коммуникации с внешним миром у сервера был почтовый шлюз, через который можно было отправить электронную почту. До некоторого времени задача решалась отправкой нескольких копий письма, но со временем стало понятно, что гораздо удобнее читать уведомления в Telegram. Такую настройку мы произвели с помощью Yandex Cloud Functions.
Как мы автоматизировали VDS и пытались не сгореть
Привет, меня зовут Даниил, и я алкоголик инженер, занимаюсь автоматизацией разных штук в компании DDoS-Guard, люблю творческие решения и сложные проекты. После одного из них у меня появилось гораздо больше седых волос, о нем и расскажу.
Мы создали универсальное, полностью автоматизированное решение по быстрой сборке VDS, сохранив баланс между удобством и безопасностью. Как это удалось и чем пришлось пожертвовать — под катом.
Истории
Создание новых экземпляров Nextcloud с помощью скриптов Ansible
Всем привет! Хочу поделиться с вами вариантом скрипта для создания экземпляров Nextcloud через Ansible в vCloudDirector. Заодно опишу процесс создания экземпляров Nextcloud. Возможно, у вас тоже бывают подобные задачи, — можете не изобретать ещё один велосипед, вот один из вариантов решения.
Без 5% VMware? Обзор свежего релиза платформы виртуализации zVirt 4.1
Хабр, привет! На связи Алексей Зотов из К2Тех, и сегодня я хочу поговорить об одном из российских решений для виртуализации. Сегмент этот в каком-то смысле уникален. Если в целом по рынку заказчик выбирает между 5–6 отечественными продуктами для решения задачи импортозамещения (например, это ярко видно на примере СРК или служб каталога). То в сегменте виртуализации мы насчитали уже более трех десятков конкурирующих платформ!
В предыдущих статьях про тестирование серверов Inferit и Аквариус, а также про создание суперкомпьютера я упоминал платформу zVirt. Мы с этим продуктом работаем уже довольно давно, неплохо его изучили и можем оценить его развитие. Тем более, вендор Orion soft позиционирует zVirt как конкурентную альтернативу VMware. Пора проверить это заявление.
Я решил испытать этот продукт и протестировать новые фичи, которые появились в zVirt 4.1: Disaster Recovery (DR), V2V-миграция из VMware, управление сетями SDN. Результаты тестирования и впечатления от платформы – под катом.
Перенос данных из одного S3 облака в другое
Перенос файлов от одного облачного провайдера S3 к другому должен был обойтись нам примерно в 133 000 рублей. Вместо этого, мы заплатили за него около 29 000 рублей. Как можно в 5 раз удешевить этот процесс – рассказываем в статье.
Экономим на Kubernetes с помощью OpenCost — и другие прелести FinOps
Вне зависимости от того, кто вы: небольшой стартап или развитая компания — задача управления затратами особенно важна. Модное понятие FinOps, оно же Financial Operations или Cloud Financial Operations, помогает организациям наиболее эффективно и экономически выгодно использовать облачные ресурсы.
Но как FinOps работает на практике? В этой статье рассмотрим один из способов применения этого подхода в управлении кластерами. Познакомимся с инструментом OpenCost и обсудим его работу в Kubernetes. Подробности под катом!
Тестируем отечественную систему виртуализации: ПК СВ «Брест»
Привет, Хабр!
Мой цикл статей о российских системах виртуализации понемногу подходит к концу. Сегодня будем разбирать возможности последнего участника эксперимента — ПК СВ «Брест». Посмотрим, как реализован заявленный производителем функционал, насколько удобно им пользоваться, и порассуждаем, для кого предназначена эта система.
Тестируем отечественную систему виртуализации: SpaceVM
Привет, Хабр!
Сегодня будем внезапно тестировать SpaceVM. Внимательный читатель заметит, что этой системы в списке лидеров не было. Как же она стала участником эксперимента? Причина проста — мне банально не удалось достать дистрибутив ПК «Звезда», поэтому я решил заменить ее на SpaceVM. Не буду вас утомлять — давайте посмотрим, что внутри и как это работает!
Hadoop в Облаке: история миграции сотен петабайт
Миграция с «железа» в облако в большинстве случаев уже не кажется чем-то сложным или удивительным — тенденция на развертывание решений в облаке общая и устоявшаяся. Но если с переносом в облачную среду небольших ИТ-компонентов все просто, то в случае с глобальными системами на сотни петабайт данных все несколько иначе — такие кейсы встречаются редко.
Меня зовут Михаил Марюфич. Я руководитель Data Platform в ОК, отвечаю за инфраструктуру для Big Data и машинного обучения. В этой статье я расскажу о нашем опыте переноса Hadoop с Bare Metal в облако: с чего стартовали, какие варианты рассматривали, как выстроили миграцию и с чем сталкивались в процессе.
Опыт масштабирования Kubernetes на 2k узлов и на 400k подов
Расскажу, как мы в PayPal начинали осваивать Kubernetes. На тот момент большинство наших рабочих нагрузок выполнялось на Apache Mesos, и в рамках этой миграции нам требовалось разобраться с некоторыми аспектами производительности у кластеров, в которых будет работать Kubernetes – с учётом той плоскости управления, что действует в PayPal. Из всех этих аспектов важнее всего было понять, как именно масштабируется платформа, а также выявить, как можно было бы улучшить масштабируемость, настраивая параметры кластера.
Тогда как Apache Mesos может прямо из коробки масштабироваться вплоть до 10 000 узлов, масштабировать Kubernetes непросто. При масштабировании Kubernetes требуется учитывать не только количество узлов и подов, но и ещё некоторые вещи, в частности: сколько ресурсов создано, сколько у нас контейнеров на под, сколько всего сервисов задействовано, а также пропускная способность при развёртывании подов. В этом посте описаны некоторые проблемы, с которыми нам довелось столкнуться при масштабировании, и рассказано, как нам удалось с ними справиться.
Тренды облачных технологий в мире и России. Меню на 2024 год
В декабре мы активно поглощали мандарины и ежегодные прогнозы по облакам. В какой-то момент и того, и другого оказалось слишком много.
На сегодня мандарины наконец-то закончились, а вот аналитических отчетов стало больше. Мы собрали их, изучили и выделили общие мировые тренды на 2024 год. А на десерт прошлись по российским прогнозам. В этой статье оставили только самое интересное на наш вкус, конечно.
Ближайшие события
Крупномасштабный стриминг видео с использованием Kubernetes и RabbitMQ
Open Source Cloud Computing 2
Для того, чтобы построить облачный сервис понадобится горизонтально масштабируемая база данных. Cloudstack «из коробки» не знает что такое HA, предполагается, что для этого нужно использовать встроенный функционал MySQL или такое решение как Galera Cluster. Но мы пойдем другим путем и остановим свой выбор на Vitess – надежной, легко масштабируемой системы кластеризации для MySQL.
Генерация ответов с расширенным поиском в техподдержке на основе YandexGPT, ChatGPT
Статья посвящена рассмотрению процесса создания системы генерации ответов службы технической поддержки. Для этого используется методика с расширенным поиском, известная как Retrieval-Augmented Generation (RAG). Процесс основан на использовании шаблонов и реальных вопросов-ответов техподдержки. В качестве основных инструментов применяются YandexGPT / ChatGPT и ChromaDB.
Serverless в первый раз
Давно я приглядывался к Serverless технологиям, но все не доходили руки. Как и во многих компаниях, там где я работаю есть строгое разделение на бэкендеров и фронтендеров. Проблемы у этого известные и самая неприятная — надо договариваться, а разработчики далеко не всегда самые общительные люди.
Оверлоад. К чему приводит перегрузка из-за слишком большого трафика
Народная мудрость гласит: в жизни нужно быть готовым ко всему, в том числе, и к популярности. Впервые я столкнулся с подобной проблемой чуть более 20 лет назад. В начале «нулевых» я запустил небольшой пет-проект на обычном shared-хостинге, и, видимо, он пришелся по душе не только мне самому. Упоминание о моем стартапе попало в популярную рассылку Алекса Экслера, после чего сайт благополучно рухнул под небывалым наплывом посетителей. Тогда я не потерял из-за этого инцидента ничего, кроме килограмма нервных клеток. Прошло почти два десятилетия, но подобное продолжает случаться с завидным постоянством, и крупные компании порой теряют миллионы долларов из-за отказов своих сайтов в результате непросчитанной нагрузки. Вот самые известные и курьезные случаи в этом ряду.
Тестируем отечественную систему виртуализации: РЕД Виртуализация
Привет, Хабр!
Пришло время продолжить сагу об импортозамещении и российской виртуализации. И сегодня я буду разбирать по винтикам РЕД Виртуализацию. В опросе он занял почетное второе место, посмотрим, оправдает ли решение надежды проголосовавших за него читателей.
Open Source Cloud Computing
Написано по мотивам недавней статьи: Особенности национальной виртуализации на SharxBase
и Большое тестирование российских систем виртуализации
Оставим критику этих замечательных продуктов для тех кому с ними приходится работать. Ребята стараются и это уже не плохо.
Такие проекты как OpenStack стоят достаточно дорого в обслуживании, если ваша компания не облачный провайдер или интегратор, а возможностей Proxmox не хватает для строительства IaaS.