ИТ-индустрия проявляет интерес к большим языковым моделям (LLM). Многие компании — в том числе стартапы и разработчики — предпочитают self-hosting открытых LLM работе с API проприетарных решений. Мы в beeline cloud решили обсудить плюсы и минусы такого подхода, в том числе с финансовой точки зрения.
На днях мы обсуждали работу интернет-провайдеров, а также говорили о проблемах с регулированием облака. Продолжим последнюю тему, но с точки зрения ИТ-инфраструктуры. Дело в том, что в мире наблюдается некоторые сложности со строительством ЦОД, а энергетическая инфраструктура не справляется с нагрузкой — блекауты в дата-центрах становятся все более разрушительными.
30 апреля из бета-тестирования вышел OpenTofu 1.7.0. Это Open Source-форк Terraform, который развивается под управлением Linux Foundation. Ранее мы уже писали о причинах разработки OpenTofu, связанных с изменением лицензионной политики HashiCorp в отношении своих продуктов. В этой же статье мы сделаем обзор версии 1.7.0: установим OpenTofu, выполним миграцию инфраструктуры с Terraform, а также рассмотрим ключевые особенности данного релиза.
Всем привет! Меня зовут Алексей Рудак и я основатель компании Lingvanex, которая занимается решениями в области машинного перевода и транскрипции речи. Для нашей работы мы постоянно тренируем языковые модели. Наша команда использует десятки разных видеокарт, выбранных под разные задачи: где-то нужна мощная станция DGX, а где-то достаточно старой игровой карты типа RTX 2080Ti. Выбор оптимальной конфигурации GPU сэкономит вам не только время на тренировку, но и деньги.
Интересно то, что в интернете довольно мало статей с тестами GPU именно для скорости тренировки языковых моделей. В основном встречаются только тесты inference. Когда вышел новый чип H100, в отчете NVidia было указано, что при тренировке он быстрее A100 до девяти раз, но для наших задач новая карта оказалась всего на 90% быстрее старой. Для сравнения: у наших облачных провайдеров разница в цене между этими GPU составляла 2 раза, поэтому переходить на новый H100 для экономии денег смысла не было.
В дополнение к этому мы брали на тест станцию DGX, которая состоит из 8 видеокарт A100 80GB и стоит 10 тысяч долларов в месяц. После теста стало ясно что соотношение цена / производительность этой станции нас полностью не устраивает и за эти деньги мы можем взять 66 x RTX 3090, которые в сумме принесут гораздо больше пользы.
Наши языковые модели для перевода имеют до 500 миллионов параметров (в среднем от 100 млн до 300 млн). Возможно, если значительно увеличить кол-во параметров, то соотношение цена / производительность от DGX станет лучше. На данный момент мы не тренируем большие языковые модели, которые могут переводить сразу между всеми языками во всех вариациях, а применяем отдельные языковые модели под каждую языковую пару, например англо-немецкую. Каждая из таких моделей занимает от 120 до 300 Mb.
Друзья, давайте поможем наши коллегам?
Решил написать этот чек-лист для контроля мер защиты от шифровальщиков. Жесткая критика и конструктивные предложения приветствуются! :)
Что упущено? Что стоит добавить-убавить?
В ИТ хватает тем, о которые разбили сотни копий и, скорее всего, разобьют еще. Разделение зон ответственности в облачной инфраструктуре — точно входит в этот список.
Здесь как с автомобилями. Автоконцерн может вкладывать миллионы долларов в создание самой безопасной машины. Однако какой в этом смысл, если водитель отказывается соблюдать скоростной режим и ленится поставить зимнюю резину?
В этом отношении показательны прогнозы Gartner. Исследователи считают: до 2025 года включительно 99% сбоев в облачной безопасности будут происходить по вине заказчика. Некомпетентность здесь не при чем, просто технологии так быстро развиваются, что большинство не успевает приспособиться к ним. Компании с трудом оценивают всю полноту рисков, связанных с использованием облачных вычислений.
Однако разберем вопрос по порядку.
Крупные облачные провайдеры всё чаще сталкиваются с давлением со стороны проектов на базе открытого исходного кода. Их разработчики меняют условия лицензий и вводят ограничения, связанные с запуском управляемых сервисов: в блоге beeline cloud мы уже обсуждали ситуацию с CentOS. С другой стороны, продолжают развиваться и открытые проекты, позволяющие компаниям развернуть собственную инфраструктуру. Поговорим о том, способны ли платформы вроде OpenStack и UbiCloud стать массовыми.
Приветствую всех! Я Геннадий Гужов, студент Высшей школы экономики и продакт-менеджер в компании "Солдвиг", специализирующейся на контейнерных дата-центрах. В этой статье я расскажу о контейнерных дата-центрах: что они из себя представляют, из чего состоят и какие преимущества они предлагают. Мы изучим ключевые аспекты, помогающие понять, почему эта инфраструктура становится важной частью современного бизнеса. Будьте в курсе последних тенденций и развития технологий — ваше знание — ваша сила!
Давайте начнем с основ: что такое дата-центр?
Тема экономики совместного потребления обсуждается уже не так активно. Из нее больше не делают альтернативу привычным бизнес-моделям, да и интерес СМИ к теме угас. При этом шеринг никуда не делся, а его принципы приживаются повсюду. Даже там, где его идеологи и не надеялись — в облачных решениях для бизнеса.
В статье поделюсь соображениями, почему облачные вычисления оказались лучшим отражением принципа «пользоваться, а не владеть». Дело не только в цене.
Добрый день, уважаемые подписчики Хабр. На связи Владимир Миронов (@VladimirMironovML). 21 марта состоялась масштабная IT-конференция GoCloud «Облачные грани будущего». Мероприятие было приурочено к 5-тилетию работы команды Cloud.ru на российском рынке облачных IT-услуг и носило характер нетворкинга, расширения деловых связей и открытой публикации своей деятельности в широком медийном пространстве. Кроме того, это было символическое подведение итогов прошедших лет плодотворной работы.
Проведение данной конференции стало своеобразным отчетом деятельности компании, которую команда успешно осуществляла в части разработки и внедрения облачных технологий во все сферы бизнеса, попутно настраивая деловые связи, выстраивая коммуникации с партнерами, разработчиками, поставщиками других IT-услуг, а также аутсорс-компаниями. Какие-то корпорации и фирмы только начали присматриваться к предлагаемым облачным решениям, а какие-то уже активно и плодотворно работают и сотрудничают, совместно решая поставленные задачи и внедряя данные технологии у себя на производстве.
В изданиях уровня Forbes хорошим тоном считается предрекать забвение привычных облачных платформ. Якобы на их место придут отраслевые решения, и вот тогда все заживут счастливо. Поделюсь мнением, почему это не так, как минимум в России.
Всем привет! Меня зовут Владимир и я тимлид команды по развитию и поддержке продуктов DDoS-Guard, таких как: хостинг, VDS и выделенные серверы. Сегодня я продолжу тему алкоголика инженера @analog_cat про горение, автоматизацию и не только. Расставлю все точки в сетевом вопросе и различных кейсах автоматизации сети для VDS. В этот раз я сосредоточусь на задачах сетевой маршрутизации, которые удалось решить в процессе работы.
С тех пор, как я рассказывал на хабре про мой открытый проект спутниковой интерферометрии PyGMTSAR (Python InSAR библиотека) для обработки и анализа радарных данных спутников Sentinel-1, прошло много времени и сегодня PyGMTSAR представляет собой наиболее мощный инструмент среди всех открытых InSAR. Притом, PyGMTSAR действительно общедоступен, поскольку не требует скачивать огромные данные, устанавливать программное обеспечение и так далее — достаточно просто открыть ссылки на Google Colab в браузере и посмотреть и запустить готовые примеры или адаптировать их для своей территории и области интереса. Предлагаемые Google Colab примеры включают в себя создание отдельных интерферограмм для анализа результатов сейсмических событий (землетрясений) и наводнений, создание рельефа, анализ серий интерферограмм для мониторинга оползней и проседаний грунта. И все эти возможности доступны в один клик онлайн на Google Colab и в Docker контейнерах. Для профессионалов предоставляется полностью программируемая среда для выполнения InSAR задач и интерактивной 3D визуализации, доступная на Google Colab, в Docker контейнерах, на GitHub Action runners, и, конечно, на локальных компьютерах и на облачных хостах.
Сложившаяся в России ситуация с доступностью «железа» для создания и обновления ИТ-инфраструктуры привела к востребованности гиперконвергентного подхода. Это отметил проект GlobalCEO в своем материале о 5 ключевых трендах ИТ-рынка.
В статье мы раскроем тренд гиперконвенгенции.
Привет, Хабр!
Возможно, многие сталкивались с задачей: есть сервер с некими cronjob-ами, результат выполнения которых хотелось бы мониторить определенному числу лиц, но при этом сервер находится в каком-нибудь intranet и не имеет доступа к сети интернет. Вот и у нас однажды возникла подобная проблема. Единственным доступным средством коммуникации с внешним миром у сервера был почтовый шлюз, через который можно было отправить электронную почту. До некоторого времени задача решалась отправкой нескольких копий письма, но со временем стало понятно, что гораздо удобнее читать уведомления в Telegram. Такую настройку мы произвели с помощью Yandex Cloud Functions.
Привет, меня зовут Даниил, и я алкоголик инженер, занимаюсь автоматизацией разных штук в компании DDoS-Guard, люблю творческие решения и сложные проекты. После одного из них у меня появилось гораздо больше седых волос, о нем и расскажу.
Мы создали универсальное, полностью автоматизированное решение по быстрой сборке VDS, сохранив баланс между удобством и безопасностью. Как это удалось и чем пришлось пожертвовать — под катом.
Всем привет! Хочу поделиться с вами вариантом скрипта для создания экземпляров Nextcloud через Ansible в vCloudDirector. Заодно опишу процесс создания экземпляров Nextcloud. Возможно, у вас тоже бывают подобные задачи, — можете не изобретать ещё один велосипед, вот один из вариантов решения.
Хабр, привет! На связи Алексей Зотов из К2Тех, и сегодня я хочу поговорить об одном из российских решений для виртуализации. Сегмент этот в каком-то смысле уникален. Если в целом по рынку заказчик выбирает между 5–6 отечественными продуктами для решения задачи импортозамещения (например, это ярко видно на примере СРК или служб каталога). То в сегменте виртуализации мы насчитали уже более трех десятков конкурирующих платформ!
В предыдущих статьях про тестирование серверов Inferit и Аквариус, а также про создание суперкомпьютера я упоминал платформу zVirt. Мы с этим продуктом работаем уже довольно давно, неплохо его изучили и можем оценить его развитие. Тем более, вендор Orion soft позиционирует zVirt как конкурентную альтернативу VMware. Пора проверить это заявление.
Я решил испытать этот продукт и протестировать новые фичи, которые появились в zVirt 4.1: Disaster Recovery (DR), V2V-миграция из VMware, управление сетями SDN. Результаты тестирования и впечатления от платформы – под катом.
