Как стать автором
Обновить
276.33

Облачные сервисы *

SaaS, облака и как в них живётся данным

Сначала показывать
Период
Уровень сложности

Более мощное семейство моделей YandexGPT 4: рост качества ответов, длинный контекст, пошаговые рассуждения

Время на прочтение5 мин
Количество просмотров18K

Сегодня мы открываем доступ к четвёртому поколению наших больших языковых моделей: более мощная YandexGPT 4 Pro и облегчённая YandexGPT 4 Lite уже доступны через API в Yandex Cloud. Постепенно пользователям платформы станут доступны все их возможности. А первым сервисом Яндекса, где появится YandexGPT 4, станет Алиса с опцией «Про».

Новое семейство моделей умеет обрабатывать более сложные запросы, работать с расширенным контекстом, поддерживает скрытые рассуждения и вызов функций для работы с внешними инструментами. Нашей команде удалось значительно улучшить качество ответов: YandexGPT 4 Pro в 70% случаев отвечает лучше своей прошлой версии, а YandexGPT 4 Lite в среднем отвечает не хуже, чем самая мощная модель предыдущего поколения.

Вместе с Андреем Бутом @andbout, руководителем команды YandexGPT Alignment, кратко расскажем, что мы сделали для улучшения ответов и решения более сложных запросов, покажем результаты замеров качества и сравнения с другими моделями.

Читать далее

Managed Kubernetes на выделенных серверах, процессоры Intel и другие апдейты: что нового в сентябре

Время на прочтение4 мин
Количество просмотров1.1K


Привет! С вами Саша, технический писатель. В этом дайджесте расскажу, что изменилось в наших продуктах и услугах в сентябре, поделюсь апдейтами в документации и напомню о Selectel Tech Day.
Читать дальше →

Как развернуть Minecraft на сервере и сделать бэкап мира

Время на прочтение7 мин
Количество просмотров11K

Minecraft открывает большие возможностями для творчества. Вы можете реализовать креативные идеи, играть вместе с друзьями и создавать сообщество единомышленников. А будучи администратором сервера — получаете полный контроль над поведением игроков, можете поддерживать порядок в сообществе или сохранять изменения мира.

Посмотрим, как развернуть сервер Minecraft на операционной системе Ubuntu и создать бэкапы в объектное хранилище через утилиту s3fs. Подробности — под катом.
Читать дальше →

IP-фабрики — что это такое и как мы к ним пришли. Устройство сетей в облачной платформе

Время на прочтение8 мин
Количество просмотров9.4K

Мы уже рассказывали, как развивалась сеть дата-центров Selectel, сетевые инсталляции и резервирование в выделенных серверах. Самое время погрузиться в мир виртуальных машин и выяснить, что такое облако с точки зрения сети.

В этой статье рассказываем, что такое IP-фабрики и как мы к ним пришли, какие коммутаторы используем и почему. Если интересно, как устроена облачная платформа на OpenStack в Selectel, добро пожаловать под кат!
Читать дальше →

От Single-Instance-прототипа до облачной промышленной платформы интернета вещей: как мы разрабатывали Cloud IoT Platform

Время на прочтение8 мин
Количество просмотров2.1K

В продуктовой разработке нередко случается, что из кастомного проекта для конкретной компании рождается самостоятельный продукт. Так случилось и с Cloud IoT Platform: из небольшого пилотного проекта мы создали облачную промышленную платформу интернета вещей.

Читать далее

Две задачи при работе с объектным хранилищем: как правильно создать кастомную ссылку одноразовой загрузки и не ошибиться

Время на прочтение6 мин
Количество просмотров4.2K

Каждый день сотрудники техподдержки Selectel решают задачи клиентов. Что-то не подключается, что-то вдруг удалилось или потерялось. Для ответа на часть тикетов достаточно скинуть инструкцию из базы знаний, но некоторые становятся настоящими техническими квестами.

Сегодня мы решили разобрать несколько из них. В этой подборке все они связаны с работой облачного объектного хранилища. Сейчас в Selectel миграционные каникулы — можно 30 дней не платить за запросы и хранение данных.

Ответы на одну из задач убрали в «спойлеры» — проверьте себя, сможете ли вы сами найти решение на основе «дано». Если вам понравится такой формат текстов, пишите в комментах или голосуйте в опросе, — сделаем еще. А пока — смотрите под кат.
Читать дальше →

ZFS таинственным образом поедает мой CPU

Время на прочтение5 мин
Количество просмотров18K


Отдел микросервисов Netflix обратился ко мне за помощью с загадочной проблемой. Они заявили, что у них на сервере файловая система ZFS потребляет 30% CPU. Я рассказывал об этом на конференции Kernel Recipes 2017 — да, это старая история… но её стоит рассказать ещё раз.

Постановка задачи


Этот микросервис предназначен для сбора метрик. Недавно ребята обновились на новый образ ОС (BaseAMI) — и после этого заявили, что ZFS начала потреблять более 30% ресурса CPU. Первым делом я подумал, что они ошиблись: я лично разрабатывал системные компоненты ZFS в компании Sun Microsystems — и файловая система ну никак не могла настолько загружать процессор.
Читать дальше →

Опыт миграции инфраструктуры клиента из AWS в Яндекс.Облако

Время на прочтение7 мин
Количество просмотров11K

Задача по миграции из одного облака в другое, на самом деле, довольно распространенная в нашей практике. Происходит это по разным причинам: ценовая политика облачного провайдера, требования местного законодательства, наличие отдельных преимуществ облака, в которое мы будем переезжать…

В этой статье мы расскажем про основные решения, которыми воспользовались в процессе одного из недавних переездов в Яндекс.Облако, и о некоторых особенностях, с которыми столкнулись во время эксплуатации. Основным мотивом к этой миграции было снижение ежемесячных расходов на облачную инфраструктуру (без существенного снижения качества эксплуатации).

Читать далее

Смертельное переполнение стека. Почему Bunny потеряли свой DNS и как предотвратить подобное

Время на прочтение6 мин
Количество просмотров9.1K


Примечание: Bunny CDN — сеть доставки контента и облачный хостинг со своими серверами DNS

Если в bunny.net есть что-то важнее производительности, то это надёжность. Всё продумано. Избыточный мониторинг, система автоматического восстановления, auto-healing на нескольких уровнях, три резервные сети DNS и система, которая связывает всё это вместе и гарантирует аптайм.

Но в нашей ситуации ничего не помогло. 22 июня 2021 года после почти двух лет безупречной работы из-за сбоя DNS произошло полное отключение почти всех систем. 750 000 сайтов частично ушли в офлайн более чем на два часа. В мгновение ока мы потеряли более 60% трафика и сотни гигабит пропускной способности. Несмотря на все резервные системы, глобальный сбой вызвало простое обновление одного файла.
Читать дальше →

Как мы построили гибридное облако и сняли с ручника разработку

Время на прочтение10 мин
Количество просмотров5.3K

Любому бизнесу, особенно крупному, хочется максимально оптимизировать внутренние процессы. В частности, те, которые касаются ИТ. Довольно часто мы встречаем ситуации, когда сугубо цифровые задачи в силу устаревших регламентов или страха сломать работающую систему решаются по старинке, вручную.

«Ингосстрах» обратилась к нам со следующей задачей: из-за огромного количества «ручных» операций параметр time-to-market их цифровых продуктов в некоторых случаях был достаточно высоким. Это не устраивало никого: ни разработчиков, ни тестировщиков, ни бизнес. Требовалось как можно сильнее сократить time-to-market, не стесняясь в ресурсах и средствах.

Читать далее

Как АНБ и ЦРУ используют дата-центры и облака

Время на прочтение6 мин
Количество просмотров18K

Дата-центр АНБ в Юте на картах Google Maps

Агентство национальной безопасности США — технологически очень продвинутая организация. Это неудивительно, учитывая масштабы данных, которые приходится обрабатывать. Петабайты перехваченного интернет-трафика и телефонных разговоров, миллиарды текстовых сообщений из мессенджеров и сотовых сетей — ежедневно. Всё это нужно распознать, классифицировать, индексировать для мгновенного поиска по ключевым словам, выстроить социальный граф и так далее.

Благодаря Сноудену мы представляем, как работают программы глобальной массовой слежки типа PRISM. Теперь давайте посмотрим, какие вычислительные мощности для этого задействуются.
Читать дальше →

Как спокойно спать, когда у вас облачный сервис: основные архитектурные советы

Время на прочтение6 мин
Количество просмотров7.3K
LOST by sophiagworld

В этой статье собраны некоторые общие шаблоны, помогающие инженерам работать с масштабными сервисами, к которым делают запросы миллионы пользователей. 

По опыту автора, это не исчерпывающий список, но действительно эффективные советы. Итак, начнем.

Переведено при поддержке Mail.ru Cloud Solutions.
Читать дальше →

Представляем Kubernetes CCM (Cloud Controller Manager) для Яндекс.Облака

Время на прочтение4 мин
Количество просмотров5.9K


В продолжение к недавнему релизу CSI-драйвера для Яндекс.Облака мы публикуем ещё один Open Source-проект для этого облака — Cloud Controller Manager. CCM необходим не только для кластера в целом, но и собственно CSI-драйвера. Подробности о его предназначении и некоторые особенности реализации — под катом.
Читать дальше →

Ближайшие события

Интернет в Туркменистане: цена, доступность и ограничения

Время на прочтение5 мин
Количество просмотров41K


Туркменистан — одна из самых закрытых стран мира. Не настолько закрытая, как, скажем, Северная Корея, но близко к тому. Важное отличие — общедоступный интернет, подключиться к которому гражданин страны может без особых проблем. Эта статья рассказывает о ситуации с интернет-индустрией в стране, о доступности сети, стоимости подключения и ограничениях, наложенных чиновниками.
Читать дальше →

Удалённое управление UART'ом через Web

Время на прочтение5 мин
Количество просмотров12K

Начнём с железа


image Работал я как-то на одном заводе, где лепили всякую электронику, не шибко сложную, и иногда подпадавшую под определение «Интернет вещей». По большей части, всякие датчики для охранных систем: датчики дыма, шума, проникновения, огня и всякое другое. Ассортимент изделий был широчайший, партии иногда были меньше 500 штук, и едва ли не под каждое изделие приходилось делать отдельный Test Fixture — по сути, просто жестяная коробка, в которую изделие на тестах ставилось, прижималось крышкой, и снизу контактные иглы прижимались к контактным точкам на печатной плате, как-то так:
Читать дальше →

Нагрузочное тестирование CPU и SSD облачных хостеров: сравниваем Selectel, Servers, MCS и Я.Облако

Время на прочтение6 мин
Количество просмотров13K


Мы постоянно работаем с интернет-магазинами и сервисами и периодически у наших клиентов встает вопрос, где же им хостить свои проекты. Вопросы эти более чем обыденные: какой хостинг выбрать, в каком регионе, что решать с конфигурацией. В последние годы все большее предпочтение отдается облачным хостингам; процент аренды полноценных стоек в упоминаемом нами сегменте для новых проектов становится все меньше и меньше, да и уже работающие компании постепенно переводят свое добро на облачные платформы. Причина проста — кроме вычислительных мощностей бизнесу уже недостаточно одной лишь командной строки для управления «хозяйством». Нужно и удобство управления инфраструктурой и, что немаловажно, возможность его автоматизации. Это обычная ситуация как для мирового, так и для российского рынка. Если угодно — тренд.

За последние два года в нашей стране появилось два новых крупных игрока на рынке облачного хостинга: Яндекс.Облако и Mail Cloud Solutions. Нам стало интересно, на что способно железо каждой из представленных компаний и насколько реально производительны предоставляемые конфигурации ресурсов. Мы решили это выяснить, а после — сопоставить данные с озвученными ценовыми предложениями.

Так как сами хостинг мы не продаем, а лишь периодически консультируем наших клиентов и подбираем им оптимальное по цене-качеству решение, то в этом вопросе мы сможем быть сравнительно объективны.
Читать дальше →

Youtube Story

Время на прочтение3 мин
Количество просмотров1.4K
image

Привет. Снова мой рассказ о Youtube, в этот раз речь, о историях в жизни людей где Youtube сыграл одну из ключевых ролей. Точнее говоря Youtube показал всему миру талант и стремление этих людей. Он помог стать им известными, благодаря этому, они нашли работу по душе. Их мечта исполнилась. Это серия My Youtube Story посвящённая 5-ти летнему юбилею. В топике, пойдёт речь о трёх история — 3-х персонажах, это:Lisa Lavie, Danny MacAskill, Lauren Luke.
Это их Youtube story

На YouTube появился отложенный просмотр

Время на прочтение1 мин
Количество просмотров3.3K
Разработчики YouTube реализовали очень полезную функцию отложенного просмотра. Это значит, что если вы начали смотреть видеофильм, а потом закрыли страницу, то при последующем заходе продолжите просмотр с того места, на котором остановились.

Чтобы избежать множества ложных срабатываний (ведь очень часто люди добровольно закрывают видео и не хотят его досматривать) фича активируется только при соблюдении нескольких условий: 1) длина видео больше 20 минут; 2) вы посмотрели более минуты; 3) до конца осталось более трёх минут. И ещё, для работы этой функции вы должны быть авторизованы на сайте.

Очень удобная вещь. Далеко не каждый десктопный плеер позволяет ставить закладки, и уж тем более делать это автоматически.

Выкрутили автоматизацию на максимум: с чем кроме инвентаризации помог переход на NetBox

Время на прочтение11 мин
Количество просмотров6.8K

Привет, Хабр! На связи команда K2 Cloud — ведущий сетевой инженер Сергей Алексеев и инженер-разработчик Александр Гнатюк.

Мы расскажем о нашем пути к инвентаризации и автоматизации огромной сети ЦОД, каких результатов достигли усилиями сетевых инженеров службы эксплуатации и разработки. Надеемся, что этот опыт будет полезен тем, кто хочет автоматизировать свою работу и сделать инфраструктуру прозрачнее.

Читать далее

Асинхронно копируем объекты между регионами S3 с помощью Python

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров4.2K

Привет, Хабр! Я Александр Гришин, отвечаю за развитие облачных баз данных и объектного хранилища в Selectel. В своей практике часто сталкиваюсь с разными задачами клиентов. Среди них, например: реализовать репликацию данных между удаленными друг от друга регионами, отработать домен отказа «Регион» и повысить уровень отказоустойчивости своих сервисов, убрав привязку к одному городу и инфраструктуре. Сегодня я расскажу, как легко реализовать асинхронную репликацию данных в инфраструктуре Selectel, используя Python и boto3. Погнали!
Читать дальше →