При разработке сервиса, от которого зависят все сценарии организации, необходимо предусмотреть все возможные и невозможные сценарии, в рамках доклада поговорим о доступности данных и способе их получения клиентам, рассмотрим различные подходы и определим, когда стоит выбирать нестандартный способ, поделюсь ошибками, которые мы совершили.
Как мы сделали высокоскоростной RPC с помощью RDMA для собственного SDS — доклад на IT-конференции GoCloud Tech 🦾
На конференции GoCloud Tech расскажем, почему выбрали RDMA RoCE v2 — программный блок для потоковой передачи данных. Посмотрим на внутреннее устройство транспорта с позиции разработчика. Покажем, как изменилась производительность RPC между сервисами SDS. Обсудим недостатки и перспективы решения.
Приходите послушать доклад и обсудить тему в неформальной обстановке.
Новые курсы Яндекс Практикума для специалистов с опытом
Курсы для тех, кто уже имеет опыт в разработке, хочет расширить свои компетенции и перейти на новый уровень. Практика с первого дня обучения, поддержка наставников и кураторов, обратная связь от экспертов, интерактивный учебник, возможность начать учиться бесплатно — переходите по ссылкам, чтобы узнать о всех преимуществах каждого курса.
«Эксплуатация и разработка в Kubernetes» — за 3 месяца освоите и примените на практике технологии оркестрации контейнеров. Программу составляли инженеры и тимлиды, которые давно работают с Kubernetes. Благодаря этому, вы будете учиться только тому, что на самом деле пригодится в работе. Ближайший старт — 17 октября.
«Apache Kafka для разработки и архитектуры» — 3-месячный курс для тех, кто хочет влиять на масштабируемость и надёжность систем. С этой технологией вы будете работать с более сложными продуктами и сможете повысить грейд. Есть бесплатная вводная часть. Ближайший старт — 21 ноября.
«Архитектура программного обеспечения» — за 6 месяцев освоите лучшие практики архитектуры и научитесь решать сложные архитектурные задачи. Есть бесплатная вводная часть. Ближайший старт — 24 октября и 28 ноября.
«Мидл Android-разработчик» — 5-месячная программа для Android-разработчиков с опытом. Курс фокусируется на углублении технических навыков, изучении передовых паттернов и технологий, а также на освоении инструментов и методов, применяемых в реальных проектах. Ближайший старт — 14 ноября.
«Apache Kafka для разработки и архитектуры» — новый курс Яндекс Практикума
Навыки работы с Apache Kafka нужны всем, кто хочет влиять на масштабируемость и надёжность систем. На курсе «Apache Kafka для разработки и архитектуры» за 3 месяца вы научитесь использовать эту технологию, чтобы применять её в работе.
Курс подойдёт специалистам с опытом: бэкенд-разработчикам, архитекторам, DevOps-инженерам и инженерам данных. Нужно знать Java, Python или Golang, понимать принципы работы с базами данных SQL и NoSQL, базово разбираться в архитектуре распределённых систем и уметь работать с Linux.
Преимущества курса:
Обучение конкретно Apache Kafka, не в рамках более общего курса;
Комплексное погружение в инструмент, а не просто знакомство с основами;
Практические задания в каждом уроке и проекты по окончании спринтов;
Воршкопы с экспертами, которые помогут разобрать наиболее сложные вопросы.
Вы научитесь:
Настраивать Apache Kafka для своих задач и оптимизировать производительность;
Интегрировать Kafka с внешними системами;
Работать с производителями и потребителями сообщений;
Проектировать и реализовывать потоковые пайплайны данных;
Обеспечивать надёжность и отказоустойчивость систем;
Настраивать мониторинг кластеров Kafka и управлять им.
Вы получите диплом о профессиональной переподготовке в конце курса, если у вас есть среднее-профессиональное или высшее образование. Если нет, получите сертификат о прохождении курса.
Фотонный процессор в России: что за чудо и с чем его едят?
РИА Новости сообщают, что к концу года в России завершат испытания фотонного процессора. Что в нём инновационного и реально ли ждать в нашей стране такое устройство?
Представьте, что вам надо послать сообщение и вы передаёте письмо «Камазом». Почему же не легковой машиной или даже по интернету? Сейчас с вычислительной техникой ситуация плюс-минус аналогичная — информация передаётся с помощью электронов, а ведь у нас есть частицы гораздо легче — фотоны. Массы покоя они вообще не имеют, а значит любые преобразования способны проводить быстрее. Теоретически. А ещё не будет потерь тепла на сопротивление. Вот и получается, что процессор, в котором вычисления проводятся не на электронах, а на фотонах, должен быть быстрее в десятки тысяч раз и с минимальным энергопотреблением.
Теория замечательная. Однако для фотонов придётся заново создавать вентили, которые смогут превращать их в нули и единицы и совершать с ними операции. Пока есть только тестовые образцы.
Сможет ли Россия обогнать весь? Материаловедение сейчас развивается во всём мире, и тот же Росатом вовсю работает над новыми материалами. Так что на данном этапе всё возможно. Тем более, что в этом году мы получим только прототип фотонного процессора со скромными характеристиками. К 2030 году российские учёные обещают разогнать его до 1000 экзафлопс при энергопотреблении в 10 000 раз ниже обычного. Звучит фантастично. А ведь потом встанет вопрос серийного производства...
Закрытие темы "Гипотеза о связи относительного количества ожиданий СУБД и производительности СУБД "
Отношение количества событий ожидания влияющих на производительность СУБД к количество событий ожидания не влияющих на производительность в ходе штатной работы СУБД будет примерно постоянное.
Для проверки гипотезы была проведёна серия экспериментов по 3-м сценарям:
1) Базовая(эталонная) нагрузка.
2) Дополнительная нагрузка на CPU/RAM.
3) Очередь ожидания освобождения блокировки строк/таблиц.
Итог: Гипотеза не подтверждается экспериментальными данными : разница в соотношении между ожиданиями составляет ~3% , при деградации производительности ~34%.
Или другими словами: соотношение между ожиданиями при работе СУБД, в общем случае, не зависит от нагрузки и производительности СУБД и остаётся примерно постоянным для конкретной СУБД.
Таким образом - изменение соотношения между ожиданиями СУБД не может являться индикатором деградации производительности.
Тема закрыта. Статья снята с публикации.
P.S. Однако, в ходе экспериментов, получен интересный побочный результат:
При использовании pgbench c параметром "--connect",отношение количества ожиданий влияющих на производительность, к количеству ожиданий не влияющих на производительность - существенно отличается (~38%).
Следствие - данное соотношение может быть использовано как оценочное значение результатов нагрузочного тестирования и для оценки эффективности архитектурного решения.
К вопросу о важности определения понятия "производительность СУБД".
Пусть имеется некий запрос к СУБД, который важно мониторить с точки зрения эффективности и качества работы.
Сценарий 1: запрос выдает N1 строк и выполняется за время T1.
Сценарий 2: запрос выдает N2 строк и выполняется за время T2.
Вопрос: можно ли утверждать о инциденте в случае Сценария 2, если "T2 > T1 И N2 > N1" ?
Утверждение: Не имея определения понятия "производительность" и не обладая возможностью рассчитать метрику производительности отдельного запроса, получить однозначный ответ на поставленный вопрос - невозможно.
Леонид Ченский про систему кэширования и топ-3 ошибок в кэшировании
Мы встретились с Леонидом Ченским, руководителем группы разработки в Ozon и спикером секции «Разработка» UDW2024. Леонид рассказала про обучение разработчиков, систему кэширования и топ-3 ошибок в кэшировании.
Ural Digital Weekend 2024 — одна из крупнейших IT-конференций на Урале с насыщенной программой и аудиторией 400+ человек, организованная компаниями Spectr и Тэглайн. Билеты для посещения конференции уже могут приобрести все желающие на сайте Ural Digital Weekend 2024 — https://ural-digital-weekend.ru/. А по промокоду CHENSKYGIFT10 можно получить приятную скидку.
Я всегда борюсь за скорость. Началось это все с того, как я прочитал книгу “Грокаем алгоритмы” и меня заинтересовало измерение скорости выполнения. Потом, решая задачи на LeetCode я расстраивался, если алгоритм получался медленным. Недавно мне пришла идея написать пост на эту тему, а во время написания изучить этот вопрос получше. Я прочитал не мало статьей, большинство из которых - англоязычные.Так что вот советы по увеличению скорости Вашего приложения на Golang :
1. Выделять ёмкость для среза с помощью make
При создании среза выделяйте ёмкость с помощью make, так Вы избавитесь от перераспределений
2. При возвращении указателя, объявлять его при создании переменной
func (r Ruleset) Match(path string) (*Rule, error) {
for i := len(r) - 1; i >= 0; i-- {
rule := r[i] //так НЕ надо
rule := &r[i] //так надо
match, err := rule.Match(path)
if match || err != nil {
return &rule, err //так НЕ надо
return rule, err //так надо
}
}
return nil, nil
}
Когда есть возможность, используйте горутины. Например, когда результат 2-х операций не зависит друг от друга, можете использовать горутины. Думаю, доказывать, что таким образом приложение становится быстрее, не надо :)
Привет! Мы проводим SRE Week — открытый интенсив по теме Site Reliability Engineering от Школы анализа данных и экспертов Yandex Infrastructure.
О чём интенсив
Site Reliability Engineering — область, посвящённая эксплуатации больших и нагруженных компьютерных систем. Если вы хотите делать сервисы, способные выдерживать значительные нагрузки и работать на большом количестве железа, вам придётся столкнуться и с вопросами эксплуатации.
Программа интенсива
На интенсиве будет пять лекций и один семинар, занятия пройдут с 17 по 22 июня.
На лекциях:
посмотрим на поломки больших систем, общие принципы, статистику аварий и разберём конкретный инцидент;
научимся производить диагностику одного сервера и определять ограничения по железу, так как большие системы строятся из отдельных серверов;
изучим опасности, которые могут поджидать в протоколе, связывающем отдельные серверы, и освоим средства диагностики распределённых систем;
обсудим, из чего состоит ежедневная работа в эксплуатации и как организована работа в команде.
На семинаре:
научимся настраивать ядро Linux для повышения производительности;
разберём на практике несколько реальных проблемных ситуаций, для диагностики которых воспользуемся утилитами с лекций.
Как принять участие
Для участия в интенсиве зарегистрируйтесь по ссылке. Регистрация открыта до 16 июня. Для получения доступа к итоговому практическому заданию нужно пройти отбор до 22 июня и сдать задание до 3 июля. Тем, кто успешно справится, будет выдан сертификат.
Или я плохо ищу или действительно , тема корреляционного анализа производительности СУБД , еще не исследовалась.
Например было бы очень интересно установить - какой из факторов оказывает максимальное влияние на производительность СУБД или наоборот - как производительность СУБД влияет на показатели СУБД и инфраструктуры :
Блогер GPU Tester проверил работоспособность бюджетной видеокарты Nvidia GTX 1060 с 6 ГБ видеопамяти в современных играх в разрешении Full HD на ПК с процессором AMD Ryzen 7 7700X с 32 ГБ ОЗУ DDR5 6000 МГц.
Игра Call of Duty Modern Warfare II на сбалансированных настройках в среднем работает при 76 кадрах в секунду, а Apex Legends на ультранастройках удалось достичь 103 FPS. Шутер Counter‑Strike 2 на высоких настройках показал 145 FPS.
Требовательная Starfield показала средний результат в 25 FPS при вручную подобранных настройках графики, Star Wars Jedi: Survivor и Hogwarts Legacy на низких и средних настройках соответственно показали 33 FPS и 43 FPS. Игра Plague Tale Requiem и Dying Light 2 Stay Human на ультра- и средних настройках графики показали 47 FPS и 54 FPS соответственно, Cyberpunk 2077 на индивидуальных настройках показал 44 FPS, а God of War — 56 FPS.
Видеокарта Nvidia GeForce 1060 была представлена в 2016 году. На сегодняшний день это очень бюджетное решение, которое можно купить в России в среднем за 12 тыс. рублей.
infra.conf 4 июня: обсудим с разработчиками кейсы создания и эксплуатации высоконагруженных систем
Команда Yandex Infrastructure 4 июня проведёт конференцию про создание инфраструктуры и эксплуатацию высоконагруженных систем. Встретимся в Москве и в онлайн‑эфире, чтобы поговорить про платформенную разработку, базы данных и облачные технологии, тестирование и безопасность, ML‑инфраструктуру и опенсорс‑решения.
Только практика от крупных компаний: Авито, Иннотех, Альфа‑Банк, Selectel, СберМаркет и SberDevices, Postgres Pro, Лаборатория Касперского и др.
Среди уже объявленных спикеров:
Борис Литвиненко, Yandex Infrastructure: расскажет о том, как удобно жить на железе в 2К24 базовой инфраструктуре, о пути сетевого пакета и о специфике обслуживания этой части инфраструктуры. В финале вместе сделаем своё облако с DPDK и попытками преодолеть проблемы монолитной инфраструктуры.
Дарья Николаенко, Тинькофф: в докладе «Потребитель и железка. Где связь?» расскажет про неочевидные и хитросплетённые зависимости масштабной инфраструктуры и их влияние на выполнение и постановку рабочих задач, а также поделится опытом визуализации и систематизации инфраструктурных компонентов.
Виктор Корейша, Ozon Tech: расскажет о проектировании собственной S3 поверх Ceph, а также о проблемах, возникших при разработке, миграции и эксплуатации на реальной нагрузке. И, конечно, покажет пути решения и поделится результатами.
Участие бесплатно, следите за обновлениями программы и регистрируйтесь по ссылке.
В Китае в продажу поступил ноутбук MSI Titan 18 Pro в версии 192 ГБ ОЗУ и SSD накопителем на 4 ТБ.
За производительность устройства отвечает 24-ядерный процессор Intel Core i9–14 900HX с 32 потоками, а также мощная видеокарта Nvidia GeForce RTX 4090. Энергопотребление системы достигает 250 Вт.
Ноутбук имеет 18» Mini‑LED экран с разрешением 3840×2400 пикселей и с частотой обновления изображения 120 Гц, а также охватом цветового пространства DCI‑P3 на 100%. Заявленная яркость экрана составляет 1000 нит.
Среди прочих особенностей отмечается наличие аккумулятора ёмкостью 99,9 Вт*ч, 6 динамиков, Wi‑Fi 7 и различных портов для подключения внешних устройств, в том числе двух USB‑C с поддержкой Thunderbolt 4, двух USB-A 3.2 Gen 2 и HDMI 2.1.
В Китае MSI Titan 18 Pro в версии на 192 ГБ и 4 ТБ продаётся за 39,6 тыс. юаней (около 500 тыс. рублей).
1 мая стартует новый формат соревнований на HighLoad.Fun, который напомнит вам о первых HighLoad CUP от Mail.Ru в 2017 и 2018 годах.Смысл соревнования написать HTTP сервер на любом языке программирования который реализует API описанный с помощью Swagger'а, запаковать в Docker контейнер и загрузить в registry платформы, где произойдёт тестирование. Чьё решение быстрее и без ошибок обработает входящий поток запросов — победит.
HighLoad.Fun некомерческий продукт, я занимаюсь этим проектом уже несколько лет. У меня нет споносоров, поэтому больших призов не будет, но должно быть весело и интересно.
Гендиректор Nvidia Дженсен Хуанг (Jensen Huang) лично доставил свой новый флагманский ускоритель DGX H200 в офис компании OpenAI в Сан-Франциско, подчеркнув тесную связь между двумя гигантами в отрасли искусственного интеллекта.
Хуанга встретили соучредитель OpenAI Грег Брокман и гендиректор компании Сэм Альтман.
DGX H200 – это новейший ускоритель ИИ-вычислений Nvidia, оснащенный 141 ГБ памяти HBM3e. Производитель позиционирует это решение как самый мощный ИИ-ускоритель Nvidia, знаменующий шаг вперёд в области технологий ИИ с производительностью в 1 экзафлопс.
