Методы получения высокой производительности систем
Шёл 2022 год. Я обратил внимание на новый интересный проект CUTLASS, отличающийся очень высокой скоростью выполнения операций умножения матриц. Я взял большую задачу по умножению матриц — 8192 x 8192 x 8192, и померял производительность в PyTorch, где используется библиотека cuBLAS.
Правительство Пекина планирует предоставить субсидии компаниям, которые покупают чипы внутренних производителей с целью «ускорения поставки управляемых интеллектуальных вычислительных ресурсов».
Особенное внимание уделяется процессорам GPU, на производство и продажу которых негативное влияние оказал экспортный контроль со стороны США. Кроме того, Китай продолжает продвигать инициативы в области искусственного интеллекта. Субсидии будут выделяться компаниям, которые готовы покупать графические процессоры у отечественных производителей. И не стоит забывать о нескольких триллионах долларов, которые выделяются в течение последних лет самим производителям. Подробности — под катом.
Привет, Хабр! Мы делаем софт для ресторанов. Это немного сложнее и намного интереснее, чем может показаться. В этом блоге мы будем рассказывать про разные интересные задачи, которые нам приходится решать. Сегодня - про то, как мы организовали работу высоконагруженного сервиса, причем в условиях, когда нагрузка может резко возрастать в 10 раз. И не по цене крыла от Боинга при этом.
Процесс оценки уровня удовлетворенности работой и принятия решения о смене карьеры действительно является ключевым шагом для личностного и профессионального развития. Многие люди сталкиваются с ситуацией, когда необходимо принять решение о том, оставаться или менять место работы. Это момент, когда важно проявить внимательность к своим чувствам и оценить текущую ситуацию.
Сомнения в своих способностях и страх перед неизвестностью - это естественные эмоции, которые могут возникать при принятии такого серьезного решения.
Анализ и оценка текущей работы, создание системы методов для определения уровня удовлетворенности и важности различных аспектов работы помогает лучше понять, что именно важно для нас в профессиональной деятельности. Это также помогает выявить проблемные зоны и аспекты работы, которые могут стать мотивацией для изменений.
Процесс саморефлексии и анализа собственных потребностей и желаний важен для того, чтобы принять осознанное решение о смене работы. Самоусовершенствование и поиск собственного пути к профессиональному успеху требует от нас готовности к изменениям и развитию.
Я создала систему для оценки текущей ситуации с использованием матрицы вопросов, вдохновившись квадратом Декарта. Квадрат Декарта позволяет структурировать свои мысли, разобраться в своих чувствах и предпочтениях, а также четко определить, что именно не удовлетворяет в текущей ситуации.
Квадрат Декарта - это психологический инструмент, который помогает представить информацию в виде квадрата, разделенного на четыре квадранта. В каждом квадранте отражены различные аспекты ситуации или проблемы, что помогает проанализировать ее с разных точек зрения.
10 лет назад сотни серверов Яндекса работали на Apache Kafka®, но в этом продукте нам нравилось далеко не всё. Наши задачи требовали единой шины для передачи всех видов данных: от биллинговых до журналов приложений. Сегодня объёмы достигли уже десятков тысяч именованных наборов сообщений.
При таком количестве данных в Apache Kafka® становилось сложно управлять правами доступа, организовывать распределённую работу нескольких команд и многое другое. Проблемы роста и отсутствие подходящего решения в открытом доступе привели к тому, что мы разработали своё решение YDB Topics и выложили его в опенсорс в составе платформы данных YDB. В этом посте расскажу о предпосылках создания продукта, нашей архитектуре передачи данных, возникающих задачах и возможностях, которые появились вместе с YDB Topics.
Привет, Хабр! Представляю вам перевод статьи "How Uber Serves Over 40 Million Reads Per Second from Online Storage Using an Integrated Cache" автора Preetham Narayanareddy. Из неё вы узнаете, как в Uber проектировалась система кэширования на основе Redis, с какими сложностями и тонкостями пришлось столкнуться разработчикам, и как в итоге им удалось создать действительно высокопроизводительное решение.
Постановка задачи: получать данные о заказах из базы данных 1С: Предприятие в формате JSON для отображения на сайте. Запросы должны обрабатываться максимально быстро, по возможности, не мешать работе локальных пользователей.
Задача, конечно, надуманная, но хорошо отражает целый класс задач из реального мира – обслуживание большого количества мелких запросов на чтение данных...
Что общего у DDR5 и меда из песенки Винни-Пуха? Откровенно говоря, ничего, кроме двойственной природы. Они вроде есть, но в то же время их нет. Мед - потому что его все время норовят съесть, а DDR5 - потому что все делают вид, будто этого стандарта не существует и продолжают упорно использовать DDR4. Будем честны: не самое плохое решение. Все-таки стандарт оперативки предыдущего поколения по-прежнему неплохо себя показывает даже в сборке с новыми процессорами. Но ведь DDR5-то от этого хуже не становится.
Сейчас наверное многие подумают, что это кликбейт статья, но это не так, далее я поделюсь своим опытом как получить результат в заголовке.
Трудности в процессе разработки на Go — частая история. Чтобы их преодолеть, нам даже пришлось писать собственный бойлерплейт. Хотя казалось бы — всё уже есть, но нет, нам понадобилось имплементировать собственную хардкорную штуку. Расскажем, почему и зачем.
Всем привет! Хочу поделиться своим опытом планирования жизни, который, возможно, будет полезен для вас.
Эта статья носит своей целью продемонстрировать другой подход в анализе проблем производительности в системах 1С:Предприятие с применением журнала регистрации (ЖР) и технологического журнала (ТЖ).
Напомню, что ЖР логирует действия пользователей — кто, когда в каком объекте внес изменения, с какого компьютера, каким сеансом и т. п. ТЖ — это средство для логирования уже самой платформы. Для расследования проблем производительности информация из журналов очень полезна, но основное время уходит на её поиск, сопоставление с другими метриками и счетчиками мониторинга.
При проведении расследований мы сами часто сталкиваемся с проблемой длительной обработки и сопоставления данных журналов 1С с остальными метриками. И вот наконец руки дошли до парсинга журналов. С точки зрения анализа производительности все данные журналов нам не нужны. А какие нужны?
Вот! В этом как раз вся «соль» идеи.
Ampere A100 от Nvidia — самый мощный ИИ-ускоритель до момента появления Hopper H100, не говоря уже о H200 и грядущем Blackwell GB200. Но, как оказалось, есть более продвинутая версия A100, она улучшена по сравнению с обычной моделью. Ускоритель свободно продаётся в Китае, несмотря на санкции со стороны США. Возможно, Nvidia экспериментировала с ускорителем, либо же его модифицировали специально для Китая. Подробности — под катом.
Году в 1993 мой приятель микрософтовец Лев Белов при встрече с безумными глазами произнес «Ты понимаешь, что это все! Window NT спортировали на Альфу! Все, архитектура x86 с Интелом закончилась!»
И вот архитектура DEC Alpha вновь возникла в моем дискусе в диалогах на линкдине пару дней назад. Инженер по имени Александр Кушнеров высказал утверждение, что на Альфе не получилось или было принцииально невозможно достичь низкого энергопотребления.
Тезис про «принципиально невозможно» мне кажется сомнительным. Поэтому я высказал вот какие соображения:
Многие приложения работающие в Kubernetes обрабатывают конфиденциальную информацию, требующую защиты от несанкционированного доступа. Kubernetes предлагает удобные способы для защиты данных. Рассмотрим основные из них в этой статье, а именно — шифрование в покое, шифрование в передаче и зашифрованные томы в Pods.
Viam supervadet vadens (дорогу осилит идущий)
Есть много счастливчиков, которым повезло работать в ситуации, когда объёмы по-настоящему огромны и требования кажутся невыполнимыми. Но есть те, кому по настоящем крупно повезло! Я говорю о тех, кто решал задачи в пространствах, где размерность больше 1.
Давайте разбросаем осколки по всей земле?
Если у вас не просто большая компания, а целая экосистема с разными сервисами, IT-инфраструктура должна обеспечивать бесшовность. Клиенты и сотрудники могут входить в систему с разных устройств, но изменение информации в одном канале должно отображаться в других, а целостность данных сохраняться, даже если вход совершен в двух каналах параллельно. И в идеале — так, чтобы клиент не видел «внутренней кухни».
Меня зовут Владимир Паршин, я ведущий ИТ-инженер в СберТехе. Расскажу, как выстроена работа с бесшовностью в Сбере.
В статье будет про драматичное прошлое, Джастина Бибера и балансировку нагрузки. А главное — про то, какие решения СберТеха под капотом банка сейчас обеспечивают обработку данных огромного числа клиентов и сотрудников.
В данной статье обсудим создание REST-сервиса в “реактивном” исполнении. Приведу примеры кода на Kotlin в двух вариантах: Reactor и coroutines
