Методы получения высокой производительности систем
Как именно вы спроектировали бы оптимизирующий компилятор? Точнее, как именно вы спроектировали и реализовали бы конкретные оптимизации? Попытка решить эту задачу за один присест — дело ошеломительно сложное и, пожалуй, даже невозможное, так как оптимизации компилятора во многом заключаются в следующем...
GDDR7 — новое поколение видеопамяти для графических адаптеров, например, для Nvidia Blackwell RTX 50. В ближайшие несколько лет именно эта технология будет применяться в современных продуктах разных производителей, постепенно заменяя собой GDDR6 и GDDR6X. У стандарта немало интересных возможностей, но ждать быстрого появления новых видеокарт с такой памятью не стоит. Подробности — под катом.
Этот материал вдохновлен серией выпусков канала Мэт Д`Авелла евангелиста минимализма и человека, который внедряет в свою жизнь новые привычки. В духе: 30 дней без кофе, 30 дней холодного душа, 30 дней по 10 000 шагов… А также в основе этой лекции от нейробиолога Стэнфордского университета Эндрю Губермана. Если вы задумывались про формирование привычек в жизни, эта статья – знак, что пора начать!
Оптические нейронные сети, использующие фотоны вместо электронов, имеют преимущества перед традиционными системами. Но они также сталкиваются и с серьезными препятствиями.
Закон Мура уже работает весьма быстро. Он утверждает, что примерно каждые два года число транзисторов в компьютерных чипах увеличивается в два раза, и это приводит к значительному скачку скорости и эффективности. Но потребности в вычислениях в эпоху глубокого обучения растут ещё быстрее — темпами, которые, вероятно, могут меняться. Международное энергетическое агентство прогнозирует, что в 2026 году искусственный интеллект будет потреблять в 10 раз больше энергии, чем в 2023 году, и что центры обработки данных в этом году будут потреблять столько же энергии, сколько вся Япония.
Сегодня мы поговорим о крайне важной, но порой недооцененной теме — кешировании в браузере.
Кеширование — это процесс сохранения копий файлов в локальном хранилище браузера, чтобы в последующем загружать их оттуда, а не с сервера. Так можно избежать лишних задержек и снизить нагрузку на сервер, т.к большинство ресурсов, таких как CSS-файлы, скрипты и медиаконтент, не нуждаются в повторной загрузке при каждом новом посещении страницы.
В статье рассмотрим несколько основных методов кеширования, таких как использование HTTP заголовков Cache-Control, ETag, и If-Modified-Since, а такжеLocalStorage.
В современном динамичном мире IT-индустрии регулярное подведение итогов и анализ проделанной работы является неотъемлемой частью успешной деятельности любой компании. В данной статье мы рассмотрим основные преимущества организации выездных ретроспектив, их влияние на продуктивность работы и сплоченность коллектива, а также практические рекомендации по их проведению. Данная статья основывается исключительно на моем опыте работы с ИТ командами в качестве HR - специалиста в компании ESoft.
Вряд ли в наше время существуют ИТ компании и читатели хабра, не имеющие представления о таких вещах как ретроспектива, Agile, Scrum, мое любимое - “чисто русский Scrum”, но тем не менее определиться о том, что мы сейчас обсуждаем, я считаю необходимым:
Итак, ретроспектива - это регулярное мероприятие, в рамках которого команда обсуждает прошедший период, анализирует достигнутые результаты, выявляет проблемные моменты и определяет дальнейшие шаги по улучшению рабочих процессов. Ретроспективы являются неотъемлемой частью методологий гибкой разработки, таких как Agile и Scrum, но их важность выходит далеко за пределы IT-сферы.
Из преимуществ подобных мероприятий я бы выделил следующие:
- Систематический анализ проделанной работы и выявление областей для улучшения
- Повышение вовлеченности сотрудников в рабочие процессы
- Укрепление командного духа и взаимопонимания между членами коллектива
- Накопление ценного опыта и его применение в будущих проектах
- Формирование культуры непрерывного совершенствования
На этом с терминологией наверно можно закончить. Тем более, что здесь я буду рассуждать не о процессе самого ретро как такового, а именно о пользе выездного ретро с командой.
С 2023 года в нашей компании устоялся процесс, когда команда завершая очередной спринт, а тем более если спринт был весьма hot, может обратиться к своему HR - партнеру с просьбой организации для команды выездной ретроспективы. Подобные мероприятия, по крайней мере у нас, проходят с полным или частичным софинансированием от компании. Поэтому, как правило HR специалист организует пространство для проведения ретроспективы, будь то лофт, тайм - кафе или самое трендовое - домик в лесу. Организует закуп всего необходимого для проведения ретроспективы и организации после нее. И организует проезд всей команды к месту проведения.
Я не просто так упомянул, что вы не просто едите куда то провести мероприятие лишь бы не в офисе, но еще и организовываете себе отдых после ретроспективы. Как правило это шашлыки, неформальное общение, настольные игры, и любой другой вид отдыха, позволяющий команде расслабиться, дать голове отдохнуть, отвлечься от работы и офиса.
Из преимуществ подобных мероприятий я бы мог выделить:
1. Отсутствие отвлекающих факторов
Документация YDB продолжает развиваться, отвечая на растущие потребности своей разнообразной аудитории. Наша цель остаётся прежней — улучшение ясности, доступности и глубины предоставляемой информации. В этом квартале мы ввели значительные обновления и новые разделы.
Привет, меня зовут Денис Агапитов, я руководитель группы Platform Core компании Bercut.
Сегодня хочу поговорить об одном из lock-free алгоритмов в Java. Разберём как с ним связано ключевое слово volatile и паттерн immutable.
Работа в Яндексе ставит огромное количество технических вызовов, которые интересно решать. И один из них — это производительность основной очереди сообщений YDB Topics. Посмотрим, может ли опенсорсный продукт от Яндекса конкурировать с Apache Kafka по производительности.
Меня зовут Зевайкин Александр. Я уже практически 20 лет в IT. Начинал с преподавания в вузе, запускал множество стартапов, руководил командами разработки. В текущий момент я работаю в Яндексе в отделе, занимающимся одной из высоконагруженных систем. Это разработка распределённой базы YDB, в частности, функциональности YDB Topic.
useCallback в React. Поскольку я вырос на .NET, мне потребовалось немало времени, чтобы разобраться в происходящем. Поэтому я решил написать этот пост и рассказать вам, чему меня научила эта ситуация.
Разработчики, которые используют Go, сталкиваются с задачей выжать максимальную производительность из каждой строки кода. Но что делать, если оптимизировать уже нечего, а увеличивать скорость всё равно надо?
Меня зовут Никита Галушко. Я старший программист-разработчик в отделе высоконагруженных систем и оптимизации ВКонтакте. В статье поделюсь, какие хитрости помогут использовать Go на полную мощность.
Перед вами заключительная, третья часть обзора изменений в Greenplum 7. Если вы по каким-то причинам пропустили прошлые публикации, то их можно найти в нашем блоге здесь и здесь. А сегодня мы поговорим об изменениях в партиционировании таблиц и ресурсных группах, JIT-компиляции выражений и многом другом. Давайте начнём!
Прекрасный момент: система написана, часть тестов автоматизирована, отчеты сгенерированы и даже выявлено несколько дефектов. Выдыхаем и будем думать о дальнейших планах: увеличить тестовое покрытие, добавить стабильности и что-то делать с логированием. Стоп, подождите, вы про логи? Заряжаем ELK, агенты сбора, выделяем ресурсы. Как нет ресурсов? Так, может быть, rsyslog в конце концов? И его нельзя? Звучит как тестовая задача на собеседовании, однако можно ли в такой ситуации обойтись без дополнительных инструментов, да еще и интегрировать работу с логами в систему автоматизации тестирования?
При эксплуатации учетных систем пользователи часто жалуются на «бардак» в справочниках: элементов слишком много, они задублированы, непонятно, какой элемент использовать, часть из них не используется вообще. При этом пользователи не могут ответить на вопрос, кем и для чего эти элементы были заведены. Если возникнет необходимость в отражении, например, нового факта хозяйственной деятельности, то пользователь часто «идет по пути наименьшего сопротивления» – заводит новый элемент справочника. Несмотря на то, что для этих целей уже был зарегистрирован элемент ранее, но о его наличии пользователь не знает или не хочет разбираться со старым «наследством» и проблема все более и более усугубляется.
Меня зовут Алексей Бырко, я консультант-эксперт в департаменте 1С «КОРУС Консалтинг» и в своей работе я часто сталкиваюсь с потребностью нормализации НСИ на проектах. Поделюсь своим опытом, почему это происходит и что с этим делать.
Сборка компьютера — казалось бы, простая задача. Взять компоненты и просто соединить их друг с другом внутри системного блока. Но бывают ситуации, что видеокарта, как самый большой компонент, попросту не помещается в корпусе или помещается, но мешает нормальному охлаждению всей системы. Если вы не готовы поменять корпус или замена корпуса в вашем случае по-прежнему ничего не решает, можно использовать райзеры. О том, что это такое (если вдруг кто не знает), как они устанавливаются, какие бывают и влияют ли на производительность видеокарт, мы расскажем в этой статье.
FastStream - это относительно новая блестящая игрушка в руках Python'истов, которая создана специально для работы с брокерами сообщений.
В Python сложилось устойчивое убеждение, что если мы работаем с MQ - то нам нужен Celery, но он слегка устарел. Именно поэтому люди пытаются выкинуть "деда" и затащить вместо него любой новый многообещающий MQ-инструмент. Кроме того, культ Celery настолько силен в умах, что практически все новые библиотеки для работы с MQ пытаются стать его "убийцей" и заменой.
Однако, это не совсем верно. Существует огромный пласт проектов, которым нужен не фреймворк для менеджмента задач, а просто "голый" функционал Kafka/RabbitMQ/NATS/whatever для межсервисного взаимодействия. И все эти проекты вынуждены довольствоваться "сырыми" python-клиентами к своим брокерам, а всю обвязку вокруг этих клиентов писать самостоятельно. FastStream целится как раз в эту нишу.
В рамках статьи я хочу убедить вас, что не Celery мы едины, и для альтернативных инструментов найдется место под солнцем. А также рассмотрим фичи FastStream, которые он привносит в застоявшийся мир MQ-инструментов.
Привет, Хабр!
Сегодня поговорим о балансировке нагрузки по DNS с использованием инструмента — Consul. Сейчас в основном все приложения разбиваются на множество мелких сервисов, и поэтому часто нужно сделать так, чтобы трафик равномернно распределился и имел высокую доступность.
Consul — это open-source инструмент от HashiCorp, который обеспечивает сервис-дискавери, проверку состояния сервисов, балансировку нагрузки и глобально распределенное хранилище ключ-значение.
Открытая архитектура RISC-V активно развивается: в стандарт добавляются новые расширения и инструкции, разрабатываются новые ядра и SoC. Поскольку многие компании видят перспективы архитектуры и готовы использовать ее в продакшене, создается программный стек для высокопроизводительных вычислений — RISC-V HPC (High Performance Computing). Прогресс сопровождает формирование нового тренда — OpenHPC. Он заключается в технологической независимости от решений коммерческих компаний. Причем это относится не только к ПО, но и к железу.
Чтобы концепция OpenHPC реализовывалась быстрее, нужно, чтобы к инициативе присоединилось как можно больше компаний, помогающих в развитии экосистемы решений для RISC-V HPC. Меня зовут Андрей Соколов, я инженер-программист в компании YADRO. В R&D-команде мы поставили перед собой задачу: изучить, как можно поддержать архитектуру RISC-V со стороны библиотек линейной алгебры BLAS и LAPACK. Тестирование одной из open source-библиотек привело нас к интересным открытиям, о которых я расскажу под катом.
В прошлой части обзора изменений и нововведений Greenplum 7 мы рассмотрели миграцию движка Append Optimized таблиц на использование интерфейса табличных методов доступа, оптимизацию добавления столбцов в таблицы, а также изменения, связанные с поддержкой индексов.
Сегодня мы поговорим об ещё одном новом для Greenplum типе индексов и не только.
