Методы получения высокой производительности систем
ИИ давно перестал быть просто забавным развлечением, он позволяет высвободить время от рутины и операционки, что дает сконцентрироваться на уникальных нетипичных задачах, где требуется весь спектр навыков аналитика. В течение пары лет я активно использовал ИИ в работе и искал точки применения, в которых они оптимизируют мою работу. Если раньше на подготовку к интервью и его расшифровку я мог потратить несколько часов или даже целый день, теперь это занимает около получаса. Другой пример – подготовка схем и диаграмм для визуализации проекта. С помощью ChatGPT и PlantUML на подготовку черновика диаграммы у меня уходит минут пять. И таких примеров очень много, о некоторых из них я расскажу подробнее в этой статье.
Продовольственная безопасность — элемент национальной безопасности государства. Продовольственная безопасность является одной из главных целей аграрной и экономической политики государства
Продовольственная безопасность РФ
В России основным документом, определяющим совокупность официальных взглядов на цели, задачи и основные направления государственной экономической политики в области обеспечения продовольственной безопасности страны, является Доктрина продовольственной безопасности Российской Федерации, утвержденная указом президента Дмитрия Медведева от 1 февраля 2010 года. В 2019 году в Совете Безопасности РФ начата разработка новой редакции доктрины, которую предполагается принять до конца года.
Россия по итогам 2020 года заняла по уровню продовольственной безопасности 24-е место среди 113 стран, по уровню продовольственной безопасности превзошла Польшу, а доля населения, живущего за глобальной чертой бедности, в России втрое меньше, чем в Польше. Это следует из Глобального индекса продовольственной безопасности, который уже в девятый раз подготовили аналитики The Economist Intelligence Unit при поддержке Corteva Agriscience. В 2020 году Россия почти в два раза улучшила свои позиции в Глобальном индексе продовольственной безопасности - в 2019 году Россия занимала только 42-е место
Ранжирование — это уникальная разновидность задач в машинном обучении, обособленная как от классификации, так и регрессии. Заключительная статья по нейрооптимизаторам в РСУБД, как ни странно, связана именно с ней. Бум в развитии подобных моделей произошёл совсем недавно — в 2023 году, что мы с вами подробно разберём. Сначала погрузимся в ранжирование в целом, а затем увидим, как в соответствии с новой постановкой задачи адаптировались методы поиска оптимального плана исполнения запроса.
Привет, Хабр! Не так давно столкнулся с задачей разработки альтернативного решения для ограничения сетевого трафика. Такая задача возникла в рамках разработки системы лицензирования для продукта класса NGFW (Next Generation Firewall). Используя такую систему ограничений можно было бы предусмотреть несколько видов лицензий на коммерческое использование продукта, где в зависимости от уровня приобретенной лицензии можно было бы предоставлять полную, либо урезанную функциональность продукта в части его производительности. В этой статье хочу поделиться опытом решения данной задачи.
Рассмотрим некоторые аспекты процесса трансформации — конфликты и компромиссы, без которых невозможно достичь сбалансированного результата. Конфликты неизбежны и полезны, так как помогают выявить проблемные зоны и позволяют видеть трансформацию в новом свете. Важна способность команды воспринять конфликт как инструмент для улучшения, а не как препятствие, и именно такое отношение открывает путь к совместному поиску решений.
Компромиссы, являются естественным последствием конфликтов и показателем зрелости команды. Пример с уравновешиванием линейки демонстрирует, что для достижения компромисса стороны должны быть мотивированы общей целью. Этот процесс создает здоровую среду для изменений и улучшений, помогая команде находить решения, которые учитывают интересы всех участников и обеспечивают успех проекта.
Хабр, приветствую! Я Сергей Лысанов — технический лидер и руководитель разработки систем хранения данных. Наша команда начала создавать собственное хранилище с нуля в 2021 году и через три года мы вышли в продакшн вместе с публичным облаком Cloud.ru Evolution. В этой статье я подробно расскажу, как устроено наше хранилище и поделюсь интересными техническими решениями. Welcome!
Управление поиском цен на отели в сервисе бронирования — это как ремонт работающего двигателя. Работа с запросами происходит в реальном времени, и простого варианта «отель N на майские» недостаточно, чтобы получить то, что нужно. Скрейпинг, массовые запросы, настройка баланса просмотров и бронирований при работе с самописными базами поставщиков и их ограниченными серверными мощностями — задача почти невыполнимая. Почти…
Привет, Хабр! Меня зовут Иван Чернов. Я 12 лет в IT, 6 из них работаю в «Островок!». В этой статье расскажу, как справиться с нагрузкой и поддерживать бесперебойную работу системы. Рассмотрим масштабирование Redis, использование Aerospike, фильтр Блума и решим задачку со звёздочкой. Поговорим о маленьком кусочке схемы, который непосредственно работает с поставщиками в поиске. Это самая нагруженная часть, где возникают наибольшие проблемы с highload. Но именно она нужна, чтобы пользователи получили лучшие цены.
UUIDv7 – это удобный и безопасный 128-битный уникальный идентификатор, который призван заменить целочисленные суррогатные ключи формата bigint в качестве первичного ключа в высоконагруженных базах данных и распределенных системах.
Всем привет! Меня зовут Сергей Вяльцев. Я архитектор команды «Финансы» в «Ленте», домен «Данные и Аналитика». Хочу поделиться тем, как благодаря миграции на BW/4HANA нам удалось разгрузить сервер базы данных хранилища SAP BW, не прибегая к покупке дорогостоящего оборудования. Более подробно остановлюсь на описании новой технологии NSE и результатах ее применения в нашей системе.
В статье объясню специфику Яндекс Функций. Покажу свой эксперимент с запуском приложений, которые опубликованы разными способами — в том числе с использованием AOT-компиляции. А в конце — сравнение результатов и выводы.
Интересны особенности работы .NET в Yandex Cloud Functions? Добро пожаловать под кат.
Okko – один из крупнейших онлайн-кинотеатров в России c нагрузкой в несколько тысяч запросов в секунду, в котором персональные рекомендации занимают важное место. Для улучшения пользовательского опыта нужно не только предоставить качественные рекомендации, но и обеспечить быстрый доступ к ним.
В этой статье мы поделимся:
1. Описанием, как мы использовали инструменты Jaeger и Grafana для выявления узких мест в производительности, что привело к выявлению критических проблем со сборщиком мусора;
2. Анализом влияния различных настроек сборщика мусора на время ответа, что позволило сократить его вдвое для 99% запросов;
3. Когда и почему стоит рассматривать изменение стандартных настроек сборщика мусора (на примере нашего случая).
Короткая зарисовка о том, почему важно осознанно писать каждую строчку кода, каждый символ. А заодно и небольшой мастер-класс по использованию dottrace и класса string одновременно.
Привет, Хабр! Меня зовут Дмитрий Селютин, я ведущий разработчик команды R&D в Cloud.ru.
Ситуации, когда при решении совершенно конкретной задачи упираешься в сложности откуда-то сбоку, возникают в разработке с завидной регулярностью. В задачах, зависящих от автоматизации, очень часто случается, что слабым местом оказываются непосредственно инструменты для этой автоматизации, если они вообще есть. Такие инструменты могут рождаться и умирать, но порой они могут возрождаться заново. Сегодня поделюсь рассказом о том, как в ходе исследований производительности нашего облака Cloud.ru Evolution мы внезапно сделали SDK и CLI посредством генерации кода и интроспекции. Статья будет полезной всем, перед кем стоит задача быстро обернуть сгенерированный API на Python в нечто более симпатичное и поможет из этого автоматически сделать CLI. Ну а для тех, кто не связан с темой, это будет поучительная история из разряда «если у вас завалялся кусочек кода, не спешите его выбрасывать».
Если у вас на машине стрелочка показывает, что у вас осталась половина бака, то у вас точно осталась половина бака? На самом деле больше, так как современные машины врут и топлива еще немного есть, даже когда стрелка на нуле - забота об альтернативно одаренных водителях. А если сервер показывает 50% cpu, то сколько ресурсов у нас осталось?
Для многих ответ ясен, и это не 50%. Поэтому извините, если многие вещи будут вам очевидны. А вот для менеджеров, например, которые планируют ресурсы, это может быть открытием.
Этой статьей мы начинаем цикл, посвященный различным настройкам по оперативной памяти в PostgreSQL. Тема непростая, даже сложная. Понятной информации по ней крайне мало (по состоянию на октябрь 2024). Поэтому будем разбираться, шаг за шагом, вдумчиво и, как принято у нас в блоге, подкреплять все выводы исследованиями и картиной из программы мониторинга PERFEXPERT (версия для PG).
Приветствую всех любителей математики и больших простых чисел, а особенно - интересующихся, но ещё не погрузившихся в эту тему.
Пару недель назад было найдено очередное простое число Мерсенна - и я, пользуясь тем, что это событие подогрело интерес к проектам распределённым вычислений, хочу рассказать вам подробнее, что из себя представляет Great Internet Mersenne Prime Search. И, конечно же, по возможности, убедить присоединиться.