Не доверяйте информации о памяти в Диспетчере задач

https://mahdytech.com/2019/01/05/task-manager-memory-info/
  • Перевод
За много лет использования Windows я привык к Диспетчеру задач. Оттуда я убил сотни приложений за плохое поведение. Там же смотрел, кто из них пожирает ресурсы. Пока я не начал работать с машинами, у которых сотни гигабайт памяти, а у приложений соответствующие запросы. В этой статье обсудим, почему Диспетчер задач плохо отслеживает память и что использовать взамен. Во-первых, о механизме выделения памяти в Windows.

tl;dr: Диспетчер задач скрывает информацию о подкачке (paged memory) и виртуальном пространстве процесса. Лучше используйте Process Explorer из комплекта Sysinternals.

Выделение памяти в Windows


При запуске нового процесса ОС присваивает этому процессу непрерывное адресное пространство. В 32-разрядных системах это пространство может составить 4 ГБ, обычно 2 ГБ для ядра, а остальное для процесса. В этой статье проигнорируем использование памяти ядром. В 64-разрядных системах зарезервированная процессом память может вырасти до колоссальных 64 ТБ. Что этот процесс будет делать с несколькими терабайтами памяти, когда у нас на самом деле жалкие 8 ГБ? Сначала нужно понять, что такое зарезервированная и переданная память.

Зарезервированная и переданная память


Не все части этого огромного адресного пространства равны. Некоторые части адресного пространства процесса фактически поддерживаются либо физической оперативной памятью, либо диском (см. ниже). Зарезервированная память считается переданной (Committed), если ОС предлагает вам эту память при попытке её использовать. Остальная часть адресного пространства, а это подавляющее большинство, остаётся доступным для резервирования. То есть не всегда ОС может предложить вам этот блок памяти для использования: она может сделать копию на диске (файл подкачки), например, а может и не сделать. В C++ резервирование памяти осуществляется вызовом VirtualAlloc. Так что переданная память является аппаратно ограниченным ресурсом в ОС. Давайте посмотрим.

Файл подкачки ОС


Файл подкачки — замечательная идея. В принципе, ОС понимает, что некоторые части памяти особо не используются вашим приложением. Зачем тратить на него реальную физическую память? Вместо этого процесс в ядре записывает этот неиспользуемый фрагмент на диск. Пока к нему не обратятся снова, только тогда он вернётся в память.

Для более подробного объяснения, как работает память в Windows, рекомендую лекцию «Тайны управления памятью» Марка Руссиновича.

Отслеживание памяти


Здесь много за чем нужно следить и анализировать. К кому обратиться? Конечно, к Диспетчеру задач!

Память в RAM обычно называют рабочим набором (Working Set), в то время как всю выделенную память обычно именуют Private Bytes. Библиотеки DLL вносят путаницу в определения, поэтому пока их проигнорируем. Иначе говоря:

Private Bytes [выделенная память] = рабочий набор + файл подкачки

По умолчанию Диспетчер задач показывает для любого процесса именно рабочий набор:



И это число, на которое я всё время смотрел. Откуда я знал, что в Диспетчере задач информация о переданной памяти находится в колонке Commit Size. Я так и не смог там найти информацию о виртуальной памяти.


Диспетчер задач позволяет добавить информацию о переданной памяти, если щёлкнуть правой кнопкой мыши по столбцам и выбрать соответствующий пункт

Эффективные метрики памяти


К счастью, есть много других ресурсов для отслеживания ресурсов. На каждой машине под Windows установлен PerfMon (Системный монитор), который выдаёт очень подробную информацию о каждом процессе и системе в целом:



Интересно, что Системный монитор умеет фактически исследовать и сравнивать метрики на двух или более компьютерах в сети. Это очень мощный инструмент, но Диспетчер задач, очевидно, удобнее для пользователей. В качестве промежуточного решения рекомендую Process Explorer:



Бум! Visual Studio, чего это ты до сих пор в 32-битном режиме (обратите внимание на его Virtual Size)? Пиковое использование памяти на моём компьютере на уровне 89% от максимума, ещё терпимо. Это пригодится позже.

Дополнение: многие указали на другие удобные инструменты, в том числе VMMap и RAMMap.

Отладка по информации о памяти


К счастью, это не какие-то ненужные мелочи ОС. Актуальная информация о потреблении памяти многократно помогала мне в отладке разных проблем.

Самое главное, это найти нетронутые части выделенной памяти. Данные о подкачке тоже важны: эта память передана, но используется редко или вообще не используется.

Даже если память будет иногда использоваться, важно понимать, что это дорогой ресурс, так что идти по такому пути ни в коем случае нельзя. Здесь появятся и утечки памяти.

По этим причинам я ранее слышал предложение полностью удалить файл подкачки и приравнять выделенную память рабочему набору. Однако это обоюдоострая идея. Тогда ОС не в состоянии сбросить память в случае неправильной работы приложений, которые иногда впустую резервируют память.
Поделиться публикацией

Похожие публикации

Комментарии 37

    +8
    tl;dr: Автор не освоил даже диспетчер задач и решил, что process explorer его спасет.
      +4
      При этом, автор считает, что при удалении файла подкачки Private Working Set будет равен Commit Size, что неверно хотя бы потому, что отмапленные в память EXE и DLL файлы сразу будут занимать весь Commit Size, но подкачиваться в Working Set при необходимости, удаление pagefile на это не влияет. Подкачка исполнимых файлов запрещается другим способом.
      +4
      Я дико извиняюсь, и да, я вижу, что это перевод, но эта тема уже освещалась довольно подробно хабраюзером amirul
      habr.com/post/107605
        0
        К примеру той статьи я не видел, мне лично полезной оказалась эта, прошло 8 лет.
        Что тогда с автором предложите делать?
          0
          Просто в той статье уже всё довольно подробно разобрано до базовых принципов понятным русским языком. За 8 лет в Memory managmentе windows NT ничего из того что затронуто в этом переводе.
          А так можно дайти что каждые 5 лет кто-то заново будет открывать для себя windows internals Руссиновича и постить «открытия» сюда.
            0
            Вопрос переноса свопфайла на RАМ диск в той статье затронут очень вскользь. Разве для жадного до памяти (частые вылеты по нехватке) 32 бит(!) приложения, работающего в среде Win10 x64 на 64 ГБ ОЗУ, нет смысла выделить кусок памяти (выше выделенных 4 ГБ), невидимой именно такими приложениями, с целью помещения туда своп файла, куда эти приложения однозначно и активно будут при работе вытесняться? (им же не все из адресуемых в 32 бит 4 ГБ положены — часть ведь «под ядро» так и выделяется, как издавна повелось...)
        +1
        Private Bytes [выделенная память] = рабочий набор + файл подкачки
        Запустил Process Explorer. Практически у всех процессов Private Bytes меньше рабочего набора. Видимо файл подкачки отрицательный.
          0
          не знаю, почему автор поместил файл подкачки в эту формулу. privates bytes вычитает из working set память, которая совместно используется несколькими приложениями. например, любое win32 приложение использует ntdll.dll. его в private bytes не будет.
          +2
          Process Explorer не может выделить кликом мышки с shift несколько процессов.
          И еще много не очень удобных вещей.
          Потому полностью перешел на

          processhacker.sourceforge.io
            –2
            он давненько не обновлялся
              0
              там есть ссылка на гитхаб, на котором есть ссылка на офф. ночные сборки (не знаю есть ли в них плагины).
              + на forum.ru-board.com юзер с ником Victor_VG тоже выкладывает свои сборки (туда и плагины входят).
            –3
            У Task Manager совсем иная задача — он показывает зрителю очень важный экран очень важного компьютера. Task Manager, раскрытый на весь экран, убедительно формирует антураж напряжённой атмосферы комнаты допроса или бункера командного пункта управления ответным ядерным ударом.
              0
              То есть для имитации бурной деятельности перед начальством? Да не особо оно подходит. Раньше для этого использовали tail -f /var/log/squid/access.log или что-то подобное.
                0
                Скорее, перед режиссёром ) Первый раз увидел Task Manager во всей красе в «документальном» фильме REN-TV о ядерном щите, второй — в сериале с Охлобыстиным (не вспомню сейчас название, производство Star Media), в обоих случаях экрану с TM уделена масса операторского времени, хотя увязать линии расхода RAM и нагрузки CPU с сюжетом невозможно.
                  +2
                  Не удержался и повторю один свой коммент:
                  image
              +1
              В C++ резервирование памяти осуществляется вызовом VirtualAlloc.
              Непонятно, причем здесь язык C++. Разве в C это работает как то иначе?
                0
                А как увидеть память, выделенную драйвером RAM-диска? Что-то даже process explorer не показывает, либо я не нашёл.
                  0
                  Подскажите?
                  В таскменеджере можно увидеть сколько РЕАЛЬНО доступно оперативной памяти?

                  У меня ноутбук с процессором интел и 8ГБ оперативы, но если использование памяти приближается к отметке 6,5-7ГБ, начинают крошиться приложения и вкладки хрома.
                  Я так понимаю видеокарта втихаря зажала 1гиг оперативы, а система молчит?
                    0
                    Видеокарта ничего не жрала втихаря, можно посмотреть максимально доступное количество памяти через Control Panel\System and Security\System или во вкладке Performance -> Memory в Task Manager. И там, и там написано большее число — installed memory и меньшее — usable memory.
                    Вообще, это странно что прям приложения крешатся (вкладки хрома бывало, да). Давно такого поведения не наблюдал, может замедлиться при выделении дополнительной виртуальной памяти. Посмотрите, что у вас стоит в настройках файла подкачки (Control Panel\System and Security\System -> Advanced System Settings -> Performance -> Settings -> Advanced -> Virtual Memory).
                      0
                      В том и дело, когда во вкладке таск менеджера доступной памяти около 1гиг остается, то начинаются чудеса, вебпак к примеру честно ругается на память.

                      Файл подкачки стоял до 8гиг, сейчас поставил по выбору системы.
                      0
                      Focushift, так, а файл подкачки вы используете? Почему что-то крошится? Если тормозит, то понятно.
                        0
                        Файл подкачки увеличил. Посмотрю что будет.
                          0
                          Увеличил файл подкачки с макс 8гиг, на по выбору системы.
                          Все стало норм, но странно что сам файл сейчас меньше 8гб и все работает.
                            0
                            Лучше указать файл подкачки вручную и индивидуально для имеющихся условий. У меня, например, памяти много (16 ГБт), но из-за частого использования виртуальных машин и браузера с 20-30 открытыми вкладками (который нынче жрёт память очень сильно) этой памяти, почему-то не хватает и начинает расти файл подкачки. Поэтому, я выставляю ему начальный размер 3 ГБт, а конечный 16 ГБт. Таким образом, он не занимает лишнее место, не очень сильно фрагментируется из-за указанного начального размера и если что, ему есть куда расти.
                              0
                              Не советуйте плохого, пожалуйста.
                              Мы все знаем, что Microsoft это такие ребята, которые всё делают не так, но я предпочитаю иметь веские аргументы для отключения того или иного функционала.

                              Раньше, возможно, приходилось ограничивать файл подкачки вручную, если места было мало. А некоторые, наоборот, делали несколько файлов подкачки на разных дисках.
                              Был еще очень специфичный сценарий, когда винда автоматически выбирала размер исходя из «объем памяти*1.5» и на серверах с 32-64 Гб RAM это было как бы… очень дофига. У меня на ноуте 16Гб RAM, файл подкачки сейчас — 11Гб. Почему такой — ну как бы всё равно, системе виднее. Ничего не падает и не тормозит.
                                0
                                У меня на ноуте 16Гб RAM, файл подкачки сейчас — 11Гб. Почему такой — ну как бы всё равно, системе виднее. Ничего не падает и не тормозит.
                                У меня на ноуте сейчас 16 гб оперативки. Файл подкачки отключен. Ничего не падает и не тормозит уже пару лет.
                                Но нагрузки не такие серьезные, в среднем 8 гб занято. И понимаю, что делаю)
                                  0
                                  ggreminder, объясните, в чём ошибочность моего совета.
                                    0
                                    В том, что я, предполагая какую-то жесткую установку, попросил попробовать установить на «авто» и посмотреть что получится, а вы, напротив, пытаетесь зачем-то уйти от «авто» и поставить жесткие рамки.
                                    Если есть утечка памяти (что само по себе безусловно плохо), то «авто» будет увеличивать файл подкачки постоянно и по характерному замедлению пользователь может среагировать, вычислить плохое приложение.
                                    Если будет жесткий лимит, то падать будет не обязательно именно то приложение, которое течёт по памяти, а то, которое спросило больше памяти, чем доступно для выделения.
                                    Поэтому я повторяюсь: жесткие лимиты зло, если только вы совершенно точно не представляете для чего и как вы делаете. Ваш совет, я цитирую «Лучше указать файл подкачки вручную и индивидуально для имеющихся условий» не подойдет для пользователей, поскольку предполагает знания, которых может не быть. Настройка «авто» сработает всегда. В худшем случае, съест больше места.
                                      0
                                      ggreminder, в целом я согласен с вами, но вариант «авто» идёт по-умолчанию. Следовательно, если этот параметр менялся, значит пользователь предполагает, что знает, что делает (а как уж там на самом деле, это другой вопрос). А утечка памяти дело очень редкое. У меня такое было только один раз за ~15 лет и ~50 ПК, с которыми я имел дело. И кстати, по росту файла подкачки можно примерно определить сколько ОС требуется памяти, а дальше делать выводы. А если нижний размер фиксирован ОС, то тут становится сложнее, т.е. размер может быть 8 ГБт, а ОС регулярно использует на 4 ГБт.
                                  0
                                  Так у меня 8гб оперативы, и файл подкачки был такого же размера и все было плохо.
                                    0
                                    Focushift, значит, для вашей ситуации оптимальный вариант по выбору системы. А раньше какой диапазон был выбран для файла подкачки (вы указали только верхнюю границу)? И теперь он до каких объёмов вырастает или выше установленного системой не растёт?
                                      0
                                      Раньше от 2 до 8гб
                                        0
                                        Focushift, а до какого размер он раньше увеличивался?
                                          0
                                          Не смотрел, я только сейчас смотрел что он максимум был 7 гб.
                              0
                              А давайте начнем с простых вопросов: лучше всего модельку ноута, видео встроенное и дискретное или только встроенное, версия ОС?
                              0
                              System Explorer отображает древо процессов с отображением использованного объема ОЗУ и подкачки, параметры запуска, использование ЦПУ, ошибки страничного обмена, лог действий системы и приложений и много других полезностей
                                –1
                                Кстати заметил что виндовый таск-менеджер не показывает реально используемую память (монитор ресурсов тоже). Наткнулся на то, что я.музыка съела около 10GB памяти, хотя везде отображалось что занимает она около 200мб. Обнаружил это только после того, как увидел что занято 16 из 16GB, и начал по очереди убивать все процессы. Как дошел до я.музыки — сразу освободилось около 10GB.

                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                Самое читаемое