После прочтения книги товарища Таненбаума «Современные операционные системы» вот что осталось в моей памяти.
Ассоциативная память используется в буфере быстрого преобразования адреса TLB при страничной организации памяти (кажется, сейчас везде такая организация). Этот буфер представляет собой таблицу, в каждой строке которой хранится информация о странице. При обращении к памяти нужно преобразовать адрес, а следовательно, обратиться к таблице страниц, которая хранится в обычной памяти.
Засунув часть её в ассоциативную память (TLB) можно обращаться к элементу используя номер виртуальной страницы, не производя поиск по записям (поиск производится сразу по всем записям), что существенно увеличивает скорость работы.
Ассоциативная память