Метрики качества ранжирования

Логика есть, главное ее найти. Может дело в многозначности значений?
А так, во всех метриках в этой статье подразумевается их усреднение по пользователям, за счет чего влияние небольшого числа «нелогичных» пользователей мало заметно.
P.S. Сервис — tumblr? :)

Рекомендации на потоке

Добавлю, что для каждого item мы храним не все его пары, а лишь K самых частых. Таким образом количество хранимых пар ограничено K*(# of items).

Как уменьшить количество измерений и извлечь из этого пользу

Имеется в виду доля объясненной дисперсии (explained variance).