Подбор важности фич для k-nearest neighbors (ну или других гиперпараметров) спуском похожим на градиентный

[S_A]

Вы практически переизобрели metric learning.
http://contrib.scikit-learn.org/metric-learn/introduction.html

И у дерева и knn есть серьёзное отличие: параметрический или нет, метод.

Входная концепция, масштабировать по важности дерева мне понравилась, не делал так :)

[kraidiky]

Главное, что взять от дерева важности очень быстро получается. Простое дерево учится за считанные миллисекунды.