Это связано с реализацией алгоритма случайного леса в R,
он раскладывает датасет на все комбинации, а их число 2^N,
очевидно, что с ростом N вычислительная сложность слишком велика,
поэтому и введено данное ограничение.
У Xgboost есть обертка под R. А сия реализация идей Фридмана плюс десяток эвристик — это лучшее, что существует на сегодняшний день. Раз уж вы на Kaggle ссылаетесь.
Лучшие пакеты для машинного обучения в R, часть 2