А можно ли упростить вашу KAN реализацию с тем, что бы число параметров было сопоставимым с SimpleConv, 8 layers? Что там с переобучением? Может из-за большого числа параметров банально быстро уходит в переобучение? Сделайте тесты хотя бы для CIFAR 100.
Хороший поинт, спасибо за предложение, попробую провести эксперимент и приложить результаты. По поводу переобучения - сейчас пачка экспериментов гоняется по поводу оверфита и регуляризаций в целом - но это уже будет отдельная статья
Могут ли KAN справляться с задачами компьютерного зрения?