Если говорить формально, то да. Под MLP я имел в виду классическую архитектуру. Но замечание верное.
"...просто с другой пороговой функцией."
Это слишком сильное упрощение. Архитектура меняет сам способ параметризации сети и по сути это принципиально другая организация вычислений.
"Никому пока что не удалось получить от KAN существенного преимущества в задаче языкового моделирования."
Примеров больших моделей нет, на небольших размерах тут в любую сторону спорить рано. При этом уже KAN нередко достигают сопоставимого качества при меньшем числе параметров или лучшего качества при том же параметрическом бюджете на ряде задач.
"Вычислительно всё дороже."
По скорости сейчас значительно сократили разрыв, на сегодняшиний день практически паритет. Кроме того, важно учитывать не только стоимость одного цикла обучения, но и стоимость жизненного цикла модели. Архитектура позволяет эффективнее дообучать новые домены без существенной деградации уже освоенных знаний. Поэтому даже, например, при несколько более дорогом обучении итоговая стоимость эксплуатации получается выходит ниже, чем у моделей, которые приходится регулярно переобучать целиком или использовать сложные методы борьбы с катастрофическим забыванием.
"Не ждите там каких-то чудес."
Не жду. Просто исследую и веду тесты на практике. Интерпретируемость KAN открывает интересные перспективы. Попробуйте сами, вам понравится. Или нет.
Использовал похожую идею. Только не разделял и потом объединял, а эранировал при ообучении новому домену. Ну или мы про одно и то же. Результаты 0 деградации выученного материала - это главная победа тут, а не скорость. Правда сеть так растет быстрее, но и тут есть выход... =) Про скорость читай ниже, х10 побеждается. Сейчас у меня +10% а не х10, по сравнению с MLP, просто не надо в лоб идти. Сейчас еще тестирую всякие адаптации под cuda-ядра, чтобы пользоваться магией GPU, может еще удаться выжать.
Тезис: у архитектуры есть бутылочное горлышко: KAN учится медленнее MLP примерно в 10 раз.
Ответ: это верно про наивную реализацию, но не про архитектуру — и разрыв закрывается стандартными средствами.
Да, «из коробки» KAN действительно медленнее: на стенде замерил ~3.6× на сплайн-слое, а для неоптимизированного KAT в литературе сообщают и до 123×. Но важно, откуда берётся это замедление. Прогнали профилировщик — и оказалось, что время уходит не на вычисления сети (главное умножение у KAN быстрое, FLOPs даже меньше, чем у MLP), а на подготовку и пересчёт базисных функций и их градиентов — то есть на трафик по памяти. Это memory-bound узкое место реализации, а не фундаментальное свойство.
А раз причина — беготня по памяти, лечится она дёшево. Двумя изменениями, без единой строчки кастомного CUDA-кода:
заменили «возведение в квадрат» на умножение (убрали самый дорогой шаг в backward — математически идентично, качество бит-в-бит);
включили автокомпилятор (torch.compile), который склеил мелкие операции в одно ядро.
Результат: сплайн-слой с ×3.6 сжался до ×1.1 относительно MLP, а обучение целиком вышло на паритет — при неизменном качестве (проверено на трёх сидах).
И это не только наш результат. Индустрия уже решила ту же проблему на масштабе: FlashKAT (AAAI 2026) нашёл, что тормоз KAT сидит в атомарных операциях backward, переписал ядро — и ускорил обучение в 86.5×, сократив разрыв с обычным трансформером со ~123× до ~1.4×. MatrixKAN даёт ~40× переписыванием рекурсии сплайна в матричную форму.
Вывод: «в 10 раз медленнее» — это описание конкретной наивной реализации, а не потолок архитектуры. Настоящее горлышко — память вокруг базиса, и оно снимается фьюзингом ядер. С ним KAN обучается практически вровень с MLP.
Сеньоры нужны не меньше остальных, вот только вы их не найдете. Да и мидлы на рынке одно название - это джуны, которые как-то отсидели годик-полтора и хотят больше денег, ни навыков ни головы там нет. С такой деградацией выход только растить кадры внутри с около нулевого старта и следить за мотивацией, чтобы на рынок не утек.
Браво. "Ну сделали на 1-3 позже ну и что". Прям сквозит и отношение к своему продукту и к работе и к заказчику. Спасибо что подкрепляете мою уверенность в том как работает современный IT и во что он превратился.
Когда думаешь, что оптимизация твоего кривого запроса это индексирование... А ведь можно было раскрыть тему и устроить настоящий холивар в комментах, а не этот невзрачный пук.
Я тоже гнул эту линию пока Стим не перестал брать мои деньги. Если мои кровные недостаточно хороши для Стима ну что же, я все равно запускаю игры через иконку на рабочем столе, так что пофиг какой там лаунчер.
У SuperSet коробочные графики не полноценные (а другие попробуй найди или уговори владельца платформы затащить их к вам). Разнообразие присутствует, которое по факту очень ситуативное, а вот базовые представления хромают. Только 1 график с колонками позволяет задать по оси x что-то отличное от датавремени. Визуально (шрифты итп) графики разного типа стилистически не однородны. Если у тебя ограничения в настройке стиля ждешь что он хотя бы сделан с умом. Если кто знает где есть библиотека графиков оставьте плз ссылки, попробую уговорить наше IT их к нам протащить.
Если говорить формально, то да. Под MLP я имел в виду классическую архитектуру. Но замечание верное.
Это слишком сильное упрощение. Архитектура меняет сам способ параметризации сети и по сути это принципиально другая организация вычислений.
Примеров больших моделей нет, на небольших размерах тут в любую сторону спорить рано. При этом уже KAN нередко достигают сопоставимого качества при меньшем числе параметров или лучшего качества при том же параметрическом бюджете на ряде задач.
По скорости сейчас значительно сократили разрыв, на сегодняшиний день практически паритет. Кроме того, важно учитывать не только стоимость одного цикла обучения, но и стоимость жизненного цикла модели. Архитектура позволяет эффективнее дообучать новые домены без существенной деградации уже освоенных знаний. Поэтому даже, например, при несколько более дорогом обучении итоговая стоимость эксплуатации получается выходит ниже, чем у моделей, которые приходится регулярно переобучать целиком или использовать сложные методы борьбы с катастрофическим забыванием.
Не жду. Просто исследую и веду тесты на практике. Интерпретируемость KAN открывает интересные перспективы. Попробуйте сами, вам понравится. Или нет.
Похоже на результат. Если на KAN перейдете вообще шляпу сниму. MLA полумеры т.к. вы заложники MLP.
Использовал похожую идею. Только не разделял и потом объединял, а эранировал при ообучении новому домену. Ну или мы про одно и то же. Результаты 0 деградации выученного материала - это главная победа тут, а не скорость. Правда сеть так растет быстрее, но и тут есть выход... =) Про скорость читай ниже, х10 побеждается. Сейчас у меня +10% а не х10, по сравнению с MLP, просто не надо в лоб идти. Сейчас еще тестирую всякие адаптации под cuda-ядра, чтобы пользоваться магией GPU, может еще удаться выжать.
Тезис: у архитектуры есть бутылочное горлышко: KAN учится медленнее MLP примерно в 10 раз.
Ответ: это верно про наивную реализацию, но не про архитектуру — и разрыв закрывается стандартными средствами.
Да, «из коробки» KAN действительно медленнее: на стенде замерил ~3.6× на сплайн-слое, а для неоптимизированного KAT в литературе сообщают и до 123×. Но важно, откуда берётся это замедление. Прогнали профилировщик — и оказалось, что время уходит не на вычисления сети (главное умножение у KAN быстрое, FLOPs даже меньше, чем у MLP), а на подготовку и пересчёт базисных функций и их градиентов — то есть на трафик по памяти. Это memory-bound узкое место реализации, а не фундаментальное свойство.
А раз причина — беготня по памяти, лечится она дёшево. Двумя изменениями, без единой строчки кастомного CUDA-кода:
заменили «возведение в квадрат» на умножение (убрали самый дорогой шаг в backward — математически идентично, качество бит-в-бит);
включили автокомпилятор (torch.compile), который склеил мелкие операции в одно ядро.
Результат: сплайн-слой с ×3.6 сжался до ×1.1 относительно MLP, а обучение целиком вышло на паритет — при неизменном качестве (проверено на трёх сидах).
И это не только наш результат. Индустрия уже решила ту же проблему на масштабе: FlashKAT (AAAI 2026) нашёл, что тормоз KAT сидит в атомарных операциях backward, переписал ядро — и ускорил обучение в 86.5×, сократив разрыв с обычным трансформером со ~123× до ~1.4×. MatrixKAN даёт ~40× переписыванием рекурсии сплайна в матричную форму.
Вывод: «в 10 раз медленнее» — это описание конкретной наивной реализации, а не потолок архитектуры. Настоящее горлышко — память вокруг базиса, и оно снимается фьюзингом ядер. С ним KAN обучается практически вровень с MLP.
Сеньоры нужны не меньше остальных, вот только вы их не найдете. Да и мидлы на рынке одно название - это джуны, которые как-то отсидели годик-полтора и хотят больше денег, ни навыков ни головы там нет. С такой деградацией выход только растить кадры внутри с около нулевого старта и следить за мотивацией, чтобы на рынок не утек.
Браво. "Ну сделали на 1-3 позже ну и что". Прям сквозит и отношение к своему продукту и к работе и к заказчику. Спасибо что подкрепляете мою уверенность в том как работает современный IT и во что он превратился.
right join придумали геи, для заданий на собеседовании.
Когда думаешь, что оптимизация твоего кривого запроса это индексирование... А ведь можно было раскрыть тему и устроить настоящий холивар в комментах, а не этот невзрачный пук.
Я тоже гнул эту линию пока Стим не перестал брать мои деньги. Если мои кровные недостаточно хороши для Стима ну что же, я все равно запускаю игры через иконку на рабочем столе, так что пофиг какой там лаунчер.
У SuperSet коробочные графики не полноценные (а другие попробуй найди или уговори владельца платформы затащить их к вам). Разнообразие присутствует, которое по факту очень ситуативное, а вот базовые представления хромают. Только 1 график с колонками позволяет задать по оси x что-то отличное от датавремени. Визуально (шрифты итп) графики разного типа стилистически не однородны. Если у тебя ограничения в настройке стиля ждешь что он хотя бы сделан с умом. Если кто знает где есть библиотека графиков оставьте плз ссылки, попробую уговорить наше IT их к нам протащить.