Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 7
Спасибо за статью, очень интересно!
Немного перекликается с моей темой, пытаюсь понять как именно LoRA-адаптация на замороженных весах перераспределяет знания LLM в сторону требуемых "привычек", как оптимизировать обучение и усилить этот процесс.
Вы показали как f стягивает точки к аттракторам и то, что вдали от данных поле сильнее (стрелки длиннее). У меня адаптация модели "протаптывает" путь к типичному для проекта/домена решению, а новые идеи получают меньший вес. Похоже, что это один и тот же эффект: чем ближе что-то к выученной норме, тем оно устойчивее, а нетипичное сносится в сторону привычного.
Спасибо, очень интересно. Если позволите, несколько замечаний.
Больше всего мне не ясно, почему вы решили, что ваша приозводня дифференцируема по координате. Но допустим. Тогда:
У нашей модели таких точек две, и обе есть наши аттракторы
Корректнее говорить всё-же про положение равновесия - это частный случай аттрактора, и не все аттаркторы - неподвижные точки.
При этом по картинке легко можно предположить, что положения равновесия минимум три. У вас два локально устойчивых положения равновесия (узлы или фокусы) со своими зонами притяжение. Граница зон притяжения - сепаратрисса, линия разграничения. Что происходит с точками на этой линии? Они могут убежать, но мы видим по картинке, что такого, скорее всего, не происходит - всё движение направлено к центру, нет траектрий наружу. Значит можно предположить наличие на линии разграничения седловой точки - неустойчивого положения равновесия, которое будет аттрактором для начальных условий на линии разграничения.
Любое утверждение вида «у модели стало столько аттракторов» осмысленно только при репорте также условий нахождения!
Простите, не могу согласиться. Число положений равновесия зависит от вашей функции скорости. А от условий нахождения зависит ваша способность их обнаружить.
Граница бассейнов достаточно резкая. То есть динамика не непрерывна по начальным условиям, что закономерно, исходя из постановки нашего шага h=1. Для динамических систем в простом случае такие границы валидные.
Линия разграничения всегда линия, разве нет? Это, вроде, никак не связано с выбром h и с “простотой” системы.
Здравствуйте! Спасибо за подробный фидбек! Со всем согласна, здесь мне было на деле сложно в процессе выявить оптимальный способ проинтерпретировать увиденное.
Про дифференцируемость. Тут у нас ReLU, то есть f кусочно-линейна и дифференцируема почти всюду, но да, тут не всюду — есть поверхности изломов.
Про аттракторы и положения равновесия — тут определения брала в терминах статьи. Быть может, корректнее, конечно, употребить именно "положения равновесия", как термин. Насчет количества именно, в тетради к туториалу есть пометка о чувствительности количества к pipeline поиска.
И рассждуние ваше сильно глубже моего! Надеюсь, оно поможет читателям попробовать погрузиться в работу.
Линия — не всегда линия, as i know про динамические системы. Она может быть и более сложной структуры, фрактальной в частности. Дискретность тут влияет именно на сложность границы, но вы правы, что не ею единой.
Спасибо ещё раз за уточнения!
Я допускаю, что в исходной статье есть неточности в терминологии; не каждая неподвижная точка аттрактор и не каждый аттрактор - неподвижная точка.
По поводу сепаратрисы - мне сложно с ходу представить фрактальное разделение для гладкой производной, но вдруг. Но я не понял, при чем тут дискретность - вы же смотрите на график для непрерывной системы?
P.S. седловая точка, кстати, вправду нашлась, так что точек равновесия будет минимум 3!
А от условий нахождения зависит ваша способность их обнаружить.
Получается, доказано совсем, спасибо ещё раз! Очень радуюсь пересмотру — я долго писала этот разбор и приятно видеть, что в нём ещё много нюансов на докопать))
У мало что понимаю в задачах классификации, но на основе статьи, я бы предположил, что те или иные аттрактивные инварианты должны быть в каждой цветной области. Но это не обязательно точки равновесия.
Если хотите развить исследование, то можно сделать так: берете точку в цветовом сегменте и на длительной эволюции проверяете, покинула ли она свой цветовой сегмент и не вернулась ли она в малую окрестность самой себя. Так можно попробовать нащупать более сложные инварианты, чем точки равновесия.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Автоэнкодер как динамическая система, латентное векторное поле, его аттракторы и другие красивые слова