На счет влияния "положительной" регуляризации действительно интересно. Чисто с точки зрения математики штраф за линейность должен приводить к усложнению "ландшафта" функции потерь толкая ее в локальные оптимумы, что не есть гуд. Оптимизация же на линейность наоборот заставляет модель оптимизировать траектории, заставляя ее сразу формировать генерализованные представления везде где только возможно (мб она таким образом как раз немного проскакивает этап формирования слишком больших внутренних размерностей и сразу учиться "думать" широкими абстракциями, по крайней мере во внутренних слоях), чтобы ее на выходе не сильно функция потерь дубиной по башке била :)
А вообще круто конечно, огромный респект за движение в сторону XAI в целом и ковыряние в таких монстрах как современные LLM в частности.
Про фМРТ прямо сильно понравилось. Интересный вопрос, будет ли латент формируемый из активаций нейронов одинаковым для меня и для Васи Пупкина из соседнего подъезда, и будет ли постоянным для каждого человека в течении жизни? Если да то надеюсь что в старости когда совсем ослепну можно будет себе вместо глаз стереокамеру повесить и ее сигналы напрямую в мозг декодить, круто)
На счет влияния "положительной" регуляризации действительно интересно. Чисто с точки зрения математики штраф за линейность должен приводить к усложнению "ландшафта" функции потерь толкая ее в локальные оптимумы, что не есть гуд. Оптимизация же на линейность наоборот заставляет модель оптимизировать траектории, заставляя ее сразу формировать генерализованные представления везде где только возможно (мб она таким образом как раз немного проскакивает этап формирования слишком больших внутренних размерностей и сразу учиться "думать" широкими абстракциями, по крайней мере во внутренних слоях), чтобы ее на выходе не сильно функция потерь дубиной по башке била :)
А вообще круто конечно, огромный респект за движение в сторону XAI в целом и ковыряние в таких монстрах как современные LLM в частности.
Про фМРТ прямо сильно понравилось. Интересный вопрос, будет ли латент формируемый из активаций нейронов одинаковым для меня и для Васи Пупкина из соседнего подъезда, и будет ли постоянным для каждого человека в течении жизни? Если да то надеюсь что в старости когда совсем ослепну можно будет себе вместо глаз стереокамеру повесить и ее сигналы напрямую в мозг декодить, круто)