Кстати... идея с нелинейным преобразованием пространства вместо обычного поворота интересная... Уверен, что каскад тут справится, но нужно посмотреть. Это можно попробовать. Спасибо
Получилось хорошо. Твоя нейросеть уверенно взяла последний раунд! Я решил протестировать её более тщательно с разным количеством эпох - 50, 100, 150, 200. Однако мне пришлось у себя закомментировать строчку "model = torch.compile(...", triton у меня не установлен. Поэтому работало медленнее чем у тебя... возможно и железо у меня слабее. Но я снял такие показатели, какие получились, поскольку PHC исполняю в этих же условиях.
Результаты KionX_net vs PHC
И нейросеть KionX_net победила ) Хотя все что меньше 0.04... там уже картинка почти идеальная... Нужно будет в статье сделать update...
Так задача в том, чтобы аппроксимировать сложную функцию от двух признаков, двух столбцов в таблице (если пока не рассматриваем поворот). Но алгоритм не знает от каких. И в процессе обучения он должен их найти. А при тестировании нельзя в тестовом множестве эти два столбца трогать, переставлять с другими, иначе это как обман модели по отношению к тому чему её учили ).. Но вот другие признаки, шумовые, - их можно (и нужно) сгенерировать совсем по новому. Если правильно модель обучилась, то она должна их проигнорировать
Это просто веселая статья, а не полноценное исследование. Но код открыт и всё, что в ней изложено, можно повторить. В одной из публикаций, на которую дана ссылка есть более полноценные исследования на известных бенчмарках. Код по ним тоже на github выложен. Математика подробно описана. Независимых исследований метода я пока не встречал (от публикаций на arXIv прошло лишь несколько месяцев) и это как раз то, что мне бы очень хотелось увидеть
На иллюстрации r7 и r19 были выбраны просто для примера. В реальности они перемешиваются случайным образом но с одинаковым seed, чтобы была повторяемость и разные алгоритмы были в полностью одинаковых условиях. На счет изображения верно, - его можно поменять и результаты изменятся. Я пробовал с другими но похожими изображениями, результаты численно были другие, но общая картина была схожей. Но... поскольку в качестве изображения можно подать всё что угодно... не берусь судить, что может произойти в каждом конкретном случае)
Кстати... идея с нелинейным преобразованием пространства вместо обычного поворота интересная... Уверен, что каскад тут справится, но нужно посмотреть. Это можно попробовать. Спасибо
Градиентные бустинги? Хороши, но... осе-зависимы. Умирают при повороте пространства (впрочем, как и деревья). Недавно тестировал их тоже: Поиск черной кошки в 2000-мерной темной комнате. Турнир алгоритмов машинного обучения / Хабр
Получилось хорошо. Твоя нейросеть уверенно взяла последний раунд! Я решил протестировать её более тщательно с разным количеством эпох - 50, 100, 150, 200. Однако мне пришлось у себя закомментировать строчку "model = torch.compile(...", triton у меня не установлен. Поэтому работало медленнее чем у тебя... возможно и железо у меня слабее. Но я снял такие показатели, какие получились, поскольку PHC исполняю в этих же условиях.
И нейросеть KionX_net победила ) Хотя все что меньше 0.04... там уже картинка почти идеальная... Нужно будет в статье сделать update...
Так задача в том, чтобы аппроксимировать сложную функцию от двух признаков, двух столбцов в таблице (если пока не рассматриваем поворот). Но алгоритм не знает от каких. И в процессе обучения он должен их найти. А при тестировании нельзя в тестовом множестве эти два столбца трогать, переставлять с другими, иначе это как обман модели по отношению к тому чему её учили ).. Но вот другие признаки, шумовые, - их можно (и нужно) сгенерировать совсем по новому. Если правильно модель обучилась, то она должна их проигнорировать
Верно! Я забыл добавить в репозиторий файл test_utils.py Спасибо! Теперь добавил
Возник вопрос... но давай.. чтобы исключить любое непонимание или несоответствие... можно целиком весь 17_test_nnet3.py в новой версии? пожалуйста ;)
Очень интересно. Можно увидеть код?
Это просто веселая статья, а не полноценное исследование. Но код открыт и всё, что в ней изложено, можно повторить. В одной из публикаций, на которую дана ссылка есть более полноценные исследования на известных бенчмарках. Код по ним тоже на github выложен. Математика подробно описана. Независимых исследований метода я пока не встречал (от публикаций на arXIv прошло лишь несколько месяцев) и это как раз то, что мне бы очень хотелось увидеть
Не буду отрицать. Некоторые элементы в статье, намеренная провокация)
Статья, о которой я в предыдущем сообщении упоминал, теперь готова: Поиск черной кошки в 2000-мерной темной комнате. Турнир алгоритмов машинного обучения / Хабр
На иллюстрации r7 и r19 были выбраны просто для примера. В реальности они перемешиваются случайным образом но с одинаковым seed, чтобы была повторяемость и разные алгоритмы были в полностью одинаковых условиях. На счет изображения верно, - его можно поменять и результаты изменятся. Я пробовал с другими но похожими изображениями, результаты численно были другие, но общая картина была схожей. Но... поскольку в качестве изображения можно подать всё что угодно... не берусь судить, что может произойти в каждом конкретном случае)
Глубокое обучение без градиентного спуска? Могу предложить "полигармонический каскад". Сейчас работаю над публикацией для Хабра, чтобы нагляднее и понятнее показать его сравнение с десятком других методов. А так.. ссылки на статьи и код ест тут: xolod7/polyharmonic-cascade: Code that reproduces experiments from a scientific paper
Хм.. а если наблюдатель страдает амнезией? Сделал измерение, а потом забыл что измерил. Волновая функция восстановится?