Comments 8
Сеть №1: 20-22-1А почему были выбраны именно такие параметры сети? Например разница между 20-26-1 и 20-27-1 практически отсутствует (по идее). Почему не 20-120-1, почему бы не увеличить число hidden layers?
Сеть №2: 20-26-1
Сеть №3: 20-27-1
Сеть №4: 20-16-1
Также было бы интересно посмотреть на learning curve для вашей системы.
Заранее извиняюсь за возможные ошибки, я не особенно в теме.
+1
Поддерживаю. Очень странно увидеть только двуслойные сети, есть ли этому какое-нибудь обоснование?
0
Скорее всего, это обычная однослойная нейросеть: варьируется число нейронов скрытого слоя, входных элементов как было 20 — так 20 и осталось. Вроде ничего странного — универсальный аппроксиматор просто делает свое дело.
Вот чтото глубокое, для такой низкоразмерной задачи — действительно было бы очень странно увидеть :)
Вот чтото глубокое, для такой низкоразмерной задачи — действительно было бы очень странно увидеть :)
0
531 наблюдение * 70% обучающей выборки * 21 поле данных = 7806 датапоинтов. 20 * 27 + 27 = 567 синаптических связей максимум, 20 * 16 + 16 = 336 минимум. В принципе нормально. Но я бы выбрал архитектуру примерно 20-8-3-1.
+1
В случае серьезных изменений на объекте сеть необходимо переобучить.
Вообще, как мне кажется, для постоянного использования сети, ее нужно постоянно обучать. Во-первых, это со временем добавит точности предсказаний, а во-вторых, сгладит ошибки на новых данных.
Еще, как выше писали, поиграйтесь с количеством слоев и с количеством нейронов в скрытых слоях. Возможно, для вашего случая другие сети покажут меньшие ошибки.
0
Промазал комментарием. Активное обучение — выход, но надо данные собирать чаще (не всегда возможно на производстве).
Сложности возникнут только, если появятся новые переменные, которых не было во всех предыдущих данных.
Сложности возникнут только, если появятся новые переменные, которых не было во всех предыдущих данных.
0
Пока одни предлагают копать глубже (на 20 переменных), я бы предложил обратный ход:
А вы сравнивали точность работы нейросети с обычной линейной регрессией? На производственных данных она обычно работает очень хорошо. Достаточно хорошо, чтобы демотивировать специалистов по машинному обучению пытаться побить ее результат.
Еще один момент — сравнив результаты с линейной регрессией, может так получиться, что нейросеть хорошо работает в более густых областях данных, с значительными ошибками на границах их диапазонов. В то же время, линейная регрессия нормально работает «везде», но не так точно в центральной области, где и находятся нелинейности. Можно попробовать сшить две модели: одна работет внутри (нейросеть), другая снаружи.
И да, у вас не так много данных (common story) и не высокая размерность — использовать глубокие архитектуры здесь не имеет смысла, только оверфитить будете жестче. В то же время, можно попробовать другие методы: SVM, Random Forest, Gradient Boosting. Возможно они, будучи хорошо настроенными, улучшат реультаты нейросетей на 5-10% (но не стоит ждать чуда).
А вы сравнивали точность работы нейросети с обычной линейной регрессией? На производственных данных она обычно работает очень хорошо. Достаточно хорошо, чтобы демотивировать специалистов по машинному обучению пытаться побить ее результат.
Еще один момент — сравнив результаты с линейной регрессией, может так получиться, что нейросеть хорошо работает в более густых областях данных, с значительными ошибками на границах их диапазонов. В то же время, линейная регрессия нормально работает «везде», но не так точно в центральной области, где и находятся нелинейности. Можно попробовать сшить две модели: одна работет внутри (нейросеть), другая снаружи.
И да, у вас не так много данных (common story) и не высокая размерность — использовать глубокие архитектуры здесь не имеет смысла, только оверфитить будете жестче. В то же время, можно попробовать другие методы: SVM, Random Forest, Gradient Boosting. Возможно они, будучи хорошо настроенными, улучшат реультаты нейросетей на 5-10% (но не стоит ждать чуда).
+1
Sign up to leave a comment.
Система прогнозирования на базе нейронных сетей в промышленности