Комментарии 4
Интересно, сколько человеко-часов ушло на MVPшку
честно говоря не считал человеко-часы. Могу сказать только что на действительно нужные вещи (концепция + софт) ушло не так уж много времени (около пары месяцев). Так как экспериментальная программа и сама работа были частью моей магистерской диссертации, большее количество времени пришлось слить на документацию и всякие условные вещи требуемые для защиты магистерской.
с автокодировщиками есть такая беда — высокий риск переобучения. В итоге на трейне все норм, а на валидации ошибка начинает нарастать с каждой эпохой. Как подбирали параметры? Какие ошибки восстановления использовали? Что нибудь кроме квадрата разницы может быть? Расскажите плиз больше про архитектуру вашего автоэнкодера и подбор параметров под задачу.
По поводу автокодировщика и его архитектуры, брали идею отсюда. Синхронный автокодировщик, он же в англоязычном варианте — LSTM autoencoder. Параметры из разряда размера окна, % аномальности и.т.д подбирали вручную прогоняя на тестовом датасете. Ошибку реконструкции — использовали MSE, что бы по другому определяли не находил. По поводу переобучения, была самая большая запара. Решали как описано тут (ссылка). Данный метод использования автокодировщика сильно зависит от специфики данных. По большому счету нам повезло и более менее успешное применение автокодировщика связанно с особенностями наших данных. Количество данных, регламент использования системы, особенности системы — все это повлияло на результат. Конечно стоит понимать, что не обошлось без небольших доработок и подгонок конкретно под наши данные, но там уж совсем специфично.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ищем аномалии и предсказываем сбои с помощью нейросетей