Как стать автором
Обновить

Комментарии 6

Я бы не советовал использовать fastai. Авторы часто ломают обратную совместимость, а качество их кода порой оставляет желать лучшего. Каких-то особых преимуществ тоже нет. Всё равно для чего-то более-менее сложного придётся написать много кода, и тут fastai уже будет скорее мешать.

Для быстрого старта с PyTorch можно взять, например, pytorch-lightning и lightning-flash.

Полностью согласен. В нашей специфике (у нас табличные данные) - мы используем AutoKeras и AutoSklern. Для быстрого старта - нам очень помогло. Рекомендую.

НЛО прилетело и опубликовало эту надпись здесь

Добрый день, спасибо за комментарии. В данной статье проводился обзор инструмента. Попробуем сравнить Fast ai с другими библиотеками на примере задачи, приближенной к реальной.

Мне нравятся ваши статьи - для начинающих самое то. Но любите вы ввернуть что-то от себя! Откуда инфа, что низкий лернинг рейт - риск оверфита? Пруф есть?

Я не особо эксперт, но лернинг рейт это шаг уменьшения весов в сторону локального минимума. Если модель склонна к переобучению и локальный минимум по сути просто является выбросом - гипотетически может получится так, что чуть больший lr не даст ей переобучится. Но точно так же он не даст ей достичь и правильного локального минимума! Есть общепринятые методы борьбы с оверфитом: регуляризация, усреднение по минибатчу, аугментация… но lr подбирается под конеретную ситуацию и почти никогда не вредно сделать его еще меньше! Иногда на пару порядков (если можешь себе позволить долгое обучение и/или модель уже на этапе доводки, а не с рандомной инициализации стартует).

Вы же для новичков пишете! Они ж так и запомнят: низкий lr = оверфит = нельзя… не надо так.

Здравствуйте! Спасибо за комментарий и внимательность! На практике в задачах у меня сложилось такое представление – при значительном уменьшении параметра lr увеличивалась вероятность переобучения. Представление, возможно, ошибочное. Сомнительный момент исправлю.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории