Не знаю, почему именно эта статья появилась у меня в ленте. Бросилась в глаза фраза "Обратились ко мне за помощью с неработающей душевой кабиной Albatros. Основной блок был залит водой" - казалось бы, почему? :)) Ушел под кат и зачитался.
Да, спасибо, статью видел. Там ровно эти три метода и рассматриваются. Ссылка под описанием Яху финанс "Попробовать таблицу" - битая, поэтому не смог понять, получилось ли у вас оттуда получить данные по российским компаниям (у меня - нет).
API Мосбиржи тоже очень долго все отдает, иногда просто виснет в режиме "загрузка". IMPORTHTML с yahoo finance почему-то российские акции грузить не хочет (NYSE - ок). У вас так же? GOOGLEFINANCE самый бодрый, но там нет привилегированных акций наших (
Вляпались туфелькой в повидло, с кем не бывает. Но это все тоже over-реакция. Надо уже взять себя в руки, а то даже только своими действиями имиджевый урон себе наносите.
Не очень понятно, можете привести практический пример такой задачи? Вот например демо DeepPavlov.ai, где решается другая задача, а именно нахождение ответов на заданные вопросы по приложенному тексту.
Насчет суждения эффективности по валидации — согласен. В идеале я бы и оставил все три датасета не смешивая их — train/val/test. Но исходный датасет включал только 16 изображений в папке val и в любом случае для валидации надо было что-то придумать. ZlodeiBaal указал на грубую ошибку с моей стороны — перемешивать train, val, test данные, разбивая их на train и validation было нельзя, т.к. в train попадаются по несколько изображений одного и того же человека. Таким образом система валидировалась на уже обученных данных, показывая неадекватные результаты. Можно было взять часть данных для валидации из test, но непонятно, насколько оставшаяся часть была бы генерализированной, т.к. подробного описания данных на kaggle нет. Авторы кернелов, с которыми я сравнивал свои результаты, в итоге просто поделили на train (включив туда и val) и валидировались на test, предъявляя результат как эффективность системы. Сейчас хотя бы яблоки сравниваем с яблоками.
Это все уже сделал — вообще на другой машине, т.е. результат воспроизводимый.
В этом и была изначальная гипотеза, что PyTorch + FastAI почти на дефолтных настройках дадут результат лучше, чем большинство стандартных решений.
С первой попытки у меня не вышло :) Но в итоге по сути подтвердилось.
Кстати, раз уж все равно потратили столько времени, сможете ли сориентировать, откуда fastai/PyTorch/TensorFlow может взять веса для модели, если я их точно стёр из стандартных папок? Или что еще (если не веса) может быть такого сохранено локально, что повлияет на результат обучения, если потом переобучать с нуля? Понятно, transfer learning вроде весов ImageNet здесь не учитываем.
Ради интереса, попробовал перенести val в test, обучаясь только на train. Результаты не ухудшились, что говорит о том, что val и test похоже не пересекаются и утечек данных не происходит. Вот confusion matrix:
По итогу хочу сказать вам огромное спасибо за потраченное время. Скорость обучения в такие моменты возрастает в разы )
Вы правы по всем пунктам. Снес все полностью, обучил заново. При этом модель обучалась на train и val, а валидировалась на test. При этом accuracy, precision и recall существенно снизились, но это все равно немного выше, чем например здесь.
Не совсем понял. У меня деление 80/20 идет только по папкам train и val. Папка test теперь ни в обучении, ни в валидации не участвует совсем никак — она полностью отделена. Это видно по логам. Каким образом у меня хоть кто-то может попасть из test в train?
Спасибо за ценное замечание, статью поправил :)
Давайте еще раз зафиксируем — проверять эффективность модели на результатах валидации некорректно. Действительно, перед тем, как начать, я зашел в 3-4 кернела и везде увидел что результат смотрят по валидации, поэтому сделал также.
Сейчас полностью отделил тестовую выборку и эффективность модели измеряю именно по ней. Тем не менее, результат все равно выше, чем указанные в начале таргеты.
Но если в последнем меме поменять надписи местами, будет тоже норм )
"скользкие жиробасы" - это 5! без GPT статью писали?
а это сработало у кого-то (настройка вручную)?
Не знаю, почему именно эта статья появилась у меня в ленте. Бросилась в глаза фраза "Обратились ко мне за помощью с неработающей душевой кабиной Albatros. Основной блок был залит водой" - казалось бы, почему? :)) Ушел под кат и зачитался.
Да, спасибо, статью видел. Там ровно эти три метода и рассматриваются. Ссылка под описанием Яху финанс "Попробовать таблицу" - битая, поэтому не смог понять, получилось ли у вас оттуда получить данные по российским компаниям (у меня - нет).
Спасибо за статью! Судя по моим экспериментам:
API Мосбиржи тоже очень долго все отдает, иногда просто виснет в режиме "загрузка". IMPORTHTML с yahoo finance почему-то российские акции грузить не хочет (NYSE - ок). У вас так же? GOOGLEFINANCE самый бодрый, но там нет привилегированных акций наших (
В этом и была изначальная гипотеза, что PyTorch + FastAI почти на дефолтных настройках дадут результат лучше, чем большинство стандартных решений.
С первой попытки у меня не вышло :) Но в итоге по сути подтвердилось.
Кстати, раз уж все равно потратили столько времени, сможете ли сориентировать, откуда fastai/PyTorch/TensorFlow может взять веса для модели, если я их точно стёр из стандартных папок? Или что еще (если не веса) может быть такого сохранено локально, что повлияет на результат обучения, если потом переобучать с нуля? Понятно, transfer learning вроде весов ImageNet здесь не учитываем.
По итогу хочу сказать вам огромное спасибо за потраченное время. Скорость обучения в такие моменты возрастает в разы )
Давайте еще раз зафиксируем — проверять эффективность модели на результатах валидации некорректно. Действительно, перед тем, как начать, я зашел в 3-4 кернела и везде увидел что результат смотрят по валидации, поэтому сделал также.
Сейчас полностью отделил тестовую выборку и эффективность модели измеряю именно по ней. Тем не менее, результат все равно выше, чем указанные в начале таргеты.