Отличная статья, спасибо!
Есть какие-то рекомендации по конвертации нейросетей с кастомными слоями? Ну, кроме короткого ответа «это больно». В частности вопрос про ковертацию детекторов, в которых есть NMS или Deformable Convolution.
Статья — огонь! Спасибо!
С безопасностью примерно ясно. А что с задачей know your customer? Условно: идентификация покупателя в магазине, чтобы сопоставлять его хэш-код лица и покупки. Кажется, что требования куда менее жесткие: можно повесить свою классную камеру, в конкретном магазе иметь небольшую локальную базу лиц. Тем не менее, не слышно про успешно реализованные кейсы. В чем тут могут быть сложности?
Задачу поставило комьюнити IEEE, которое занимается обработкой сигналов. Зачем им это нужно — не пояснили. Но зато теперь понятно, что нейросети могут вытаскивать очень низкоуровневые фичи, если подобрать таргет и собрать много данных. Также, если пофантазировать, то теперь можно пробовать сделать style-transfer с Samsung'a на iPhone или с мобилы на зеркалку.
Вовсе нет. Статья как раз про то, как получить сильную одну модель, которая сама по себе показывает выдающийся сингл перфоманс. Если отладить процесс обучения, то поддерживать его не надо. Snapshot Ensembling можно заменить на усреднение весов.
Единственное, что не применимо для нагруженного прода в чистом виде — ТТА. Но опять же есть ситуации, когда нужно получить максимальное качество, а будет считать 1 секунду или 10 — не важно (медицина, оффлайн обработка изображений).
Я склеил по двум причинам: так удобней сэмплировать и эта небольшая аугментация данных. Резакие границы почти никак не влияют из-за природы данных и аугментаций с блюром и шарпом.
OOF == Out of Fold. Это предсказания модели на части датасета, которая не использовалась при обучении.
Выглядит как маркейтинг. Где графики, где бенчмарки, где точные цифры?
Сплошные «CNTK в целом работает быстрее, чем TensorFlow» и «Точность выше». Где пример как «всего несколько строк кода» распараллеливает обучение на 4 видюхи?
Если честно, я не понял вопрос. Если хочется разобраться в машинном обучении и глубоком обучении, то лучше всего просто взять и начать решать какие-то задачи, разбираясь с непонятными вещами по ходу. Либо из реальной жизни (если работа позволяет), либо решая конкурсы по тематике. Сейчас, кстати, на кэггле куча годных конкурсов разной степени сложности и мы скоро запустим конкурсе по рекомендациям. Если вопрос про язык программирования, то для глубокого обучения единственный выбор, на мой взгляд, это python. В питоне для решения задачи классификации текстур по изображению (если я правильно понял вопрос) легче всего будет вникнуть в keras (для DL), skimage/PIL (для работы с картинками), matplotlib (для визуализации), ну и без numpy/scipy никуда.
В изменении размера на и 1% и на 50% нет ничего ужасного, на мой взгляд, если использовать подходящую интерполяцию. Ужас начинается, когда увеличивают в 5+ раз. А про представление изображения я не понял. Оно и так по сути является набором точек и в нейросеть подается в виде матрицы размером (n_channels, weight, height). В чем идея?
У меня сложилось впечатление, что Dstl не рассчитывает всерьез применять эти алгоритмы, чтобы наводить ракеты на Нигерию. Я лично не хотел бы заниматься этой деятельностью, поскольку у нее есть двойное применение. Также, к сожалению, мы не можем выложить полный код своего решения, поскольку это одно из условий получения приза. Однако, Сергей выложил мой исправленный и доработанный кернел. Он уже решает задачу end-to-end, и если собрать все трюки с форума, то заинтересованная компания может довольно быстро получить State of the art на своих данных.
Есть какие-то рекомендации по конвертации нейросетей с кастомными слоями? Ну, кроме короткого ответа «это больно». В частности вопрос про ковертацию детекторов, в которых есть NMS или Deformable Convolution.
С безопасностью примерно ясно. А что с задачей know your customer? Условно: идентификация покупателя в магазине, чтобы сопоставлять его хэш-код лица и покупки. Кажется, что требования куда менее жесткие: можно повесить свою классную камеру, в конкретном магазе иметь небольшую локальную базу лиц. Тем не менее, не слышно про успешно реализованные кейсы. В чем тут могут быть сложности?
Единственное, что не применимо для нагруженного прода в чистом виде — ТТА. Но опять же есть ситуации, когда нужно получить максимальное качество, а будет считать 1 секунду или 10 — не важно (медицина, оффлайн обработка изображений).
лучшая single модель без TTA — 0.9294
финальный ансамбль — 0.93378
топ1 — 0.93448
Про каждый прием не скажу, увы
OOF == Out of Fold. Это предсказания модели на части датасета, которая не использовалась при обучении.
Сплошные «CNTK в целом работает быстрее, чем TensorFlow» и «Точность выше». Где пример как «всего несколько строк кода» распараллеливает обучение на 4 видюхи?