Комментарии 9
так стабилизация (нужная и полезная вещь) или стилизация (веселая, но непонятно зачем нужная игрушка)?
Смотришь в хабр — видишь однокурсника :) :) :) сюрприз
Ожидал увидеть больше подробностей об организации прогонов сети в production. Сколько в итоге используется карт и какой модели? Какие платформы под это дело выбираются (хотя бы сколько GPU на процессор)?
Занимался недавно оптимизацией прогонов через Caffe для курсовой работы и пришел к выводу, что там творится непонятно что. Например, выяснил через Nvidia Visual Profiler, что часть параметров сети копируется в карту при каждом прогоне, и что копирования в память карты и обратно занимают столько же времени, сколько вычисления. Кажется, что все фреймворки заточены под фазу обучения, а про финальную производительность никто не морочился. Если кто-то готов поделиться такими подробностями использования карт в production, буду рад узнать подробности.
Занимался недавно оптимизацией прогонов через Caffe для курсовой работы и пришел к выводу, что там творится непонятно что. Например, выяснил через Nvidia Visual Profiler, что часть параметров сети копируется в карту при каждом прогоне, и что копирования в память карты и обратно занимают столько же времени, сколько вычисления. Кажется, что все фреймворки заточены под фазу обучения, а про финальную производительность никто не морочился. Если кто-то готов поделиться такими подробностями использования карт в production, буду рад узнать подробности.
Технические детали www.slideshare.net/Eduardyantov/artisto-app-highload-71242406 в аппендиксе с 60 слайда. Использовали торч, карты nvidia 1080, titanx, платформы micro под 4 карты.
torch, caffe, tensorflow хороши для инференса в проде. caffe считается самым быстрым, его еще можно ускорить если заюзать nvidia tensorrt
torch, caffe, tensorflow хороши для инференса в проде. caffe считается самым быстрым, его еще можно ускорить если заюзать nvidia tensorrt
Огромное спасибо за информацию! А как вы в серверные платформы ставили GeForce карты? Коллега рассказывал, что им приходилось перепаивать разъемы на картах, т.к. на GeForce они торчат вверх от PCI слота, а на Tesla (под которые точат платформы) они торчат назад. В общем, штекер часто упирается в корпус платформы.
И если не секрет, какие модели платформ вы использовали (может на них нет проблемы с разъемами питания)?
И если не секрет, какие модели платформ вы использовали (может на них нет проблемы с разъемами питания)?
"Поэтому, думаю, в ближайшие лет 5, уже можно будет заменять дорогостоящих специалистов, которых дорого и долго учить, и они еще ошибаются часто. Такая технология сможет заменить."
Не приведёт ли это к падению качества обучения самих сетей, как только специалистов, которые способны проконтролировать процесс обучения, будет мало?
У человека есть лимит в распознавании, если модель превышает его, то толку от человека больше нет, разметил выборку вначале и все. В принципе модели может быть достаточно слабых сигналов (что человек заболел через год раком, например), при большом кол-ве данных будет достаточно. Современный тренд использование unsupervised обучения, так что отсутствие специалистов, кажется, не проблемой.
Сам участвовал в конкурсах по распознаванию узи и томографии — человеческих ошибок там тьма, сеть явно лучше работает.
Сам участвовал в конкурсах по распознаванию узи и томографии — человеческих ошибок там тьма, сеть явно лучше работает.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Artisto: опыт запуска нейросетей в production