В этот весенний день наконец, настало время рассказать о самом зимнем проекте Нижегородского центра разработки Intel, демонстрирующем не только компетенции сотрудников подразделения, но и потенциал нашей страны. Точнее, её климатических особенностей. А еще точнее – российских зим. В результате выпадения в некоторые зимы килотонн снега, стоящее чуть в стороне от улиц здание Intel с прилегающими территориями буквально превращалось в большой сугроб. Это натолкнуло команду Центра на смелую мысль: продемонстрировать разрабатываемые ей технологии на примере автономной «беспилотной» снегоуборочной машины. Так родился уникальный проект SLONN (Snow Lab of Nizhny Novgorod) – робот-снегоуборщик. Шутку «Россия – родина Слонов», вы, наверняка, в названии разглядели, а далее у нас серьезный рассказ о проекте с уникальной функциональностью, включающей распознавание снеговиков.
Просим обратить внимание, что статья вышла 1 апреля.
Проработка концепции
На момент начала проекта до бума беспилотных авто и даже ADAS оставалось еще как минимум несколько лет, вычислительные ресурсы были существенно слабее, а беспроводная связь куда медленнее – 3G и ни одним G больше. Готовых решений для автономного транспортного средства еще тоже, естественно не существовало, но кое-что у Intel уже было наработано – иначе проект не был бы реализован.
Главным навигационным элементом снегоуборщика стало ПО Intel Perceptual Computing SDK (позднее — Intel Real Sense SDK) и специализированная камера с его поддержкой. Сам SDK находился тогда в состоянии глубокой альфы и обкатывался силами нижегородского и московского офисов. К сожалению, незрелость программного обеспечения вносила коррективы в работу: ежегодные тренинги по технике безопасности и охране труда пришлось заменить ежедневными – для сохранения здоровья сотрудников, физически взаимодействующих с недостаточно интеллектуальным и предсказуемым, но достаточно мощным снегоуборщиком.
Обучение снегоуборщика распознаванию снеговиков
Вторым оплотом беспилотности SLONN стала OpenCV – библиотека компьютерного зрения, тесно взаимодействовавшая с PerC SDK. К тому времени OpenCV имела уже значительный опыт использования в роботах различных видов и назначений.
Самым проблематичным с организационной и технической точек зрения было оборудование транспортного средства. Intel – компания, далекая от занятий сваркой и сервоприводами. К счастью, Нижний Новгород – город машиностроения, причём, с историей успешного российско-американского сотрудничества (напомним, что Горьковский Автомобильный Завод в 30-ые годы прошлого века был спроектирован в США и построен в тесном сотрудничестве с фирмой «Ford Motor Company»). Сотрудникам Центра разработки Intel удалось найти близкую к ГАЗ компанию, согласившуюся предоставить саму машину и дооборудовать ее для нужд автопилотирования. В качестве базы использовался тракторный снегоуборщик, достаточно современный, однако, как показала практика, именно механическая часть стала ахиллесовой пятой проекта.
50 оттенков белого
У задачи создания полноценного автономного снегоуборочного средства были как смягчающие, то есть, облегчающие работу, так и нетривиальные, многократно затрудняющие работу условия. К первым можно отнести то, что SLONN перемещался по ограниченной и тщательно промеренной территории — обширной парковке за офисом Intel; обмен данными с серверами осуществлялся по беспроводной локальной сети через антенны, установленные на здании. Объекты, которые мог встретить SLONN на своём пути, тоже, по большей части, предсказуемы – тут нет шансов наткнуться на динозавра или неожиданно выскочившего из норы белого кролика.
Обкатка навигационной системы SLONNа на парковке Intel
Зато большие трудности представляли встречающиеся возле офиса белые коты, иногда выходящие из офиса сотрудники в белом (например, работники кафетерия). Есть на территории и несколько знаков с белыми аистами – так в Intel помечены специальные парковочные места для сотрудниц, ожидающих ребенка. И конечно же, вокруг запаркованы машины, некоторые – белого цвета, что на взгляд искусственного интеллекта SLONN, является большим сугробом, требующим немедленной уборки. А самое главное, чтобы сделать задачу более интересной, с самого начала было решено оснастить уборщик системой распознавания снеговиков – их в свободное от работы время любили лепить сотрудники офиса. SLONN должен был уметь объезжать снежные фигуры, не причиняя им вреда. Задание оказалось более сложным, чем выглядело изначально.
Вообще, не надо быть чукчей, чтобы понимать, что снег с точки зрения компьютера – объект очень сложный. Во-первых, как показали художники-импрессионисты, он имеет тысячу цветов и оттенков. Не будем шутить про желтый снег, но и без этого вариантов хватает. И все это снег, который нужно чистить – даже если он черный, как по весне в городе. Во-вторых, снежные фигуры слабо различимы на фоне cугробов – требуются очень точные механизмы распознавания. Дело доходило до предложений определять снеговиков по морковке, но они были гневно отвергнуты – по принципам компании нельзя допускать дискриминацию снеговиков по морковному признаку.
В конце концов не мытьем так катанием (это выражение очень подходит к обкатке снегоуборщика) был получен удовлетворительный результат как по ориентированию на местности, так и по объезду снеговиков.
Суровые будни
Для управления трактором оказалось достаточно мощного NUC с процессором Intel Core. При работе на открытом пространстве проблем не было – SLONN лихо катался по введенному маршруту, вычищая и отбрасывая снег. На самых опасных участках, где ошибка могла привести к порче движимого и недвижимого имущества, использовали полосатую маркерную ленту. Ее робот определял четко.
Со снеговиками также все было непросто. Для начала пришлось создать базу изображений снеговиков – таких, какими они видятся из кабины трактора. Все работы, естественно, велись в полевых условиях, и в сильный снегопад отличить снежную фигуру от сотрудника Intel не смог бы самый мощный тогдашний искусственный интеллект. О нюансах с освещенностью и цветностью уже говорилось. К сожалению, было бы неправдой утверждать, что при тестировании ни один снеговик не пострадал – полегло их немало. Но люди (и белые котики!) остались невредимыми, да.
Беспилотный снегоуборщик сегодняшнего дня, в создании которого использовались наработки SLONNа
Однако больше всего неприятностей доставляли ограничения автомобильно-уборочного железа, внешнего по отношению к Intel. Во-первых, оно просто не успевало за реализованной в SLONN программой, дополнительно профилированной Intel VTune и оптимизированной с помощью библиотек Intel IPP. Во время снегопада пока SLONN доезжал до расчетного места, опускал щетки и начинал очистку, ситуация вокруг изменялась, и всё приходилось начинать сначала. Но главное – в первый особо снежный сезон автономный трактор снегоуборщик сам начал застревать в снегу – так, что его требовалось откапывать вручную и даже вытягивать обычным трактором.
В итоге, весной экспериментальный агрегат разобрали – для реальной эксплуатации он все равно не подходил, а задачи, которые ставил перед собой в этом проекте нижегородский Центр Разработки Intel, уже были решены.
Зато проектом заинтересовалось израильское подразделение Intel – в этой стране снег выпадает раз в несколько лет, в небольших количествах, но всё равно требует уборки, что исключает вышеописанные проблемы SLONN, и создает идеальные условия для его применения. А главное, в дальнейшем все наработки, полученные в ходе проекта, были переданы в дочернюю компанию Intel Mobileye (по совпадению также находящуюся в Израиле), занимающуюся разработкой автономного транспорта.
Так что, если когда-нибудь в будущем вы заметите, что ваш беспилотный автомобиль с подозрительной осторожностью объезжает стоящего у дороги снеговика – вы будете знать, откуда взялся этот нетипичный функционал.
