Как стать автором
Обновить

Как мы сделали автопилот для сельхозкомбайна на видеоаналитике первыми в мире

Время на прочтение9 мин
Количество просмотров29K
Всего голосов 101: ↑100 и ↓1+99
Комментарии37

Комментарии 37

Желтую коробочку сами разрабатывали?
Да, конечно. Как по электронике, так по железу. Корпус в этой версии составной — «ванна» из линейки корпусов «с полки», дорабатывается под крепежные отверстия и тд, а, например, крышку делаем по своему проекту, так как через нее идет теплоотвод и это и радиатор, и несущая плита для Jetson TX2. А вот платы NVIDIA мы не делаем, увы. Пока.

Спасибо, а как решали проблему с отведением тепла в модуле? Все таки внешняя температура высокая + от техники что-то может + собственный нагрев...

На фото видно, где расположен блок — под кабиной на улице, сам «горячий» модуль находится на толстой оребреной крышке.

Мы делаем тепловые расчеты при проектировании этих узлов и по ряду корпусов, с которыми мы начинали работать (готовые решения), не смогли добиться приемлемых результатов, поэтому делаем свой.

Там 7.5 Ватт вполне достаточно толстой аллюминиевой пластины с ребрами :]

2 МЕГАПИКСЕЛЯ… Меня несколько удивляет что такой камеры хватает. Хотя есть подозрение что камера с большим разрешением давала бы больше не нужного шума в нейронку.

Ну, 2 МП на телевизоре в виде Full HD приходят. Это, на самом деле, много для видео.

Здесь баланс стоимости камеры, вычислительной нагрузки, функциональности и снова стоимости (теперь уже вычислителя). 2 МП довольно неплохо справляются с такого рода задачами в индустрии в целом.

Не знаю есть-ли в этом коммерческая тайна, но очень хочется узнать: В сторону камер Matrox не смотрели? Насколько оперативно можно поменять камеру на месте, за пару минут справится оператор комбайна? Есть-ли настройка ее точного положения и направления(юстировка)? Стерео зрение не используете по причине вычислительного потолка? Цена одного комплекта в районе 300к±50?


Когда увидим автономный "мирный советский трактор" с интегрированной вашей системой? (:


Пишите обязательно, очень клевая и интересная тема, что про CAN у всяких брендовых производителей, что про видеообработку на TX2, что про работу с Флировыми камерами.

Гм, цена GPS-автовождения при массовом производстве в районе 100К на комбайн + 50К база (одна на 10 км). 300К — это довольно много.

GPS решение дешевле чем обработка видео в реальном времени. У них используется камера FLIR Backfly, если брать ее одну — уже 600$. Далее у них стоит TX2 — еще около 600$, уже 1200. Далее по мелочи — корпус, кабели и монитор тянут еще на 300$. Получится около 1500$ ~ 110к.
Интерес компании и выезд мастера для первичной установки я оцениваю в 100к рублей за единицу техники. Допускаю то что я цифры не угадал, это-ж просто догадка.


По GPS — мы сами сейчас "делаем" для карьера на основе ublox RTX, но ориентируемся прежде всего на аренду, тогда заказчику выходит рассрочка на 3 года, а нам есть возможность планировать доходы на больший срок.

Получится около 1500$ ~ 110к.
Ну это сопоставимо с хорошей GPS-системой. В основном у них цена набегает на том, что вместо интеграции со штатными системами городят свой колхоз

По GPS — мы сами сейчас «делаем» для карьера на основе ublox RTX
F9P? Можем в личке обменяться результатами.

С GPS чуток попроще будет — если брать M8P, который я сейчас мучаю, будет стоимость в районе 150к на base и около 40к на rover.


К сожалению обмениваться пока нечем, по этому в кавычки и взял слово "делаем". Есть подключение к трелевочнику (там далеко не CAN), есть телеметрия, есть доступ до камеры (1 штука) через мачту и регистратор пишущий все и вся, но это думаю и вы легко сделаете на коленке. Пытаемся понять что можно выжать и насколько можно сварганить технологию "водитель вышел на дорогу — нажал кнопку — трактор сам поехал". Основная решаемая проблема — организация движения, чтоб они могли разъехаться на узкой дороге и небольшой отдых водителю на дистанции в 8 — 10км.


Да и само движение по GPS треку — простое. Маршрут построен, едь и соблюдай заданные параметры движения, корректируй все по загрузке маршрута, автопилотом и честным поддержанием курса тут и не пахнет.


Ну и конечно интеграция с ТСД для учета и поиска машин на местности (:

image

будет стоимость в районе 150к на base и около 40к на rover.
Гм, вы базу с ровером не спутали? Что там такого на 150к на базе?

Основная решаемая проблема — организация движения,
Основная проблема — сертификация. Эксплуатация запрещается, если имеются не предусмотренные конструкцией перемещения деталей и узлов. Увы, к тракторам это тоже относится (а к комбайнам — нет).

Гм, вы базу с ровером не спутали? Что там такого на 150к на базе?

Ну это-же за всю систему с обвязкой по питанию в лесу где нет электричества и интернета. Одни батареи обошлись в 50к на тестовом полигоне + учитывайте что мы делаем первую партию и впервые в жизни (:


Основная проблема — сертификация. Эксплуатация запрещается, если имеются не предусмотренные конструкцией перемещения деталей и узлов. Увы, к тракторам это тоже относится (а к комбайнам — нет).

До этого мы еще далеки, к сожалению. Сначала оценим пойдет-ли это или проще будет купить готовое решение, которое уже работает.


Я кстати после вашей статьи начал думать над реализацией этой темы (: Еще и LoRa сейчас включаю.

Гм, аккумулятор на 108ватт-часов от мобильника стоит 5К у перекупов. Что у вас за потребление? И нафига базу в лес ставить, там же приема не будет?

или проще будет купить готовое решение, которое уже работает.
Так у вас уже готовый RTK внутри M8P. Это мы RTK сами написали.
Гм, аккумулятор на 108ватт-часов от мобильника стоит 5К у перекупов. Что у вас за потребление?

На данный момент с модулем дальней связи LoRa с направленной антенной, всенаправленной антенной общей на 433Мгц и подогревом приложения — потребление на все про все до 40ватт зимой. Аккумуляторы ставятся гелевые, от техники, на 80-100 часов, далее понижайка на базе tpsm84824, далее уже идет GNSS и остальное оборудование.


И нафига базу в лес ставить, там же приема не будет?

А куда? На расстоянии 20км ни души, холмами Карелия тоже не богата, аэростат для RTK base не очень подходит. Ставим вышку на первую делянку, куда могут добраться обычные лесовозы и где будет древесина, она вещает поправки вокруг себя. Она, конечно, выше уровня деревьев.


Так у вас уже готовый RTK внутри M8P. Это мы RTK сами написали.

Я имею ввиду автопилот. С RTK-то все легко и понятно.

Гм… у вас древесный карьер? Как-то я вообще не понял, как соотносится карьер и лес. На карьере всяко освещение есть, а значит и электричество.

С автовождением тоже все понятно — там пара пид-регуляторов. А вот модуль планирования маршрута…

Я как-то резко перескочил и не заметил, прошу прощения (:
У меня сейчас 3 направления:
1) Карьер песчаный, в пределах 25км от города, есть связь и электричество.
2) Лесозаготовки — далеко от цивилизации (все легально), нет ни того ни другого, еще и близко к границе.
3) Мехколонна, где организуется ремонт и есть необходимость погрузки/разгрузки техники с ЖД, находится в городе.


Карьер — сложней чем лесозаготовки. На делянках нет людей и с дорога одна, по этому решили начать с нее.

А ночью как успехи? В страду люди круглосуточно в поле.
Прямо в этой же статье
В девять утра роса сходит с полей, можно начинать. Закончить нужно к темноте, когда влажность снова повысится.
Я живу за городом, в полукилометре от полей. Осенью в сезон уборки техника там и ночью работает. Также имею возможность наблюдать, что влажность с сумерками повышается далеко не всегда, иногда росы вообще нет. Зависит от погоды, рельефа, и т.д.
А если погуглить, то можно найти, что компания «Cognitive Technologies» (не знаю, эта же самая, или конкуренты) выпустила автопилот для комбайна именно для ночной работы.
Так что мой вопрос не от невнимательности.
На Ставрополье тоже ночью активно убирают. По крайне мере в моём округе.
Фары у них очень яркие, видно их на полях издалека. Так что вопрос автоматизации ночью интересен.
Если фары исправны, роботу без разницы. Но ночью именно сбор урожая обычно не делается из-за влажности зерна. А вот сеять ночью или вносить удобрения — не проблема.
Ой какой знакомый RSM… А что вы в бортовой комп не интегрировались? С Itelma не договорились? Или вам нужно, чтобы водитель постоянно контролировать вашу аппаратуру?

А что с командами на остановку от ручки или бортового? Если водитель решил затормозить, вы будете его пересиливать до нажатия кнопки на вашем пульте или отключите автоведение?

Жалко, что не выложили трек движения (лучше по данным RTK), можно было бы оценить качество вождения. Или потому и не выложили?

Чтобы обычное GPS-вождение нормально работало, нужно заранее составить карту
Ну мягко говоря неверно, режим работы (автомат или полуавтомат) — это одно, принцип держания полосы (GPS, зрение, лидар, ультразвук...) — другое.

Ну а самый важный вопрос, если можно я вам в личку задам.

P.S. Мы на том же RSM GPS-автовождение делали.
А что вы в бортовой комп не интегрировались?

А мощности бортового компа точно хватит? Сколько там GPU, к примеру? И сколько гигабайт памяти? :-)
Обратите внимание, что они используют вот эту штуку: https://developer.nvidia.com/embedded/jetson-tx2

Для индикации — хватит. Вот фотка из

Вот фото из статьи
image


Верхний — это штатный бортовой комп, на нем все индикаторы, включая спидометр. На этом торуме железных индикаторов вообще нет — все на бортовом. И индикацию автовождения он вполне тянет. А нижний — это индикатор для автовождения, он же на их видео.

Ящик под капотом — само собой, у каждого свой.

Про ограничения GPS вождения мы писали, думаю тут повторять нет смысла. GPS работает со своими ограничениями и часто методы их преодоления неприемлемы в практике. В этом смысле внедрение видео технологий — это безусловно следующее поколение, с этим, наверное, тоже нет смысла спорить.

Конечно, это не значит, что GPS не используется для тех задач, для которых это удобно — понять, на каком поле машина, в какой части поля, учёт координат при анализе урожайности и тд. С этим справляется встроенный в планшет приёмник. Можно говорить и приводить примеры там, где что-то работало или работает, безусловно. Но эта технология давно уперлась в потолок развития.

Насчёт договорились или нет — наш приоритет обезопасить штатные системы, так как мы ставим наши блоки на широкий парк техники и РСМ просто один из вариантов. Поэтому там, где можно сделать параллельный контур — делаем.
Вы знаете, сравнение GPS-систем 20летней давности с современным машинным зрением заведомо некорректно. Я тоже могу пофантазировать исходя из старых систем машинного зрения: про дождь, снег, ветер, туман, поземку, саранчу, гнус… Что там будет с камерой при налете саранчи? Очищать раз в 5 минут?

Система машинного зрения, обучаемая человеком, просто не может водить лучше человека. Поэтому имеет огромные ограничения.

Как пример — точное земледелие. Внесение удобрений по данным аэрофотоснимка или автоматическая перестройка режимов комбайна по тому же снимку. Ну и как вы в центре поля зрением свои координаты определите? Да как человек, то есть никак.

Ещё пример, от начальника опытной станции Тимирязевки. Если картошку сажать в грядки — её вырастает на 40% больше. Но это означает СКО полтора см поперек грядки на орудии, болтающемся за трактором. Не на кабине, а на орудии. То есть это общий бюджет ошибки. Как вы там, сумеете в клубах дыма (от мотора) и пыли (от грядки) определить машинным зрением положение орудия относительно трактора с точностью 2-3 мм? Про навигацию я и не говорю, ошибка 10 см поперек грядки у вас будет.

Не, конечно, на той же опытной станции есть один тракторист с кандидатской степенью, который на джондире сделал восьмерку с возвратом в точку отправления с точностью меньше 2 см. Но боюсь, что он один на страну такой.

Так что машинное зрение — это лишь для очень узких задач комбайна. К другим сельхозмашинам этот подход бесперспективен.

Что касается параллельного контура — это ещё одно доказательство бесперспективности технологии. На комбайне вам действительно не грозит сертификация ваших переделок. Ибо на дороги общего пользования он, теоретически, не выезжает. А вот на тракторе вам придется сертифицировать все вмешательства в рулевую и ходовую части. Причем на каждый трактор отдельно. И сертификация выйдет намного дороже, чем использовать штатные команды по CAN, штатный одометр и штатный датчик поворота колес.

Вот так ведет человек
image

А вот GPS
image

Горбик на выходе из поворота — просто баг ранних тестов.

Очень надеюсь, что вы покажите свои треки, и расскажите о реальных ограничений машинного зрения. Ну и о минимальной ширине перекрытия. Потому что о преимуществе зрения для полукруглых полей мы все поняли. Ну и о предупреждении наездов — это вообще самая сильная сторона вашей технологии. Но вроде в остальном вы проигрываете.

А будущее — за комплексными системами. GPS+ИНС+зрение. У каждой есть свои преимущества. ИНС, например, позволяет задержу управления в 5 нс на датчик угла поворота колес. Собственно у нас и так 5 нс, но по уставке от GPS. Кстати, а у вас сколько?
на джондире сделал восьмерку
Любопытно было взглянуть на трек лёгкого самолёта, оснащённого gps трекером. Руководитель полётов дал задание пилоту сделать восьмёрку. На треке получился сильно вытянутый амперсанд.

Очень интересно. Спасибо!

А сбор данных идет постоянно? То есть дообучается сеть, когда к примеру комбайнер поправляет автовождение?

Какие были факапы или забавные случаи?
Как в любом приличном ИИ решении мы можем собирать данные с работающей в боевом режиме техники, в основном это или новые культуры, или особенности, которые попались системе, она пишет этот набор из нескольких кадров (видео здесь не нужно), в обычном режиме уборки новый набор данных уже даёт малую информативность с учетом наших имеющихся датасетов. По новым данным, где есть нетипичные участки мы дообучаем сеть.
Используются ли данные с камеры для дальнейшего обучения нейросети? Как данные с комбайна попадают на сервер?
Вот тут говорим, что используются в том же духе.

Данные выгружаются по сотовой связи по мере ее доступности. Можно и через wi-fi, если есть сервис инженер рядом. Не все блоки пишут данные по умолчанию, только в ряде случаев, где это представляет необходимость или на опытных парках с выделенными партнерами. И да, симки там наши, за трафик платить не надо.

Есть и бонус, для некоторых клиентов мы настраивали чат ботов для телеграмм, когда можно кинуть запрос и бот пришлёт фото того, что происходит в моменте с параметрами (движение, уборка, и т.д.)

Такая фича будет далее встраиваться в пользовательские решения.
Здорово что IT так помогает в этом нелёгком труде. Да и не только IT, машиностроение тоже. На советских комбайнах само собой кондиционера не было (под солнцем в жестяной кабине при плюс 30-40 попробуй 14 часов посидеть), так и просто не было нормальной пылеизоляции. Родственник расказывал как ему кто-то из комбайнёров на фразу — «ты капитан корабля полей» матюгнулся, высморкал соплю с палец размером и у него носом кровь пошла- последствия работы в зерновой пыли. Так что даже без автопилотов, за последние лет тридцать этот труд стал намного легче (не говорю этим что он лёгок сейчас).
под солнцем в жестяной кабине при плюс 30-40
30-40 — это температура воздуха, в раскалённой кабине поболее, дверь всегда открыта была, чтобы хоть какой-то сквознячок организовать, но пыль всё же не вся в кабину поднималась. А помощники умудрялись в бункере спать, подстелив на шнек соломки (если обмолот был неактивен). Там тише, меньше пыли, чем на мостике за кабиной, но сильно жарче.
Тут вот новость про беспилотный Torum 755 обсуждают habr.com/ru/post/510756.
Там тоже система от Cognitive Pilot?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий