company_banner

Как мы сделали автопилот для сельхозкомбайна на видеоаналитике первыми в мире

    image
    Вот и весь комплект, если есть CAN-шина.

    Всего пять лет назад не было нормально работающих нейросетей для того же определения препятствий и краёв стеблестоя, поэтому не было и видеоаналитики. Были «слепые» GPS-методы, которые на практике оказались далеко не лучшими и сильно подмочили престиж автоматизации в сельском хозяйстве. Через пять лет, как мы считаем, все комбайны будут автоматизированы именно визуальными автопилотами, чтобы смотреть из кабины и в стороны и контролировать все аспекты уборки урожая.

    Мы находимся в том моменте, когда у нас уже есть готовые технологии, они отлично опробованы, дёшевы и имеют годовую практику эксплуатации, и крупные производители комбайнов с интересом на них смотрят. Скорее всего, будет как с автомагнитолами: сначала они ставятся в машины, а потом машины приходят с уже встроенными. Вот и мы сейчас модифицируем старые комбайны, но хотим занять место в экосистеме и ставить комплекс на все новые.

    Такой проект мог стартовать у нас, в Бразилии и ещё в паре стран из-за особенностей рынка. Нужна страна с сельским хозяйством, разработчиками внутри, неэффективной уборкой (то есть чёткой болью сэкономить) и новым парком комбайнов. Повезло со всем, включая парк: после СССР всё развалилось, и сейчас мы наблюдаем машины примерно четырёх- пятилетней давности в основных хозяйствах.

    В России 350 тысяч комбайнов, и поставляется ещё 35 тысяч в год. Это не рынок автомобилей, конечно, но, сделав правильное решение сейчас, пока туда ещё никто не пришёл, можно получить его весь.

    Но давайте расскажу лучше, как именно это работает и как мы модифицируем комбайны в России.

    image
    Как проходит рабочий день оператора комбайна с нашим Agro Pilot.

    Комбайнёр — оператор или механизатор — приходит в семь утра на поле. Если это не первый день, то машина стоит уже непосредственно посреди сельхозкультуры. Проводятся настройки под следующий участок, прогревание. В девять утра роса сходит с полей, можно начинать. Закончить нужно к темноте, когда влажность снова повысится. В дождь работать нельзя. Примерно за две недели надо успеть собрать всё зерно, пока оно не переспеет и не высыплется на землю: чем дальше, тем больше будут потери. Начинать раньше нельзя: зерно ещё не созрело. Поэтому именно в этот пик нагрузок любой простой, любая ошибка или авария стоят очень дорого.

    Смена длится до 14 часов монотонной работы. Оператору нужно:

    • Очень аккуратно и ровно рулить, стараясь двигаться по прямой параллельно скошенному участку. Это основной приоритет живого человека. Это муторная работа по наблюдению вбок.
    • Следить за режимом уборки культуры: в зависимости от зрелости, высоты и частоты стеблестоя нужно менять 20–22 параметра, включая скорость движения на участке. Это работа по наблюдению за тем, как вращается шнек. Весь день.
    • Смотреть за качеством зерна на выходе — надо иногда смотреть назад.
    • Думать про транспорт для выгрузки зерна — когда и как его звать.
    • Двигаться при этом согласованно с другими комбайнами.

    Вот здесь мой коллега Эдуард рассказал подробнее про особенности того, почему в итоге операторы сосредотачиваются только на рулении, оставляют настройки по умолчанию в механизме сбора и часто пропускают опору ЛЭП или трактор впереди и врезаются на 10-й час смены.

    Короткий итог: человек может или рулить, или следить за качеством уборки. Рулить у него получается плохо, потому что комбайн имеет габарит 12 метров по жатке, и часто остаются большие непрокошенные полосы из-за неидеальных поворотов.

    Если снять нагрузку по рулению, то внезапно чудесным образом повышается сбор зерна. В нашей практике прошлого года с одного и того же участка — на 3 % за счёт того, что у оператора есть возможность точнее смотреть за тем, что творится впереди. И ещё примерно на 3–5 % — за счёт удержания захвата без «пупков» и больших непрокошенных частей. Плюс нет аварий.

    В общем, это очень нужная вещь, которая давно была бы реализована, если бы имелась техническая возможность.

    Техническая возможность появилась


    Вот что делает автопилот:

    image

    То есть:

    • Ведёт комбайн так как надо по особенностям роста текущей культуры и по тому, как прошли комбайны до него.
    • Позволяет работать вместе смешанному парку: как тем машинам, у кого есть автопилот, так и с ручным управлением. Автопилоту нет никакой разницы.
    • Очень чётко держит расстояние между проходами, обеспечивая минимум непрокошенных.
    • Ищет препятствия, классифицирует их и принимает решение, что делать: объезжать, тормозить или, пока есть время, предупреждать оператора.
    • Поддержка оптимальной скорости для конкретной ситуации. Есть такая особенность: чтобы комбайн убирал чисто, нужно держать интервал от 6 до 6,5 километра в час для, скажем, пшеницы на конкретной модели. Если переходим через эту черту, то объём массы будет больше, бичи перестанут выбивать все зёрна, и дальше потери увеличиваются в геометрической прогрессии от скорости: семь километров — 0,2 %, восемь — 0,5 % и так далее.

    Агротехническая оценка одного из комбайнов по результатам лабораторно-полевых испытаний
    Как влияет скорость на эффективность сбора
    Показатель Значение показателя по данным испытаний
    Пшеница Рапс Соя
    Фон 1 Фон 2 Фон 3
    Режим работы
    Скорость движения агрегата, км/ч 4,1 5,4 6,3 4,5 5,6 7 2,8 3,6 4,3
    Рабочая ширина захвата адаптера, м 4,8
    Установочная высота среза, см 14 23 6
    Показатели качества выполнения техпроцесса
    Высота среза:
    — средняя фактическая, см 13 13 22 22 22 5 5 5
    1,4 1,42 1,65 1,86 3,37 1,35 1,47 1,19
    — стандартное отклонение, см 9,6 9,5 8 8,6 14,8 12,2 12,1 9,4
    — коэффициент вариации, %
    Потери зерна за адаптером при полеглости хлебов до 20%, всего, % 0,13 0,17 0,27 0,35 0,36 0,56 0,62 0,74
    В том числе зерном:
    — свободным 0,08 0,11 0,2 0,24 0,25 0,29 0,32 0,31
    — в срезанных колосьях 0,05 0,06 0,07 0,11 0,11 0,24 0,27 0,4
    — в несрезанных колосьях 0 0 0 0 0 0,03 0,03 0,03
    Производительность, т/ч 10,7 15,3 16,1 2,7 3,4 4,5 3,6 4,1 6,1
    Подача фактическая, кг/с 5,28 6,75 7,72 2,09 2,68 4,84 4 5,3 7
    Подача приведённая, кг/с 3,85 4,15 5,37 2,23 2,87 5,99 5 7 8,7
    Потери зерна за молотилкой, всего, %, 0,83 0,93 1,01 0,39 0,44 0,5 0,33 0,49 0,53
    в том числе: 0,24 0,37 0,42 0,27 0,32 0,37 0,26 0,42 0,45
    — за соломотрясом
    — за очисткой 0,43 0,41 0,45 0 0
    — из-за недостаточного уплотнения молотилки комбайна 0,003 не определялись не определялись
    — потери зерна распылом, % 0,16 0,15 0,14 0,12 0,12 0,13 0,06 0,07 0,08
    Качество зерна из бункера комбайна, %:
    — дробление 1,56 1,5 1,41 1,18 1,2 1,27 0,62 0,6911,27 0,83
    — сорная примесь 0,42 0,5 0,57 0,88 0,89 1,09 1,32 98,04 1,72
    — содержание зерна (семян) основной культуры 98,02 98 98,02 97,94 97,91 97,64 98,06 97,45
    Ширина валка при укладке соломы в валок, мм 1052 1048 1063 не определялась не определялась



    Основная функция нашего оборудования сейчас — не автовождение, а исключение человеческого фактора из работы оператора. Базовый комплект нашего оборудования помогает исключать недозахват жаток и лишние прогоны.

    Что в начинке


    1. Камера 2 МП на кронштейн зеркала. Мы ориентируемся только по камере: это основной датчик. Больше ничего не требуется.

    image

    2. Дисплей в кабине: это интерфейс для оператора. Через него делаются предупреждения и настройки.

    image

    3. Блок управления под кабину: там NVIDIA TX2. Там крутится основной стек алгоритмов, обрабатывается видео, и оттуда отдаются команды на CAN-шину.

    image

    Блок 340х290х60 мм, 40 ватт.

    image

    Модуль для отдачи команд подключается к CAN-шине или другому системному вводу-выводу комбайна. Здесь есть пара засад, в частности, с тем, что не везде такое возможно, и не везде управление гидравликой возможно через этот интерфейс.

    В случае комбайна последних пяти лет выпуска это почти всегда всё: коробка с мозгами, камера, дисплей в кабину.

    Датчик поворота колёс нужен на тот случай, если комбайн старый или без подготовки, и мы не можем получить эти данные из системной шины. Нам нужны данные для одометрии (скорость движения и угол поворота колёс):

    image

    Насос-дозатор в систему гидравлики нужен для непосредственного управления гидравликой нашим ко-пилотом:

    image

    Первая засада с CAN-шиной в том, что не всегда есть понятная документация. В теории попадаются и другие варианты получения сигналов из шины, но на практике России это очень редкие случаи. В общем, в лучшем случае есть какое-то системное API и дырка для кабеля. В простом случае мы связываемся с производителем этой дырки и просим прислать описание протокола. Через пару недель переговоров они понимают, кто мы и что нужно, и присылают. Не все это воспринимают просто, но крупные производители нам отчасти рады, потому что знают: в прошлом году мы поставили наши решения в ряд хозяйств и крупных агрокомплексов, чем навели немного шума в СМИ.

    И они часто тут же спрашивают, можно ли наши технологии интегрировать в комбайн будущего. Это отдельная история, но в результате первой части у нас есть протокол, и всё хорошо.

    В идеальном мире этим бы и закончилось. К сожалению, иногда всё-таки попадаются случаи, когда документации нет или у производителя не удаётся получить внятного описания. В таком случае мы подключаемся и реверсим шину. Конечно, есть протокол J1939, которому производители должны бы следовать, вот только не все это делают. Обычно подключаешься с отладочной утилитой, получаешь все пакеты с переменными и просто сидишь с оператором, нажимающим на кнопки. Поехал — где-то ноль стал положительным числом. Ускорился — число выросло. Замедлился — снизилось. Ага, скорость попалась. И так — весь день. Дальше надо поймать корреляцию и подобрать коэффициенты преобразования. Один раз поймали очень неприятный баг с тем, что на тестовой площадке работало, а в поле — нет. Комбайн в мирном режиме слал одни пакеты, а со включёнными жаткой и мотовилом переходил в особый боевой режим и начинал в тех же отловленных пакетах слать свои особые боевые сообщения. Нам пришлось собирать адовыми способами признаки данных. Как оказалось, в те же пакеты в те же переменные жатка нормально давала свою информацию, а разработчик шины всё это дико соптимизировал, чтобы не задавать новые переменные. Наверное, он в конкурсе 256b-intro в свободное время участвует.

    На гидравлике тоже были сюрпризы. Хоть в партнёрах есть Danfoss, хоть они и помогли всем, чем возможно, и дали подробные схемы, проверить всё можно, только запустив комбайн. Где-то комплектующие слегка встали на границе, поэтому система для заказчика приехала к уборке урожая (и это только один из случаев). То есть надо было ночью смонтировать это всё, запуститься, проверить и, если хоть что-то не так, снять, чтобы утром комбайн можно было использовать дальше. Приехали к восьми вечера и начали шаманить с гидравликой. Первый монтаж мы закончили в четыре часа ночи. Не знали, заведётся или нет. Если не получится, то надо будет разбирать и вернуть штатное состояние. Завели — работает. Рулит как надо. Это самый крутой hello world в нашей жизни. Я не так себе представлял работу с нейросетями, но куда без этого.

    В комплект можно добавить сотовый модем для отправки телеметрии. При этом в комплекте не нужен GPS. Это огромный плюс. Чтобы обычное GPS-вождение нормально работало, нужно заранее составить карту, выставить RTK-станцию для поправок либо купить пакет сигналов и так далее. И ещё нажимать кнопки и менюшки, а механизаторы очень не любят пользовательские интерфейсы. У нас камера-коробка-сели-поехали. Не требуется картировать поле, чтобы нарезать его на загонки. Нужно подъехать к полю. Робот скажет: «О, ура, поле!» И просто поедет.

    Почему только камера для вождения


    В 2014 году мы взяли научный грант на прототип комплексной системы управления сельскохозяйственным предприятием с использованием ИИ. Погрузились в бизнес сельхозпроизводителей и посмотрели самые очевидные точки автоматизации. Россия — очень рисковое земледелие (один урожай в год, а в Бразилии — пять). Целый год возделываешь поле: дорогой посевной материал (это самое дорогое), потом прыскаешь дорогими химикатами (вторая статья расходов), проводишь цикл работ по подготовке почв, культур. Это целый год с марта по осень. И только осенью у тебя две недели, когда надо собрать урожай. Если что-то идёт не так, то плюс-минус день может быть 10 % потери урожая.

    Комбайн не вышел, комбайнёр запил, криво покосил — сломал по дороге. Всё, простой часами и днями.

    Именно с распознавания препятствий мы и начали. Сразу напрашивался лидар, но он дорогой, поэтому камера. Раз монокамера — нужно сразу распознавание образов. Потому что нужно не только увидеть, но и понять, что это, какого оно размера, как себя поведёт, чего ждать. Мы либо стоим на месте, либо движемся вперёд, а нужно знать относительное расстояние до объекта и ещё помнить про жатку 7,5 или 9 метров в разные стороны (и это не максимум, часто на ходовых моделях встречается и 12-13 метров). Всё равно на таких размерах можно на развороте случайно смолотить механизатора трактора или заправщика, вышедшего по малой нужде.

    image

    Нейросетки отлично справляются. Но всё же, поскольку у нас монокамера, можно обмануть алгоритм моделью комбайна 1:40 в редких случаях (потому что по монокамере в движении тоже можно получить геометрию). Но в поле такие попадаются редко.

    В кукурузе (стеблестой три метра) важно искать столбы, к примеру. Раз у нас появилось определение, что тут — культура, а что — препятствие, то дальше можно было отличать, где какая культура находится.

    image

    А это уже автопилот второго уровня:

    image

    image

    Очень сложно было с самой культурой. На первых итерациях выездов мы приезжали в поле на новую культуру или специфично выглядевшую. Агроном плохо следил, например, не опрыскивали вовремя. Низкорослая культура с сорняками — нейросеть не скушает. Однажды было так, что мы приехали в хозяйство на испытания. А там резко другой климат, и ячмень выглядит совсем не так, как в справочнике агронома. А у нас сегментация не распознает нескошенную и скошенную части корректно. Данных для обучающей выборки было мало, мы же сами их снимали. Весь день до вечера катались с механизатором по полям, снимали новую выборку. Ночью сели в гостинице своим составом размечать эти данные. Поставили на дообучение сеть. На следующий день всё заездило на новом поле.

    Вот так можно добрасывать целевую выборку:

    image

    Как говорит Эдуард, который это объясняет сельхозхозяйствам, люди сами прекрасно понимают, что уборка — это основная точка автоматизации. Там день год кормит. И они стараются всеми силами исключить человеческие ошибки. В итоге мы договариваемся на «посмотреть». До сезона приезжает сервисная группа наша или дилеров, устанавливают всё. Дальше проводят проверку-калибровку. Или перед уборочным периодом сразу калибруются, день-полтора займёт.

    Если интересно, то дальше могу рассказать или про особенности распознавания всего того, что встречается на полях, или про то, как мы чудесно собираем обучающие выборки, потому что готовые отвратительны и не подходят для российских условий. Это ещё связано с тем, что мы первые, кто вообще что-то делает с этой темой по миру, и поэтому каких-то наработанных практик ещё нет.

    P. S. Если вашего агронома нет на Хабре, а ему это интересно, то можно вот тут вот найти контакты: promo.cognitivepilot.com и предметно обсудить, для какого комбайна какой конкретно набор техники нужен, сколько примерно стоит, и как это можно быстро посмотреть-испытать.
    Cognitive Pilot
    Делаем ИИ-системы управления наземным транспортом

    Комментарии 37

      +1
      Желтую коробочку сами разрабатывали?
        +12
        Да, конечно. Как по электронике, так по железу. Корпус в этой версии составной — «ванна» из линейки корпусов «с полки», дорабатывается под крепежные отверстия и тд, а, например, крышку делаем по своему проекту, так как через нее идет теплоотвод и это и радиатор, и несущая плита для Jetson TX2. А вот платы NVIDIA мы не делаем, увы. Пока.
        0

        Спасибо, а как решали проблему с отведением тепла в модуле? Все таки внешняя температура высокая + от техники что-то может + собственный нагрев...

          0
          На фото видно, где расположен блок — под кабиной на улице, сам «горячий» модуль находится на толстой оребреной крышке.

          Мы делаем тепловые расчеты при проектировании этих узлов и по ряду корпусов, с которыми мы начинали работать (готовые решения), не смогли добиться приемлемых результатов, поэтому делаем свой.
            0

            Там 7.5 Ватт вполне достаточно толстой аллюминиевой пластины с ребрами :]

            +3

            2 МЕГАПИКСЕЛЯ… Меня несколько удивляет что такой камеры хватает. Хотя есть подозрение что камера с большим разрешением давала бы больше не нужного шума в нейронку.

              +8
              Ну, 2 МП на телевизоре в виде Full HD приходят. Это, на самом деле, много для видео.

              Здесь баланс стоимости камеры, вычислительной нагрузки, функциональности и снова стоимости (теперь уже вычислителя). 2 МП довольно неплохо справляются с такого рода задачами в индустрии в целом.
              +4

              Не знаю есть-ли в этом коммерческая тайна, но очень хочется узнать: В сторону камер Matrox не смотрели? Насколько оперативно можно поменять камеру на месте, за пару минут справится оператор комбайна? Есть-ли настройка ее точного положения и направления(юстировка)? Стерео зрение не используете по причине вычислительного потолка? Цена одного комплекта в районе 300к±50?


              Когда увидим автономный "мирный советский трактор" с интегрированной вашей системой? (:


              Пишите обязательно, очень клевая и интересная тема, что про CAN у всяких брендовых производителей, что про видеообработку на TX2, что про работу с Флировыми камерами.

                +1
                Гм, цена GPS-автовождения при массовом производстве в районе 100К на комбайн + 50К база (одна на 10 км). 300К — это довольно много.
                  +1

                  GPS решение дешевле чем обработка видео в реальном времени. У них используется камера FLIR Backfly, если брать ее одну — уже 600$. Далее у них стоит TX2 — еще около 600$, уже 1200. Далее по мелочи — корпус, кабели и монитор тянут еще на 300$. Получится около 1500$ ~ 110к.
                  Интерес компании и выезд мастера для первичной установки я оцениваю в 100к рублей за единицу техники. Допускаю то что я цифры не угадал, это-ж просто догадка.


                  По GPS — мы сами сейчас "делаем" для карьера на основе ublox RTX, но ориентируемся прежде всего на аренду, тогда заказчику выходит рассрочка на 3 года, а нам есть возможность планировать доходы на больший срок.

                    0
                    Получится около 1500$ ~ 110к.
                    Ну это сопоставимо с хорошей GPS-системой. В основном у них цена набегает на том, что вместо интеграции со штатными системами городят свой колхоз

                    По GPS — мы сами сейчас «делаем» для карьера на основе ublox RTX
                    F9P? Можем в личке обменяться результатами.
                      0

                      С GPS чуток попроще будет — если брать M8P, который я сейчас мучаю, будет стоимость в районе 150к на base и около 40к на rover.


                      К сожалению обмениваться пока нечем, по этому в кавычки и взял слово "делаем". Есть подключение к трелевочнику (там далеко не CAN), есть телеметрия, есть доступ до камеры (1 штука) через мачту и регистратор пишущий все и вся, но это думаю и вы легко сделаете на коленке. Пытаемся понять что можно выжать и насколько можно сварганить технологию "водитель вышел на дорогу — нажал кнопку — трактор сам поехал". Основная решаемая проблема — организация движения, чтоб они могли разъехаться на узкой дороге и небольшой отдых водителю на дистанции в 8 — 10км.


                      Да и само движение по GPS треку — простое. Маршрут построен, едь и соблюдай заданные параметры движения, корректируй все по загрузке маршрута, автопилотом и честным поддержанием курса тут и не пахнет.


                      Ну и конечно интеграция с ТСД для учета и поиска машин на местности (:

                      image

                        0
                        будет стоимость в районе 150к на base и около 40к на rover.
                        Гм, вы базу с ровером не спутали? Что там такого на 150к на базе?

                        Основная решаемая проблема — организация движения,
                        Основная проблема — сертификация. Эксплуатация запрещается, если имеются не предусмотренные конструкцией перемещения деталей и узлов. Увы, к тракторам это тоже относится (а к комбайнам — нет).

                          0
                          Гм, вы базу с ровером не спутали? Что там такого на 150к на базе?

                          Ну это-же за всю систему с обвязкой по питанию в лесу где нет электричества и интернета. Одни батареи обошлись в 50к на тестовом полигоне + учитывайте что мы делаем первую партию и впервые в жизни (:


                          Основная проблема — сертификация. Эксплуатация запрещается, если имеются не предусмотренные конструкцией перемещения деталей и узлов. Увы, к тракторам это тоже относится (а к комбайнам — нет).

                          До этого мы еще далеки, к сожалению. Сначала оценим пойдет-ли это или проще будет купить готовое решение, которое уже работает.


                          Я кстати после вашей статьи начал думать над реализацией этой темы (: Еще и LoRa сейчас включаю.

                            0
                            Гм, аккумулятор на 108ватт-часов от мобильника стоит 5К у перекупов. Что у вас за потребление? И нафига базу в лес ставить, там же приема не будет?

                            или проще будет купить готовое решение, которое уже работает.
                            Так у вас уже готовый RTK внутри M8P. Это мы RTK сами написали.
                              +1
                              Гм, аккумулятор на 108ватт-часов от мобильника стоит 5К у перекупов. Что у вас за потребление?

                              На данный момент с модулем дальней связи LoRa с направленной антенной, всенаправленной антенной общей на 433Мгц и подогревом приложения — потребление на все про все до 40ватт зимой. Аккумуляторы ставятся гелевые, от техники, на 80-100 часов, далее понижайка на базе tpsm84824, далее уже идет GNSS и остальное оборудование.


                              И нафига базу в лес ставить, там же приема не будет?

                              А куда? На расстоянии 20км ни души, холмами Карелия тоже не богата, аэростат для RTK base не очень подходит. Ставим вышку на первую делянку, куда могут добраться обычные лесовозы и где будет древесина, она вещает поправки вокруг себя. Она, конечно, выше уровня деревьев.


                              Так у вас уже готовый RTK внутри M8P. Это мы RTK сами написали.

                              Я имею ввиду автопилот. С RTK-то все легко и понятно.

                                +1
                                Гм… у вас древесный карьер? Как-то я вообще не понял, как соотносится карьер и лес. На карьере всяко освещение есть, а значит и электричество.

                                С автовождением тоже все понятно — там пара пид-регуляторов. А вот модуль планирования маршрута…
                                  +1

                                  Я как-то резко перескочил и не заметил, прошу прощения (:
                                  У меня сейчас 3 направления:
                                  1) Карьер песчаный, в пределах 25км от города, есть связь и электричество.
                                  2) Лесозаготовки — далеко от цивилизации (все легально), нет ни того ни другого, еще и близко к границе.
                                  3) Мехколонна, где организуется ремонт и есть необходимость погрузки/разгрузки техники с ЖД, находится в городе.


                                  Карьер — сложней чем лесозаготовки. На делянках нет людей и с дорога одна, по этому решили начать с нее.

                0
                А ночью как успехи? В страду люди круглосуточно в поле.
                  0
                  Прямо в этой же статье
                  В девять утра роса сходит с полей, можно начинать. Закончить нужно к темноте, когда влажность снова повысится.
                    +2
                    Я живу за городом, в полукилометре от полей. Осенью в сезон уборки техника там и ночью работает. Также имею возможность наблюдать, что влажность с сумерками повышается далеко не всегда, иногда росы вообще нет. Зависит от погоды, рельефа, и т.д.
                    А если погуглить, то можно найти, что компания «Cognitive Technologies» (не знаю, эта же самая, или конкуренты) выпустила автопилот для комбайна именно для ночной работы.
                    Так что мой вопрос не от невнимательности.
                      +1
                      На Ставрополье тоже ночью активно убирают. По крайне мере в моём округе.
                      Фары у них очень яркие, видно их на полях издалека. Так что вопрос автоматизации ночью интересен.
                    +1
                    Если фары исправны, роботу без разницы. Но ночью именно сбор урожая обычно не делается из-за влажности зерна. А вот сеять ночью или вносить удобрения — не проблема.
                    0
                    Ой какой знакомый RSM… А что вы в бортовой комп не интегрировались? С Itelma не договорились? Или вам нужно, чтобы водитель постоянно контролировать вашу аппаратуру?

                    А что с командами на остановку от ручки или бортового? Если водитель решил затормозить, вы будете его пересиливать до нажатия кнопки на вашем пульте или отключите автоведение?

                    Жалко, что не выложили трек движения (лучше по данным RTK), можно было бы оценить качество вождения. Или потому и не выложили?

                    Чтобы обычное GPS-вождение нормально работало, нужно заранее составить карту
                    Ну мягко говоря неверно, режим работы (автомат или полуавтомат) — это одно, принцип держания полосы (GPS, зрение, лидар, ультразвук...) — другое.

                    Ну а самый важный вопрос, если можно я вам в личку задам.

                    P.S. Мы на том же RSM GPS-автовождение делали.
                      +1
                      А что вы в бортовой комп не интегрировались?

                      А мощности бортового компа точно хватит? Сколько там GPU, к примеру? И сколько гигабайт памяти? :-)
                      Обратите внимание, что они используют вот эту штуку: https://developer.nvidia.com/embedded/jetson-tx2

                        +1
                        Для индикации — хватит. Вот фотка из

                        Вот фото из статьи
                        image


                        Верхний — это штатный бортовой комп, на нем все индикаторы, включая спидометр. На этом торуме железных индикаторов вообще нет — все на бортовом. И индикацию автовождения он вполне тянет. А нижний — это индикатор для автовождения, он же на их видео.

                        Ящик под капотом — само собой, у каждого свой.

                        +1
                        Про ограничения GPS вождения мы писали, думаю тут повторять нет смысла. GPS работает со своими ограничениями и часто методы их преодоления неприемлемы в практике. В этом смысле внедрение видео технологий — это безусловно следующее поколение, с этим, наверное, тоже нет смысла спорить.

                        Конечно, это не значит, что GPS не используется для тех задач, для которых это удобно — понять, на каком поле машина, в какой части поля, учёт координат при анализе урожайности и тд. С этим справляется встроенный в планшет приёмник. Можно говорить и приводить примеры там, где что-то работало или работает, безусловно. Но эта технология давно уперлась в потолок развития.

                        Насчёт договорились или нет — наш приоритет обезопасить штатные системы, так как мы ставим наши блоки на широкий парк техники и РСМ просто один из вариантов. Поэтому там, где можно сделать параллельный контур — делаем.
                          +2
                          Вы знаете, сравнение GPS-систем 20летней давности с современным машинным зрением заведомо некорректно. Я тоже могу пофантазировать исходя из старых систем машинного зрения: про дождь, снег, ветер, туман, поземку, саранчу, гнус… Что там будет с камерой при налете саранчи? Очищать раз в 5 минут?

                          Система машинного зрения, обучаемая человеком, просто не может водить лучше человека. Поэтому имеет огромные ограничения.

                          Как пример — точное земледелие. Внесение удобрений по данным аэрофотоснимка или автоматическая перестройка режимов комбайна по тому же снимку. Ну и как вы в центре поля зрением свои координаты определите? Да как человек, то есть никак.

                          Ещё пример, от начальника опытной станции Тимирязевки. Если картошку сажать в грядки — её вырастает на 40% больше. Но это означает СКО полтора см поперек грядки на орудии, болтающемся за трактором. Не на кабине, а на орудии. То есть это общий бюджет ошибки. Как вы там, сумеете в клубах дыма (от мотора) и пыли (от грядки) определить машинным зрением положение орудия относительно трактора с точностью 2-3 мм? Про навигацию я и не говорю, ошибка 10 см поперек грядки у вас будет.

                          Не, конечно, на той же опытной станции есть один тракторист с кандидатской степенью, который на джондире сделал восьмерку с возвратом в точку отправления с точностью меньше 2 см. Но боюсь, что он один на страну такой.

                          Так что машинное зрение — это лишь для очень узких задач комбайна. К другим сельхозмашинам этот подход бесперспективен.

                          Что касается параллельного контура — это ещё одно доказательство бесперспективности технологии. На комбайне вам действительно не грозит сертификация ваших переделок. Ибо на дороги общего пользования он, теоретически, не выезжает. А вот на тракторе вам придется сертифицировать все вмешательства в рулевую и ходовую части. Причем на каждый трактор отдельно. И сертификация выйдет намного дороже, чем использовать штатные команды по CAN, штатный одометр и штатный датчик поворота колес.

                          Вот так ведет человек
                          image

                          А вот GPS
                          image

                          Горбик на выходе из поворота — просто баг ранних тестов.

                          Очень надеюсь, что вы покажите свои треки, и расскажите о реальных ограничений машинного зрения. Ну и о минимальной ширине перекрытия. Потому что о преимуществе зрения для полукруглых полей мы все поняли. Ну и о предупреждении наездов — это вообще самая сильная сторона вашей технологии. Но вроде в остальном вы проигрываете.

                          А будущее — за комплексными системами. GPS+ИНС+зрение. У каждой есть свои преимущества. ИНС, например, позволяет задержу управления в 5 нс на датчик угла поворота колес. Собственно у нас и так 5 нс, но по уставке от GPS. Кстати, а у вас сколько?
                            +2
                            на джондире сделал восьмерку
                            Любопытно было взглянуть на трек лёгкого самолёта, оснащённого gps трекером. Руководитель полётов дал задание пилоту сделать восьмёрку. На треке получился сильно вытянутый амперсанд.
                        0

                        Очень интересно. Спасибо!

                          +2
                          А сбор данных идет постоянно? То есть дообучается сеть, когда к примеру комбайнер поправляет автовождение?

                          Какие были факапы или забавные случаи?
                            +1
                            Как в любом приличном ИИ решении мы можем собирать данные с работающей в боевом режиме техники, в основном это или новые культуры, или особенности, которые попались системе, она пишет этот набор из нескольких кадров (видео здесь не нужно), в обычном режиме уборки новый набор данных уже даёт малую информативность с учетом наших имеющихся датасетов. По новым данным, где есть нетипичные участки мы дообучаем сеть.
                              0
                              Используются ли данные с камеры для дальнейшего обучения нейросети? Как данные с комбайна попадают на сервер?
                                +2
                                Вот тут говорим, что используются в том же духе.

                                Данные выгружаются по сотовой связи по мере ее доступности. Можно и через wi-fi, если есть сервис инженер рядом. Не все блоки пишут данные по умолчанию, только в ряде случаев, где это представляет необходимость или на опытных парках с выделенными партнерами. И да, симки там наши, за трафик платить не надо.

                                Есть и бонус, для некоторых клиентов мы настраивали чат ботов для телеграмм, когда можно кинуть запрос и бот пришлёт фото того, что происходит в моменте с параметрами (движение, уборка, и т.д.)

                                Такая фича будет далее встраиваться в пользовательские решения.
                            0
                            Здорово что IT так помогает в этом нелёгком труде. Да и не только IT, машиностроение тоже. На советских комбайнах само собой кондиционера не было (под солнцем в жестяной кабине при плюс 30-40 попробуй 14 часов посидеть), так и просто не было нормальной пылеизоляции. Родственник расказывал как ему кто-то из комбайнёров на фразу — «ты капитан корабля полей» матюгнулся, высморкал соплю с палец размером и у него носом кровь пошла- последствия работы в зерновой пыли. Так что даже без автопилотов, за последние лет тридцать этот труд стал намного легче (не говорю этим что он лёгок сейчас).
                              0
                              под солнцем в жестяной кабине при плюс 30-40
                              30-40 — это температура воздуха, в раскалённой кабине поболее, дверь всегда открыта была, чтобы хоть какой-то сквознячок организовать, но пыль всё же не вся в кабину поднималась. А помощники умудрялись в бункере спать, подстелив на шнек соломки (если обмолот был неактивен). Там тише, меньше пыли, чем на мостике за кабиной, но сильно жарче.
                              0
                              Тут вот новость про беспилотный Torum 755 обсуждают habr.com/ru/post/510756.
                              Там тоже система от Cognitive Pilot?

                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                              Самое читаемое