Как японский фермер при помощи глубокого обучения и TensorFlow огурцы сортировал



    Возможности современных когнитивных систем все еще ограничены, но с течением времени они развиваются и становятся все совершеннее. Используют их уже во многих сферах, включая сельское хозяйство. Ярким примером этому является система, созданная японским инженером. Примерно год назад японец по имени Макото Койке решил помочь своим родителям, которые занимаются выращиванием огурцов. В Японии крупные и прямые огурцы считаются товаром экстра-класса, поэтому все фермеры стремятся выращивать эти овощи именно такой формы.

    Сделать это довольно тяжело, и Койке убедился в этом на своем опыте. «Каждый огурец отличается от других — все они бывают разной формы, качества и свежести», — говорит инженер. Для того, чтобы конечный продукт попал в магазины, овощи необходимо сортировать. В Японии насчитывается девять классов огурцов. Классификация производится согласно форме, размеру и ряду других свойств. Чем выше класс, тем дороже огурец.


    Классы огурцов согласно японским стандартам

    Сортировка — дело сложное. И хотя в Японии есть автоматические сортировочные машины, они не слишком популярны, поскольку довольно дороги, а работают не идеально. Инженер решил помочь родителям добиться идеальной автоматической сортировки овощей, создав собственный сортировщик. Для того, чтобы повысить качество и эффективность работы такой системы, он решил привлечь к сортировке нейронные сети. Сейчас они способны распознавать и классифицировать изображения с высокой степенью точности, превосходя возможности человека. Это касается как скорости, так и точности работы.

    Заботливый сын принял решение взять за основу своего огуречно-сортировочного алгоритма open-source разработку Google, TensorFlow. Год назад компания как раз открыла исходный код этого продукта для всех. TensorFlow позволяет разработчику использовать готовый код и возможности нейронных сетей, а не создавать все с нуля. Для создания собственного проекта необходимо скачать код, прочитать инструкцию, и можно начинать работу.

    Кроме кода, нужно еще и аппаратное обеспечение. Японец решил использовать Arduino Micro и Raspberry Pi 3. Электроника использовалась в качестве основного контроллера для работы с камерой и отсылки изображений в Google Cloud, где происходил анализ информации. Также платы управляют сервоприводами сортировщика.



    На первом этапе инженер обучил систему распознавать изображения и определять, изображен на фотографии огурец или нечто иное. После проверки работоспособности системы был создан более сложный алгоритм, который уже классифицировал огурцы согласно стандартам, принятым в Японии.

    После этого был разработан конвейер и сортировочная система. Камера фотографировала проходящие по конвейеру огурцы, нейронная сеть классифицировала их. Оставалось лишь распределять огурцы по ящикам, исходя из класса каждого овоща. Для этого Койке создал роботизированную руку, которая и занималась «физической работой».



    Для того, чтобы получить фотографии огурцов разных классов, отсортированных его матерью, японец потратил около трех месяцев. Ему пришлось сделать и загрузить в систему более 7000 снимков огурцов. И этого оказалось недостаточно. Когда проводился тест лишь с изображениями, система работала с точностью в 95%. Но когда дело дошло до фотографирования реальных огурцов, точность упала до 70%. Как оказалось, проблема заключается в том, что базы из нескольких тысяч фотографий недостаточно для качественного обучения системы.

    Вторая проблема заключается в том, что система потребляет много ресурсов, времени и энергии. Текущий сортировщик — это обычный десктопный ПК с Windows, который используется для тренировки нейронной сети. И хотя компьютер преобразует полученные фотокамерами снимки в изображения с разрешением 80*80 пикселей, обучение системы на их основе занимает 2-3 дня. Дело в том, что требуется несколько тысяч таких снимков. А поскольку фотографии имеют низкое разрешение, тот сортировщик оперирует такими свойствами, как форма, длина и уровень погрешности. Цвет, текстура, царапины — все это проходит незамеченным и на данном этапе не может быть использовано. Если увеличить разрешение фотографий, это увеличит точность работы системы. Но одновременно увеличится и время, которое требуется на обучение нейронной сети.

    Свою проблему японец планирует решить при помощи еще одного сервиса Google. Cейчас корпорация предлагает по низкой цене облачную платформу Cloud Machine Learning (Cloud ML). Здесь задействованы тысячи мощных серверов. Они эффективно обрабатывают информацию и помогают обучать нейронную систему на основе TensorFlow.

    Сейчас Макото Койке планирует использовать Google ML в своих целях. «Я могу использовать сервис для создания системы обучения на основе гораздо более качественных снимков. Также я могу использовать разные конфигурации, параметры и алгоритмы нейронной системы, что может помочь найти вариант, при котором система будет точнее всего».

    Пока что результаты работы Койке с Google ML недоступны, он продолжает эксперименты. Но не исключено, что уже через несколько месяцев огуречная ферма родителей японца будет поставлять овощи, классифицированные исключительно точно. Японцы все-таки перфекционисты.
    Support the author
    Share post

    Similar posts

    Comments 36

      0
      Давно не видел сорта с такой длиной огурца. Погуглил — «САХИО (ЯПОНИЯ)- один из лучших азиатских огурцов. Плоды длинные — до 50 см». Т.е. это на видео еще маленькие размеры.
        +1
        Когда в Питере было ещё живо тепличное хозяйство «Лето», было весело просить зимой в овощном ларьке взвесить «полметра огурца».
          0
          Именно этих советских тепличных огурцов давно не видел.
          image
            0
            Ха, у меня мама там работала диспетчером, огурцы эти там были сорта «Зозуля», если мне память не изменяет.
              +1
              Зозуля — это среднеплодные с небольшими пупырышками.
              А огурец-колбаса — как-то по-другому называется. Кстати, до сих пор продаются, просто они менее вкусные, чем короткоплодные, видимо, поэтому их магазины реже заказывают.
                0
                Да, точно, значит просто в памяти засело слово с тех времён.
            0
            У нас длинные огурцы-переростки не очень вкусом блещут. Самое оно небольшие-нестарые. И в мариновать хорошо. И в салатики там. Вот как с помощью ИИ определить, когда огурец срывать с грядки — вот это задача!
              0
              Искать на снимке цветы, затем завязь и отсчитывать необходимое количество дней.
            0
            О, post/280000/.
            Ну и таки да, японцы такие японцы.
            «девять классов огурцов», квадратные арбузы…
            Им этого гибрида из нейросети, малины и ардуины нужно каппой назвать.
              +6
              Прямые и круглые огурцы — те, которые скатываются по немного наклонённой поверхности. А вот кривые не могут и едут дальше.
                0
                ТРИЗ увлекаетесь? Или пример из книги Юрия Мороза?
                  +2
                  Напишите фермеру, что достаточно подобрать угол наклона плоскости, и нафиг не надо заморачиваться с ИИ. :) Авось он не сделает себе сепукку после этого…
                    +3
                    Под 9 то классов? Ну это уже не говоря о том, что (судя по проблемам с точностью) там должна учитываться не только форма.
                    Но вообще да, для более простого случая решение очень грамотное.
                    Кстати до ИИ (и японцев) мне, видимо далеко. По картинке с классами очевидной разницы, например, между BL-1, BL-10 и M-1, M-10,
                    BM-3 и 2L-9 я не вижу. Вспоминается байка про 50 оттенков серого типов снега, которые различают эскимосы.
                    0
                    Не пойдёт.
                    Огурцы худшего класса, судя по приведённым фотографиям, могут катиться по наклонной плоскости много лучше, чем более высокого класса.
                      0
                      Не повредит ли качение огурцу?
                      +2
                      Что будет, если помидор положить?
                        0
                        Либо зависнет, либо отбракует.
                          +2
                          А если зелёные бананы?

                          image
                            0
                            Фактура не та (банан значительно более матовый), пупырок нет. Вообще, может проще было бы горизонтальным лучом освещать овощ и находить длину отрезка пересечения?
                              +3
                              Фактура не та (банан значительно более матовый), пупырок нет.


                              А как тогда насчёт китайской горькой тыквы?

                              image
                                0
                                А ничего — я бы и не понял, что это тыква, если бы вы не сказали. Очень похоже на огурец.
                              • UFO just landed and posted this here
                        • UFO just landed and posted this here
                            +3
                            Просто пост от сотрудника Гугла в cloud.google.com
                            0
                            Шикарная теплица, и сорняков похоже еже нет
                              0
                              В промышленных теплицах грунт обрабатывается горячим паром — выживших нет.
                              0
                              А что, доработает, прибавит рук, увеличит скорость и вперёд — огурец сортируй, деньги получай — продавай сортировщик.
                                0
                                Вместо фотографий лучше сделать контрастную фотокамеру (белая траспортная лента ) и использовать сенсор и осветитель от планшетного сканера.
                                  +1
                                  Чем только не придумают заняться, лишь бы огурцы не сортировать.
                                    0
                                    Меня смущает что нейронка плавает где-то в облаке. Инет упал и производство встало.
                                    Да и цена вопроса — возможно дешевле нанять пачку китайце, их в японии дофига.
                                      0
                                      Это разовый метод. Тут, видимо, взгляд обращен в будущее — торговать технологию, а помощь маме — просто предлог
                                      –1
                                      Огурцы японские, короткоплодные… налетай народ, торопись, покупай… живопись огурцы
                                        –1
                                        Я думаю парень зашёл не с того конца, достаточно поставить 3д сканер и чисто математически вычислять ровный ли огурец и каких размеров, никакие тензор флоу там не нужны.
                                          –1
                                          И за что минус, что труднолазером замерить точки в пространтсве 20x5см? Или есть какие-то проблемы с тем что бы геометрический центр найти или центр масс и сравнить с эллипосидом?
                                          Кстати, 3д сейчас строят даже по тем же снимкам, если уж так прспичило камеру испльзовать.
                                            –1
                                            В карму ещё насрите, давно жду
                                              –1
                                              Солю на зиму 30Кг огурцов (бутеры по французки получаются просто офигенными), но кармы всё ещё не достаточно: одна банка помутнела, убийственности ей явно не хватает.

                                        Only users with full accounts can post comments. Log in, please.