Google Clips: первая камера с AI

    Google недавно провела конференцию, на которой представила очередные новинки, среди которых настоящий фурор произвела камера Google Clips. Представьте себе обычный цифровой фотоаппарат: смотрите в дисплей, корректируете настройки, нажимаете кнопку, чтобы сделать картинку… Так вот, в Clips ничего этого нет! Вместо человека за фотографию здесь отвечает искусственный интеллект, а вам остается только смотреть на клипы, которые получились в итоге. Дисплея у камеры нет вообще – она сама смотрит на мир своей линзой, и думает, что бы такого снять.


    Акции GoPro на следующий день после представления Google Clips упали на 5% и до сих пор не вернулись к прошлым уровням. А AI в камере уже поверг в шок Илона Маска — тем, что он теперь «даже не пытается казаться невинным». Бандеролька смотрит, откуда весь этот шум.



    Что за зверь


    Google Clips — маленький пластиковый девайс, квадратик со сторонами по пять сантиметров, который можно закрепить на рубашке как клипсу или поставить на стол. Внешне камера похожа на иконку Instagram, выскочившую в реальный мир. Цвет — белый спереди и бирюзовый сзади.


    Чтобы включить устройство, нужно всего лишь повернуть объектив. Дальше, по замыслу Google, вы можете забыть о камере. Clips сама отслеживает все, что происходит в ее 130-градусном поле зрения и записывает семисекундные клипы того, что ей покажется интересным. Со временем девайс запоминает лица и пытается делать больше снимков «знакомых» людей и меньше снимков случайных прохожих. Этот же AI распространяется и на животных. Незнакомую чужую кошку, прожегавшую мимо, Clips не заснимет, если та не сделала чего-нибудь особенного. А вот вашего любимого питомца — пожалуйста, достаточно тому красиво повернуть голову или поднять лапу.


    Google считает, что это будет очень мило: оставлять камеру присматривать за детьми или питомцами и возвращаться к нащелканным клипам с самыми забавными моментами. К тому же, камера перенимает привычки своих хозяев и со временем узнает лица тех людей и животных, которые часто попадают в её объектив.

    На традиционную камеру девайс похож разве что наличием объектива. Тут нет привычного затвора и видоискателя, устройство не предназначено для того, чтобы его держали в руках. Все, что есть — это силиконовая клипса, благодаря которой девайс можно ставить на горизонтальную поверхность или прикреплять к одежде под любым углом, и порт снизу для подзарядки. Клипы переносятся на смартфон по Wi-Fi и открываются там в специальном приложении. Между ними можно свайпать, чтобы оставлять понравившиеся кадры. Также есть секция с теми снимками, которые система считает «менее интересными». Клипы экспортируются в JPEG, GIF, видеоформаты и Motion Photos (для смартфонов Samsung).


    Как искусственный интеллект в Google Clips принимает решение о съемке? На презентации Джастон Пейн, глава команды разработчиков девайса, описал ход мыслей машины так:

    Всё начинает с вопроса: “Есть ли в кадре лицо? Знаю ли я это лицо? Есть ли у этого лица определенные свойства? Открытые глаза, улыбка и тому подобное”. Дальше ИИ задумывается о том, насколько хорошо сейчас будет выглядеть кадр. Подходящее ли освещение? Будет ли кадр размытым?
    На самом деле, все, конечно, немного сложнее. Например, у Clips есть необходимость в новизне: она постарается не давать вам одно и то же и учитывать те снимки, которые вам понравились.


    Пользователь также может выступить в качестве оператора. Спереди, под линзой, есть маленький затвор, при нажатии которого делается клип. А в приложении на смартфоне работает «прямой эфир». Можно видеть всё, на что смотрит камера, и удаленно приказать ей начать снимать.



    Большой Брат следит за тобой


    После презентации в США, естественно поднялся шум по поводу шпионства со стороны Google. Мол, ставить всевидящее око в своей комнате, которое еще и что-то там себе думает, — жутковато. Есть и другой лагерь — тех, кому дизайн-камеры кажется очень милыми, так что заподозрить такой няшный объект в слежке им кажется кощунством. Google уверяет, что вам всегда будет ясно, если камера делает снимки, потому что у неё будет моргать белый светодиод.


    Пытаясь избежать лишних слухов, разработчики также сделали все возможное, чтобы защитить личную информацию пользователя. Во-первых, вся работа Clips проводится локально. Она не отправляет никаких данных к гугловскому «надмозгу», кроме изображений, которые вы сами сохраняете в Google Photos. Распознавание лиц тоже осуществляется силами самой камеры. Она не знает, где живет человек, и не сопоставляет лица с именами в какой-нибудь базе. Во-вторых, созданные клипы никуда не отправляются. Они хранятся на камере — пока та не синхронизируется с вашим смартфоном, и вы сами не попросите их просмотреть. В-третьих, эти клипы зашифрованы. Если клипса вдруг упадет с вас во время прогулки, люди не смогут просмотреть то, что находится у неё под коробкой.


    Кстати, об этом…

    Что внутри


    В отличие от умной колонки Google Home, которая полностью полагается на подключение к облаку, Google Clips — вполне автономный объект. Она смотрит на то, что творится вокруг, выбирает момент, делает снимок, пересылает его на смартфон – и все это своими силами. Для девайса размером чуть больше спичечного коробка возможности очень внушительные. Об этом рассказал Реми Эль-Уаззана, глава команды Intel, работавший над маломощным процессором обработки изображений (VPU) для Clips:

    Мы все удивились, сколько интеллекта Google смогла вместить в такой маленький аппарат. Эта умная камера показывает уровень встроенного ИИ, о котором раньше мы могли только мечтать.

    Чтобы электронный мозг, работающий внутри Clips, научился отличать хорошую фотографию от плохой, Google сотрудничала с профессиональными монтажерами и целой армией оценщиков изображений. «Нет такой модели машинного обучения, которая могла бы сказать: вот по полу ползет ребенок, наверное, это выглядит хорошо, — объяснил Джастон Пейн. Поэтому Google собрала терабайты собственного видео. А потом оценщики выставили ему баллы, оно было промаркировано и стало тренировочной базой для искусственного интеллекта. Со временем девайс начал понимать психологию людей, чувствовать, что им нравится, что им интересно. Этот процесс не завершен: поставляющаяся с завода Google Clips всё еще продолжает учиться. Если доставить две идентичные камеры вам и вашему другу, через пару недель они начнут снимать разные вещи.



    У машинного обучения методом Google есть и недостаток. Пока что Clips хорошо распознает только людей и животных (на самом деле только кошек и собак – хомячки или домашние свинки камере не интересны). Вы не можете взять девайс в отпуск и надеяться, что она будет в восторге от заката или наделает клипов с колышущимися пальмами. Со временем Google собирается расширить модель машинного обучения, сделать так, чтобы она поддерживала больше ситуаций, была способна понимать мир.


    Что касается технических спецификаций, устройство оснащено сенсором с 12 Мпикс; оно способно записывать серию кадров на скорости 15 fps. Внутреннее хранилище – на 16 ГБ кажется очень скромным, но на деле этого достаточно, чтобы хранить два полных дня клипов. Микрофона нет, девайс может записывать только изображения. Батареи хватает на плюс-минус три часа активной работы — зависит от того, есть ли что-то интересное, что она может снимать. Если ничего нет, камере, как говорят представители Google, «становится скучно».


    Сухой остаток


    Пока что Clips умеет работать только со смартфонами Pixel, iPhone, Samsung Galaxy S7 и Galaxy S8. Руководители проекта обещают, что поддержка других смартфонов тоже не за горами. Официальной даты выпуска камеры на презентации не назвали. Мы знаем только то, что она будет стоить $249 и появится в продаже в США в «ближайшем будущем».



    Google ожидает, что девайс будет востребован у молодых семей, владельцев собак или кошек и просто тех, кто хочет интересных снимков, но слишком занят, чтобы сидеть и ждать идеального кадра. У Clips есть потенциал объединить в себе функции GoPro, обычной «мыльницы» и камеры для «лайфлоггинга». Смущает только невысокое качество снимков. Но все обзорщики, которые получили доступ к девайсу, соглашаются, что искусственный интеллект в нем — это не маркетинговая уловка, а действительно вполне полезный и интересный помощник. Ставишь камеру в комнате и спокойно играешь со своими детьми, забыв обо всём лишнем. А через пару часов на камере полно клипов с самыми интересными моментами.


    О поставках Google Clips в Россию речи пока не идет. Но все остальные популярные гаджеты, включая подешевевший «седьмой» или новый «восьмой» iPhone, из США по самым выгодным тарифам доставляет Бандеролька. Экономьте деньги, покупая девайсы напрямую в Америке. До 31 октября мы бесплатно помогаем оформить заказы в 7 американских магазинах (там можно прикупить, например, хорошую одежду по адекватным ценам). А читатели Geektimes, регистрирующиеся по этой ссылке, получают скидку 7% на свою первую доставку. Впереди Чёрная пятница, пора начинать готовиться!




    Еще несколько статей от Бандерольки:


    Бандеролька
    Компания
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 24

      +4
      Во-первых, вся работа Clips проводится локально.

      А вот это очень здорово. Теперь реально задумаюсь о покупке такого девайса. От вычисления всего и вся на непонятных серверах и работе только с интернетом уже тошнит.
      • НЛО прилетело и опубликовало эту надпись здесь
          0
          Это в первой версии, в следующей они сделают «более умную» камеру с интеграцией с Гуглом.
          +2
          Отлично, появилась камера робот которая сама будет снимать фотки. Ждём робота от гугла который сам будет смотреть фотки. Человек тут должен оплачивать камеру и носить ее пока не появится робот от гугла который и этим займётся
            +3
            Ну, настройку выдержки, контрастности и прочих параметров снимка в потребительском сегменте и так уже отдали роботу. Если робот еще и может подловить хороший момент — то почему бы и нет.

            Хотя правда, с того времени как бездушные машины сделали так что один снимок занимает меньше получаса фотография уже не та…
            0
            Хм…
            А девайс имеет право на жизнь.
            Прям для таких лентяев как я.
              +3
              Осталось выпустить бота, который будет на основе нейросети оценивать няшность снимков и ставить лайки в соцсетях.
              — Вы че? А, это вы и пальцы за меня загибать будете?
              — Ага!
              — Эй, эй! Алё! стоп! Вы что это? И конфеты за меня есть будете?
              — Ага!
              Вот где замечательно обыграны все проблемы с ИИ:)
                0
                Ждал этого комментария.
                А по делу — относительно недавно уже была статья, где сетку учили обрабатывать фотографии (кстати тоже с гуглопанорам. Не помню, не они ли тоже поучаствовали). Плюс АИ фильтры от адоба (недавно где-то статья проскакивала про следующее поколение интеллектуальных подчищателей). Так что скоро это может перестать быть шуткой.
                Главное чтобы она сама ещё и в сеть это не выкладывала. Или даже не сообщала сразу «куда следует» «если вдруг что». А то ведь с современными тенденциями кто-нибудь может и до такого додуматься. На полицейских камеры много где давно висят, а тут можно и на остальных повесить.
                  0
                  Ага, а если снимет что-то совсем интересное (ну с кем не бывает, забыли выключить или решили посмотреть, как это со стороны), то после обработки выкладывает не просто в сеть, а на целевой ресурс. Порнохаб, к примеру… =)
                    +1
                    Кстати да, без этого не зачёт. :)
                      +1
                      Собственно, когда пару недель назад устройство было анонсировано, это было первой мыслью. Идея такой камеры мне по-прежнему кажется сомнительной.
                    0
                    Я такой написал на пыхе пару лет назад, который брал фотки из профиля вк, отправлял их на апи какой-то лаборатории в Швейцарии и ставил лайки аватаркам.
                    0

                    а мне интересно про нейросеть внутри — как убедиться, что она сама там "в коробочке" обучается? И что на нее не будет влиять например "25й кадр" (или — что она будет любить фоткать, если ей устроить марафон мыльных опер)? Как сбросить ее настройки обратно в заводские или прошить новую (свою) версию ?

                      0
                      Вряд ли они переучивают саму нейросеть, скорее всего отдельно от нейросети есть база с известными ей лицами (в виде, скажем, коэффициентов одного из внутренних слоёв сети), что подтверждается отсутствием реакции камеры на домашних животных, отличных от кошек и собак. Таким образом достигается определённый уровень подстройки при стабильно обученной сети и низком энергопотреблении.
                        +1

                        на вопрос "как такое можно сделать" я знаю ответ. Я не знаю — как именно это сделали у Гугла. И какие там предусмотрены каналы и параметры для изменений/управления.

                      0
                      Илон Маск повергнут в шок. Лежит на полу своего кабинета в позе эмбриона и повторяет: «Камера… Искусственный Интеллект… Камера… Искусственный Интеллект… »
                      Вы прочтите, пожалуйста, в Википедии что такое шок и чем он отличается от поста в Твиттере. Или уж сразу на РенТВ идите работать, чего таланту пропадать.
                        0

                        Кстати, про шок — вот ранее можно было услышать мнение Маска про ИИ, но наконец-то можно услышать и мнение ИИ про Маска. Да, это пока не полный ИИ, а всего-лишь рекуррентная LSTM, но ей уже есть что сказать — и "если вы будете вести себя хорошо, то мы тоже будем" не очень похоже на "три закона роототехники" ....


                        PS: только сейчас заметил, что там по ссылке два ролика — вверху рекламный, а внизу под статьей — самО интервью. Тем более забавно, что эту фразу из рекламного ролика вырезали.

                        +1
                        Напомнило фильм Сфера (The circle). А думал ещё лет 5-10…
                          +1
                          Будет со временем узнавать лица животных? Это статью, наверное, тоже Гугл переводил?
                            +1
                            И ни слова про автономность…
                              –1
                              Google уверяет, что вам всегда будет ясно, если камера делает снимки, потому что у неё будет моргать белый светодиод.
                              Это значит, что когда юзер и майор снимают одновременно, то светодиод моргает, а когда только майор (всё остальное время), то светодиод не моргает.
                              Микрофона нет.
                              Для юзеров объявлено, что микрофона нет. Но для майора есть встроенный в интегралку микрофон.
                              Вся работа Clips проводится локально… созданные клипы никуда не отправляются. Они хранятся на камере — пока та не синхронизируется с вашим смартфоном.
                              Вот как раз в этот момент клипы и отправляются на центральные сервера, так как сегодня все гаджеты и роутеры находятся под контролем Центра, как на программном уровне, так и на аппаратном.
                                –1
                                Если её научить определять, что с человеком что-то не то, то может получиться не только стрёмный, но и полезный девайс, например, для ухода за больными и стариками, или для случаев, когда тебе 31 и у тебя случился инсульт.
                                  0
                                  Оставлять камеру присматривать за детьми… да, в будущем уже нет места доверию.
                                    0
                                    Для СЛЕЖКИ И КОНТРОЛЯ есть модели с прямой трансляцией и возможностью крикнуть «а ну отошел от розетки и положи спицы где взял!». Тут скорее прикольные фоточки ребенка, оставленого в манеже.

                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                  Самое читаемое