Как стать автором
Обновить

Google представила облачное API для распознавания объектов на видео

Время на прочтение 44 мин
Количество просмотров 18K

Пример работы Cloud Video Intelligence API
Животное (97,76%)
Дикое животное (92,16%)
Тигр (90,11%)
Сухопутное животное (68,17%)
Бенгальский тигр (64,77%)
Усы (63,30%)
Зоопарк (58,16%)
Ревущие кошки (56,41%)
Кошка (44,12%)


Компания Google объявила о выпуске нового облачного сервиса Cloud Video Intelligence API (сейчас в стадии закрытого бета-тестирования). Это первое на рынке API для обработки видео с распознаванием объектов.

Cloud Video Intelligence API предназначен для обработки видеоконтента. Видеоролики становятся индексируемыми, с поиском по содержимому. Можно отследить все появления искомого объекта, продолжительность этих появлений, оценить их важность. Например, автоматически находить все сцены секса в многолетнем архиве с камер наблюдения. Поиск по видео становится таким же простым, как поиск по текстовым документам. Сами видеоролики в сервис можно загружать напрямую по мере надобности или интегрировав с Google Cloud Storage.

Системы глубинного обучения, нейросети и ИИ — это уже не игрушка для научных экспериментов, а реальная технология, которая всё чаще применяется в бизнесе. В таких областях как компьютерное зрение, распознавание речи, обработка естественного языка. Нейросети помогают предсказать, когда в сети произойдёт деградация (анализ твитов с геотегами), какой товар захочет купить покупатель. Слабый ИИ выявляет фродовые транзакции и осуществляет анализ медицинских изображений, помогая поставить диагноз.

Google является одним из лидером в научных разработках по изучению нейросетей, а сейчас это научное лидерство постепенно конвертируется в прибыль по мере того, как коммерческие компании начинают использовать системы ИИ в своей деятельности. С точки зрения ситуации на облачном рынке, эксперты говорят, что сервисы вроде распознавания объектов на фотографиях и видеороликах — это попытка Google подтянуться к двум лидерам: Amazon и Microsoft. То есть Google пытается использовать своё интеллектуальное превосходство над конкурентами, чтобы достать их.

Cloud Video Intelligence API распознаёт не только существительные (тигр, животное, собака, цветок), но и некоторые глаголы (бежать, плавать, летать) в содержимом видеороликов. Здесь используются алгоритмы машинного обучения Google, созданные с использованием TensorFlow и других фремйворков.

На странице с описанием есть два демо-примера, на которых показываются возможности системы. Кроме присвоения меток, как на первом скриншоте, она автоматически разбивает видеоролик на последовательность сцен — и показывает метки для каждой сцены. То есть система распознаёт изменение сцен.



Метаданные из видеоматериалов Cloud Video Intelligence API извлекаются простым в использованием REST API. На демо-странице опять же приводится пример такого запроса и ответа.

Запрос на аннотирование

https://videointelligence.googleapis.com/v1beta1/videos:annotate?key=YOUR_API_KEY_HERE

Тело запроса на аннотирование

{
  "inputUri": "gs://cloudmleap/video/next/animals.mp4",
  "features": [
    "LABEL_DETECTION",
    "SHOT_CHANGE_DETECTION"
  ]
}

Ответ с аннотациями

{
  "name": "europe-west1.8668160167827035855"
}

Запрос операции

https://videointelligence.googleapis.com/v1/operations/europe-west1.8668160167827035855?key=YOUR_API_KEY_HERE

Ответ
{
  "name": "europe-west1.8668160167827035855",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.videointelligence.v1beta1.AnnotateVideoProgress",
    "annotationProgress": [
      {
        "inputUri": "/cloudmleap/video/next/animals.mp4",
        "progressPercent": 100,
        "startTime": "2017-03-10T07:43:08.708173Z",
        "updateTime": "2017-03-10T07:43:16.478607Z"
      },
      {
        "inputUri": "/cloudmleap/video/next/animals.mp4",
        "progressPercent": 100,
        "startTime": "2017-03-10T07:43:08.708173Z",
        "updateTime": "2017-03-10T07:43:17.493023Z"
      }
    ]
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.videointelligence.v1beta1.AnnotateVideoResponse",
    "annotationResults": [
      {
        "inputUri": "/cloudmleap/video/next/animals.mp4",
        "labelAnnotations": [
          {
            "description": "African elephant",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.89221686,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Android",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.7447677,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.41145295,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Animal",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "-1",
                  "endTimeOffset": "-1"
                },
                "confidence": 0.9850994,
                "level": "VIDEO_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "83458",
                  "endTimeOffset": "1584934"
                },
                "confidence": 0.8952162,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "9592934",
                  "endTimeOffset": "13596870"
                },
                "confidence": 0.9594428,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "13638599",
                  "endTimeOffset": "15306991"
                },
                "confidence": 0.9497467,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "23231533",
                  "endTimeOffset": "26818435"
                },
                "confidence": 0.91483617,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "26860164",
                  "endTimeOffset": "28695344"
                },
                "confidence": 0.9850994,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.97762877,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "30363608",
                  "endTimeOffset": "32282246"
                },
                "confidence": 0.7097968,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "32323975",
                  "endTimeOffset": "33241501"
                },
                "confidence": 0.9594428,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "33283230",
                  "endTimeOffset": "34492731"
                },
                "confidence": 0.9446105,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "34534460",
                  "endTimeOffset": "35160139"
                },
                "confidence": 0.8952162,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.9814149,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "37579269",
                  "endTimeOffset": "38830499"
                },
                "confidence": 0.9850994,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "38872228",
                  "endTimeOffset": "39873212"
                },
                "confidence": 0.92503697,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.9844126,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "41958638",
                  "endTimeOffset": "42959622"
                },
                "confidence": 0.9880168,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.9529697,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "45795786",
                  "endTimeOffset": "47630966"
                },
                "confidence": 0.96517783,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.8952162,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "52385640",
                  "endTimeOffset": "55513779"
                },
                "confidence": 0.9497467,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "55555508",
                  "endTimeOffset": "56765009"
                },
                "confidence": 0.9696604,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "56806738",
                  "endTimeOffset": "58057968"
                },
                "confidence": 0.9844126,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "61770057",
                  "endTimeOffset": "63188075"
                },
                "confidence": 0.52341515,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "65148442",
                  "endTimeOffset": "67108681"
                },
                "confidence": 0.96517783,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "81748392",
                  "endTimeOffset": "83124681"
                },
                "confidence": 0.9850994,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "83166410",
                  "endTimeOffset": "84209123"
                },
                "confidence": 0.9594428,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Animation",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "7382321",
                  "endTimeOffset": "9551205"
                },
                "confidence": 0.71536106,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "9592934",
                  "endTimeOffset": "13596870"
                },
                "confidence": 0.50700074,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Aquarium",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "52385640",
                  "endTimeOffset": "55513779"
                },
                "confidence": 0.66549724,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Beak",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "55555508",
                  "endTimeOffset": "56765009"
                },
                "confidence": 0.77501494,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Bengal tiger",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.64773124,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "38872228",
                  "endTimeOffset": "39873212"
                },
                "confidence": 0.8644828,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.59538835,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Bird",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "55555508",
                  "endTimeOffset": "56765009"
                },
                "confidence": 0.9931627,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Black",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "endTimeOffset": "41729"
                },
                "confidence": 0.70951056,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Body of water",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.8843631,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Branch",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "1626663",
                  "endTimeOffset": "3211597"
                },
                "confidence": 0.59518576,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "3253198",
                  "endTimeOffset": "5296895"
                },
                "confidence": 0.59518576,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Carnivores",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "32323975",
                  "endTimeOffset": "33241501"
                },
                "confidence": 0.4039546,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.52672577,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Cat",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "13638599",
                  "endTimeOffset": "15306991"
                },
                "confidence": 0.6540427,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "26860164",
                  "endTimeOffset": "28695344"
                },
                "confidence": 0.81855905,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.44117302,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "32323975",
                  "endTimeOffset": "33241501"
                },
                "confidence": 0.8062887,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.7889559,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Cattle",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "41958638",
                  "endTimeOffset": "42959622"
                },
                "confidence": 0.5799711,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Chipmunk",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "9592934",
                  "endTimeOffset": "13596870"
                },
                "confidence": 0.5361945,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "13638599",
                  "endTimeOffset": "15306991"
                },
                "confidence": 0.5034101,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Communication Device",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.9136269,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.5841158,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.9136269,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.9405665,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Consumer electronics",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.8531199,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.7966925,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.79614824,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.74901456,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Craft",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "21312895",
                  "endTimeOffset": "23189804"
                },
                "confidence": 0.7232958,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Display device",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.6566272,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.527363,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Dog",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "83166410",
                  "endTimeOffset": "84209123"
                },
                "confidence": 0.6979326,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Electronic device",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.8830752,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.4444712,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.4444712,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Elephant",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.9120662,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Elephants",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.9187563,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Facial expression",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "17225501",
                  "endTimeOffset": "19477843"
                },
                "confidence": 0.44210455,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Feature phone",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.6804405,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.6868115,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.70522815,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Fish",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "52385640",
                  "endTimeOffset": "55513779"
                },
                "confidence": 0.67274684,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "65148442",
                  "endTimeOffset": "67108681"
                },
                "confidence": 0.45693684,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Flora",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "3253198",
                  "endTimeOffset": "5296895"
                },
                "confidence": 0.6021202,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Fur",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "26860164",
                  "endTimeOffset": "28695344"
                },
                "confidence": 0.62052464,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "32323975",
                  "endTimeOffset": "33241501"
                },
                "confidence": 0.5825671,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "83166410",
                  "endTimeOffset": "84209123"
                },
                "confidence": 0.83816683,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Gadget",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.87584877,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "69360895",
                  "endTimeOffset": "71946813"
                },
                "confidence": 0.40696934,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.80872256,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.9088438,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.87584877,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Giraffe",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "83458",
                  "endTimeOffset": "1584934"
                },
                "confidence": 0.7888411,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "37579269",
                  "endTimeOffset": "38830499"
                },
                "confidence": 0.9983481,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Giraffidae",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "37579269",
                  "endTimeOffset": "38830499"
                },
                "confidence": 0.8244073,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Graphic design",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "92801073",
                  "endTimeOffset": "93218107"
                },
                "confidence": 0.41958028,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "93259836",
                  "endTimeOffset": "98056239"
                },
                "confidence": 0.41958028,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Graphics",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "84667886",
                  "endTimeOffset": "92759344"
                },
                "confidence": 0.42916313,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "92801073",
                  "endTimeOffset": "93218107"
                },
                "confidence": 0.6215783,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "93259836",
                  "endTimeOffset": "98056239"
                },
                "confidence": 0.6030297,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "House",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "19519444",
                  "endTimeOffset": "21271294"
                },
                "confidence": 0.41790316,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Indian elephant",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.7122813,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Jungle",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.41892967,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Leaf",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "1626663",
                  "endTimeOffset": "3211597"
                },
                "confidence": 0.6517387,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "3253198",
                  "endTimeOffset": "5296895"
                },
                "confidence": 0.9094892,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Logo",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "84667886",
                  "endTimeOffset": "92759344"
                },
                "confidence": 0.5190213,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "92801073",
                  "endTimeOffset": "93218107"
                },
                "confidence": 0.53628016,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "93259836",
                  "endTimeOffset": "98056239"
                },
                "confidence": 0.60437465,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Mascot",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "9592934",
                  "endTimeOffset": "13596870"
                },
                "confidence": 0.52543926,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "13638599",
                  "endTimeOffset": "15306991"
                },
                "confidence": 0.44586235,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Mobile device",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.9754991,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.85469896,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.9667602,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.9533528,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Mobile phone",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.9769415,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "69360895",
                  "endTimeOffset": "71946813"
                },
                "confidence": 0.48726135,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.8672257,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.96640646,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.97986317,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Multimedia",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.44397694,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.41997322,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.45259473,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Nature",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "-1",
                  "endTimeOffset": "-1"
                },
                "confidence": 0.50565904,
                "level": "VIDEO_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "1626663",
                  "endTimeOffset": "3211597"
                },
                "confidence": 0.4795686,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "3253198",
                  "endTimeOffset": "5296895"
                },
                "confidence": 0.87490076,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "15348720",
                  "endTimeOffset": "17183772"
                },
                "confidence": 0.54313797,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "19519444",
                  "endTimeOffset": "21271294"
                },
                "confidence": 0.94635874,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "23231533",
                  "endTimeOffset": "26818435"
                },
                "confidence": 0.7222316,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "30363608",
                  "endTimeOffset": "32282246"
                },
                "confidence": 0.57741284,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "38872228",
                  "endTimeOffset": "39873212"
                },
                "confidence": 0.474022,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.474022,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.9293757,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.9293757,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Nature reserve",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.44622806,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.48912042,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Palm trees",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "15348720",
                  "endTimeOffset": "17183772"
                },
                "confidence": 0.80078065,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Pet",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "55555508",
                  "endTimeOffset": "56765009"
                },
                "confidence": 0.41684255,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "56806738",
                  "endTimeOffset": "58057968"
                },
                "confidence": 0.41684255,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "83166410",
                  "endTimeOffset": "84209123"
                },
                "confidence": 0.5270497,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Plant",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "3253198",
                  "endTimeOffset": "5296895"
                },
                "confidence": 0.72045994,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "19519444",
                  "endTimeOffset": "21271294"
                },
                "confidence": 0.4347451,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.41064587,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Plant stem",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "3253198",
                  "endTimeOffset": "5296895"
                },
                "confidence": 0.8578779,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Plush",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "9592934",
                  "endTimeOffset": "13596870"
                },
                "confidence": 0.74255526,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "13638599",
                  "endTimeOffset": "15306991"
                },
                "confidence": 0.53740776,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Portable communications device",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.8782257,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.77704453,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.8725347,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.8802977,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Rabbit",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "13638599",
                  "endTimeOffset": "15306991"
                },
                "confidence": 0.79631186,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Rapids",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.6308835,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "River",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.6829149,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Roaring cats",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.564093,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "38872228",
                  "endTimeOffset": "39873212"
                },
                "confidence": 0.6252642,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.537465,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Samsung",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.45737183,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Saw",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "21312895",
                  "endTimeOffset": "23189804"
                },
                "confidence": 0.49702922,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Smartphone",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.97850716,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "69360895",
                  "endTimeOffset": "71946813"
                },
                "confidence": 0.41317958,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.83762443,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.9778874,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.9857585,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Smile",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "17225501",
                  "endTimeOffset": "19477843"
                },
                "confidence": 0.6786328,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "71988542",
                  "endTimeOffset": "73490146"
                },
                "confidence": 0.4861825,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Snout",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "83166410",
                  "endTimeOffset": "84209123"
                },
                "confidence": 0.78420043,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Song",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "13638599",
                  "endTimeOffset": "15306991"
                },
                "confidence": 0.4209878,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Stream",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.8769414,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Stuffed toy",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "9592934",
                  "endTimeOffset": "13596870"
                },
                "confidence": 0.7915379,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "13638599",
                  "endTimeOffset": "15306991"
                },
                "confidence": 0.40931365,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Telephone",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "67150410",
                  "endTimeOffset": "69319294"
                },
                "confidence": 0.85756797,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "73531747",
                  "endTimeOffset": "75909148"
                },
                "confidence": 0.42652282,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "75950877",
                  "endTimeOffset": "78036303"
                },
                "confidence": 0.90821534,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.85756797,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Terrestrial animal",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "-1",
                  "endTimeOffset": "-1"
                },
                "confidence": 0.536368,
                "level": "VIDEO_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.6816744,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.6125775,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "37579269",
                  "endTimeOffset": "38830499"
                },
                "confidence": 0.7665409,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "38872228",
                  "endTimeOffset": "39873212"
                },
                "confidence": 0.60995924,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.5185323,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Text",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "84667886",
                  "endTimeOffset": "92759344"
                },
                "confidence": 0.696517,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "92801073",
                  "endTimeOffset": "93218107"
                },
                "confidence": 0.4823912,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "93259836",
                  "endTimeOffset": "98056239"
                },
                "confidence": 0.4200642,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Text messaging",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "78078032",
                  "endTimeOffset": "81706663"
                },
                "confidence": 0.49540573,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Tiger",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.90107197,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "32323975",
                  "endTimeOffset": "33241501"
                },
                "confidence": 0.68852603,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "33283230",
                  "endTimeOffset": "34492731"
                },
                "confidence": 0.5181764,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "34534460",
                  "endTimeOffset": "35160139"
                },
                "confidence": 0.95753914,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "38872228",
                  "endTimeOffset": "39873212"
                },
                "confidence": 0.9620449,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.90134215,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Tourism",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "-1",
                  "endTimeOffset": "-1"
                },
                "confidence": 0.4736032,
                "level": "VIDEO_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "23231533",
                  "endTimeOffset": "26818435"
                },
                "confidence": 0.7137501,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "30363608",
                  "endTimeOffset": "32282246"
                },
                "confidence": 0.4133858,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.6857583,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.59528834,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.6857583,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "52385640",
                  "endTimeOffset": "55513779"
                },
                "confidence": 0.4736032,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Tourist destination",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "-1",
                  "endTimeOffset": "-1"
                },
                "confidence": 0.4342352,
                "level": "VIDEO_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "23231533",
                  "endTimeOffset": "26818435"
                },
                "confidence": 0.77993846,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.6600144,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.7183539,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.71695065,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Toy",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "9592934",
                  "endTimeOffset": "13596870"
                },
                "confidence": 0.57369184,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Tree",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "1626663",
                  "endTimeOffset": "3211597"
                },
                "confidence": 0.5587302,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "19519444",
                  "endTimeOffset": "21271294"
                },
                "confidence": 0.8711515,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.8734739,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Underwater",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "52385640",
                  "endTimeOffset": "55513779"
                },
                "confidence": 0.45049176,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "65148442",
                  "endTimeOffset": "67108681"
                },
                "confidence": 0.90563846,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "81748392",
                  "endTimeOffset": "83124681"
                },
                "confidence": 0.45049176,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Vegetation",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.45803612,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Water feature",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.9122097,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Water resources",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.61155117,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Watercourse",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.55837154,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Waterfall",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.92332006,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Whiskers",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "26860164",
                  "endTimeOffset": "28695344"
                },
                "confidence": 0.70904154,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.633004,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "32323975",
                  "endTimeOffset": "33241501"
                },
                "confidence": 0.6301133,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "34534460",
                  "endTimeOffset": "35160139"
                },
                "confidence": 0.5065674,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.5323837,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Wildlife",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "-1",
                  "endTimeOffset": "-1"
                },
                "confidence": 0.94118625,
                "level": "VIDEO_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "23231533",
                  "endTimeOffset": "26818435"
                },
                "confidence": 0.9175038,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "26860164",
                  "endTimeOffset": "28695344"
                },
                "confidence": 0.6023959,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.92160356,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "33283230",
                  "endTimeOffset": "34492731"
                },
                "confidence": 0.9175038,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "34534460",
                  "endTimeOffset": "35160139"
                },
                "confidence": 0.7541614,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "37579269",
                  "endTimeOffset": "38830499"
                },
                "confidence": 0.94118625,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "38872228",
                  "endTimeOffset": "39873212"
                },
                "confidence": 0.82810974,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.82810974,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.8351515,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.45038256,
                "level": "SHOT_LEVEL"
              }
            ]
          },
          {
            "description": "Zoo",
            "languageCode": "en-us",
            "locations": [
              {
                "segment": {
                  "startTimeOffset": "-1",
                  "endTimeOffset": "-1"
                },
                "confidence": 0.9060432,
                "level": "VIDEO_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "23231533",
                  "endTimeOffset": "26818435"
                },
                "confidence": 0.8143075,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "28737073",
                  "endTimeOffset": "30322007"
                },
                "confidence": 0.58159506,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "33283230",
                  "endTimeOffset": "34492731"
                },
                "confidence": 0.5717353,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "35201868",
                  "endTimeOffset": "37537540"
                },
                "confidence": 0.920275,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "37579269",
                  "endTimeOffset": "38830499"
                },
                "confidence": 0.6610618,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "38872228",
                  "endTimeOffset": "39873212"
                },
                "confidence": 0.74015945,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "39914813",
                  "endTimeOffset": "41916909"
                },
                "confidence": 0.75921035,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "44586157",
                  "endTimeOffset": "45754057"
                },
                "confidence": 0.9589248,
                "level": "SHOT_LEVEL"
              },
              {
                "segment": {
                  "startTimeOffset": "47672567",
                  "endTimeOffset": "52343911"
                },
                "confidence": 0.9589248,
                "level": "SHOT_LEVEL"
              }
            ]
          }
        ],
        "shotAnnotations": [
          {
            "endTimeOffset": "41729"
          },
          {
            "startTimeOffset": "83458",
            "endTimeOffset": "1584934"
          },
          {
            "startTimeOffset": "1626663",
            "endTimeOffset": "3211597"
          },
          {
            "startTimeOffset": "3253198",
            "endTimeOffset": "5296895"
          },
          {
            "startTimeOffset": "5338624",
            "endTimeOffset": "7340720"
          },
          {
            "startTimeOffset": "7382321",
            "endTimeOffset": "9551205"
          },
          {
            "startTimeOffset": "9592934",
            "endTimeOffset": "13596870"
          },
          {
            "startTimeOffset": "13638599",
            "endTimeOffset": "15306991"
          },
          {
            "startTimeOffset": "15348720",
            "endTimeOffset": "17183772"
          },
          {
            "startTimeOffset": "17225501",
            "endTimeOffset": "19477843"
          },
          {
            "startTimeOffset": "19519444",
            "endTimeOffset": "21271294"
          },
          {
            "startTimeOffset": "21312895",
            "endTimeOffset": "23189804"
          },
          {
            "startTimeOffset": "23231533",
            "endTimeOffset": "26818435"
          },
          {
            "startTimeOffset": "26860164",
            "endTimeOffset": "28695344"
          },
          {
            "startTimeOffset": "28737073",
            "endTimeOffset": "30322007"
          },
          {
            "startTimeOffset": "30363608",
            "endTimeOffset": "32282246"
          },
          {
            "startTimeOffset": "32323975",
            "endTimeOffset": "33241501"
          },
          {
            "startTimeOffset": "33283230",
            "endTimeOffset": "34492731"
          },
          {
            "startTimeOffset": "34534460",
            "endTimeOffset": "35160139"
          },
          {
            "startTimeOffset": "35201868",
            "endTimeOffset": "37537540"
          },
          {
            "startTimeOffset": "37579269",
            "endTimeOffset": "38830499"
          },
          {
            "startTimeOffset": "38872228",
            "endTimeOffset": "39873212"
          },
          {
            "startTimeOffset": "39914813",
            "endTimeOffset": "41916909"
          },
          {
            "startTimeOffset": "41958638",
            "endTimeOffset": "42959622"
          },
          {
            "startTimeOffset": "43001351",
            "endTimeOffset": "44544556"
          },
          {
            "startTimeOffset": "44586157",
            "endTimeOffset": "45754057"
          },
          {
            "startTimeOffset": "45795786",
            "endTimeOffset": "47630966"
          },
          {
            "startTimeOffset": "47672567",
            "endTimeOffset": "52343911"
          },
          {
            "startTimeOffset": "52385640",
            "endTimeOffset": "55513779"
          },
          {
            "startTimeOffset": "55555508",
            "endTimeOffset": "56765009"
          },
          {
            "startTimeOffset": "56806738",
            "endTimeOffset": "58057968"
          },
          {
            "startTimeOffset": "58099697",
            "endTimeOffset": "59392656"
          },
          {
            "startTimeOffset": "59434385",
            "endTimeOffset": "61728328"
          },
          {
            "startTimeOffset": "61770057",
            "endTimeOffset": "63188075"
          },
          {
            "startTimeOffset": "63229804",
            "endTimeOffset": "65106713"
          },
          {
            "startTimeOffset": "65148442",
            "endTimeOffset": "67108681"
          },
          {
            "startTimeOffset": "67150410",
            "endTimeOffset": "69319294"
          },
          {
            "startTimeOffset": "69360895",
            "endTimeOffset": "71946813"
          },
          {
            "startTimeOffset": "71988542",
            "endTimeOffset": "73490146"
          },
          {
            "startTimeOffset": "73531747",
            "endTimeOffset": "75909148"
          },
          {
            "startTimeOffset": "75950877",
            "endTimeOffset": "78036303"
          },
          {
            "startTimeOffset": "78078032",
            "endTimeOffset": "81706663"
          },
          {
            "startTimeOffset": "81748392",
            "endTimeOffset": "83124681"
          },
          {
            "startTimeOffset": "83166410",
            "endTimeOffset": "84209123"
          },
          {
            "startTimeOffset": "84250852",
            "endTimeOffset": "84626157"
          },
          {
            "startTimeOffset": "84667886",
            "endTimeOffset": "92759344"
          },
          {
            "startTimeOffset": "92801073",
            "endTimeOffset": "93218107"
          },
          {
            "startTimeOffset": "93259836",
            "endTimeOffset": "98056239"
          }
        ]
      }
    ]
  }
}

Использование Cloud Video Intelligence API — удобный способ извлекать содержимое видеороликов без использования собственных систем машинного обучения или компьютерного зрения.

Сейчас платформа Google поддерживает выбор региона, где будет происходить обработка видеоматериала (для соответствия нормативным требованиям).

Google обещает улучшать сервис, добавляя новую функциональность в Cloud Video Intelligence API на протяжении периода бета-тестирования. В самом деле, сейчас некоторых функций явно не хватает. Например, система не поддерживает распознавание лиц. Представьте с точки зрения отдела безопасности, как удобно было бы простым запросом к API определить встречались ли сотрудники А и Б между собой на территории офиса и рядом с ним за последний год. Как часто встречались и как увеличивалась среднее медианное продолжительности их разговоров за временной период.

Можно представить, что API распознавания объектов на видео начнут использовать в сельском хозяйстве, где сейчас почти всё автоматизировано, кроме некоторых работ по сбору урожая и других. С помощью API роботы смогут эффективно собирать фрукты, овощи и ягоды. Следовательно, компьютерная система позволит избавиться от остатков рабочей силы, которую сейчас приходится привлекать для сбора урожая, посевных работ. В перспективе такие API позволят освободить от работы миллионы инспекторов качества на производственных линиях, погрузчиков на складах, мойщиков окон, сортировщиков товаров, охранников и других низкоквалифицированных работников — продвинутое машинное зрение позволит отдохнуть работникам сотен разных специальностей.

С последним обновлением Google ещё больше расширяет платформу Cloud Machine Learning, которая теперь включает в себя сервисы Vision, Video Intelligence, Speech, Natural Language, Translation и Jobs. Все эти интерфейсы в совокупности позволяют современным компаниям использовать возможности нейросетей в своей работе.

Кроме Cloud Video Intelligence API компания Google сделала ещё несколько анонсов в области машинного зрения, в том числе обновила Cloud Vision API до версии 1.1 (beta). Это популярные интерфейсы для распознавания объектов на изображениях. С момента запуска в апреле 2016 года платформа уже обработала более 1 миллиарда изображений. В новой версии Google добавила возможность продвинутого распознавания символов, способного распознавать текст на сканах документов с большим количеством текста — контрактов, книг, научных работ.

Распознавание объектов на фото — удобная фича. Например, риелторские сайты с помощью этих API доставляют пользователям информацию о недвижимости по её фотографии (человек наводит смартфон на коттедж — и получает информацию о его стоимости, метраже, количестве спален).
Теги:
Хабы:
+14
Комментарии 23
Комментарии Комментарии 23

Публикации

Истории

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн