Insider API: поиск трендов и быстрая навигация в текстах соц. и традиционных медиа

    Как часто, имея массив текстов (любой тематики) мы хотим увидеть тематическую выжимку? Какие темы обсуждаются? Какие наиболее популярные? Как было бы здорово ввести поисковые слова и получить тренды вокруг них!
    image


    Система умеет:
    • Получать массив данных и сохранять их под Вашим пользователем.
    • Строить список тем с группировкой документов по темам.
    • Делать realtime поиск по документам и строить темы по найденной выборке.


    Все перечисленные функции доступны через API, которым легко воспользоваться, подключившись к одному из тарифных планов (есть бесплатный триал на месяц!).

    Мы проиндексировали соц. медиа (твиттер, facebook, вконтакте) в начале осени 2015 года и сделали скриншоты системы для визуальной оценки.

    Консьюмерский сегмент: Магнит.
    image

    Yota:
    image

    Политика: выступление Путина в ООН.
    image

    Так выглядит тема изнутри:

    image

    На предыдущем скриншоте представлено содержимое темы “ООН 2015”, включающее 7 новостей.

    Как видно из скриншотов, система представляет из себя полноценную поисковую систему (с поддержкой русской морфологии) и является удобным инструментом для быстрой навигации по массивам информации. У нас нет ограничений по поддерживаемым тематикам и типу данных — соц. медиа, новостные ленты либо Ваши корпоративные документы. Все описанные функции доступны как в виде SAAS продукта с пользовательским интерфейсом, так и в составе Insider API, который можно встроить в Ваши существующие системы и мобильные приложения.

    Принцип применения API:

    1. Загрузить данные (посты, статьи) в систему.
    End-point: /articles/uploadJson
    Тип запроса: POST
    [
      {
       "id": 2134657,
       "title": "Оскар",
       "description": "Наши дети уже не поймут всех этих приколов про Лео и Оскар. Ушла эпоха. Мы - особое поколение.",
       "link": "https://twitter.com/palnom6/status/704979632127418369"
      }
    ]
    


    В одном запросе можно переслать до 50 текстов. В ответ API отвечает кодом 200, если всё прошло успешно.

    Обратите внимание на параметр id: по значению этого параметра мы получим привязку данного поста к определенной теме / тренду на следующем шаге.

    2. Получить тренды: либо по документам в целом, либо в привязке к ключевым словам.

    End-point: /articles/cluster
    Тип запроса: POST
    {
      "query": ""
    }
    


    В ответ API генерирует тренды.

    [
      {
        "labels": [
          "Оскар"
        ],
        "score": 1.510325122396045,
        "docs": [
          "2134657",
          "2134656",
          "2134655",
          "2134654"
        ]
      },
      {
        "labels": [
          "Политика"
        ],
        "score": 1.2447816860782057,
        "docs": [
          "2134653",
          "2134652",
          "2134651",
          "2134650",
          "2134649",
          "2134648"
        ]
      }
    ]
    


    Значение score отображает релевантность данной тематики запросу пользователя.
    На шаге два можно передать и некоторое ключевое слово, вокруг которого будут построены темы / тренды.

    Insider API доступен здесь: market.mashape.com/dmitrykey/insiderapi

    Помимо трендов, другими удобными фичами являются:

    Only registered users can participate in poll. Log in, please.

    Сфера применения

    Share post
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 15

      +2
      Вот хоть убейте, но каким образом этот рекламный пост относится к разделу разработки? Вы серьезно считаете, что ~1к тексто-символов, размытые 4мя скриншотами и 1 логотипом можно считать за техническую статью?!
      Почему эта «пиарщина» не в блоге компании?! Почему не в «я пиарюсь» (кармы нахватает?)?
      Каким боком это относится к Data mining? Вы описываете технические аспекты реализации или просто пришли вбросить 4 ссылки на ваш сервис?
      П.с. — вы не на мегамозг пишите, будьте добры, либо оформляйте статьи так, как соответствует техническим материалам, или пишите в соответствующие разделы/хабы.
        –2
        спасибо за рекомендации. Data mining — например, извлечение адресов из текстов. Какой хаб вы бы порекомендовали?
          +1
          Вся принципиальная разница лишь в том, что вы не описываете этот самый процесс (нет никаких технических аспектов, ни алгоритмов, ни ПО, ни программного кода), а просто рекламируете свой сервис. Единственный хаб для данного, кхм, поста — это «Я пиарюсь».
            0
            мне действительно не доступен хаб «Я пиарюсь». Поэтому на посте есть тэг.
              –1
              Добавлено описание взаимодействия с end-point'ами.
                –1
                Выглядит так, будто вы пытаетесь сдать реферат в институте, а у вас его не принимают и вы пытаетесь добавить «больше воды». Возможно вы невнимательно прочли мой вопрос, а возможно некомпетентны в нем, постараюсь разъяснить. Вы описываете «скриншотами» некий технический комплекс, который по средствам взаимодействия с его API позволяет получить ту или иную релеватную выдачу в зависимости от запроса и данных, введенных пользователем. Так вот, технический интерес представляет как раз таки работа вашего технического комплекса и его организация, но никак не алгоритм взаимодействия с его API по средствам JSON (это пожалуй известно даже новичкам, а детальная информация уже есть на сайте сервиса). Под «работой технического сервиса» понимается набор приложений (баз данных, поискового движка, программного кода который все это связывает) и то как они организованы, чего здесь нет и статья вряд ли может находится в техн. разделе этого ресурса.
                  0
                  Дело в том, что данная публикация преследует ознакомительную цель с данным продуктом. А относится ли это к разработке — имхо, да. Ведь продукты на основе данного API вполне себе разработка.
          0
          Обязательная регистрация для теста? Ввод данных кредитки для бесплатной месячной подписки — для теста?!

          Вам совсем плохо?
            0
            Кредитка не нужна для теста: скиньте свой mashape id и я сделаю личный план.
            0
            Какие темы обсуждаются?..
            Мы проиндексировали соц. медиа (твиттер, facebook, вконтакте) в начале осени 2015 года…

            Т.е. сейчас это интересно только тому, кто хочет знать, какие новости обсуждались более полугода назад
              0
              Чем старше данные, тем меньше вопросов от соответствующих организаций. Для новых данных система тоже работает.
                +1
                А ФБ ведь в нынешнем АПИ не позволяет поиск. Интересно, как вы получаете свежие данные?
                  0
                  Это правда. Остался открытым Graph API, при помощи которого можно загрузить странички-хабы по брендам / политике / спорту и тд с комментариями, лайками и тд. Помимо этого есть scrappers (например: http://scrapy.org/).
              +1
              Дмитрий, выкладывайте алгоритмы. Мы в вас верим. Все остальное от лукавого.
                0
                Спасибо за доверие. В следующий раз — обязательно.

              Only users with full accounts can post comments. Log in, please.