Вокруг беты за 260 дней: как мы учились прислушиваться к пользователям

    Все знают: догфудить собственный продукт (ну, есть корм своей собаки – разрабатывать продукт, который сам же используешь) – это правильный во всех отношениях принцип. Работая над конструктором чатботов Aimylogic, мы в Just AI прекрасно представляли, каким он должен быть, но поначалу не догфудили – наши NLU-инженеры обычно сразу пишут код. И поэтому решили пойти по пути lean startup: выкатить бету, собрать ранний фидбэк от пользователей и писать Aimylogic по-живому. Рассказываем, как мы вместе с пользователями шли от беты к релизу.


    Карты раскрывают:
    · Дима Чечёткин, cооснователь и директор по стратегическим проектам Just AI
    · Глеб Обломский, директор по продуктам Just AI, Aimylogic
    · Андрей Чикишев, инженер технической поддержки Aimylogic


    Часть первая. Попробуй lean startup, если осмелишься


    Дима: «Мы, конечно, могли не выкатывать бету и проделать всю работу сами. Но, во-первых, ресурсы команды всегда ограничены, а во-вторых, глупо было бы формулировать теоретические кейсы под предполагаемую аудиторию. Особенно на таком новом рынке, как разговорный AI. Мы сами пишем сценарии, связанные с NLP, но делаем это на более специфичном уровне – в основном кодим. И да, мы знали, какие кейсы можно сделать с помощью визуального редактора. Но все равно нужно было проверить и выяснить, какими боты (не говоря уже о голосовых навыках) будут получаться у пользователей.

    В общем, нам было важно посмотреть на реальное использование продукта. А еще такой метод разработки бросал вызов нашим девелоперам: большинство из них не сталкивалось с созданием массового публичного продукта (а не закрытой платформы для энтерпрайза, например). Поначалу разработчики даже не знали, что продуктовая команда общается с пользователями! А когда узнали – удивились. Да, это был выход из зоны комфорта, зато сразу стало понятно – если команда делает публичный продукт и сразу же получает фидбэк, она искренне стремится к лучшему для пользователей результату. Всем не пофигу, и это отражается на продукте».


    Внешние причины отправить Aimylogic в свободное плавание прямо в бете тоже были. Нас подстегивал и добавлял азарта выход Алисы от Яндекса. В США рынок голосовых помощников формировался параллельно с инфраструктурой для него – например, Google выпустил Ассистента вместе с конструктором экшенов. А Яндекс Алису – без. Мы же точно знали, что с выходом первого в России ассистента рынку понадобится понятный и удобный инструмент для разработки скиллов.

    Глеб: «Идея создания простого и доступного конструктора ботов, понимающих естественный язык, зрела у нас давно. Мы знали, что он будет востребован, но сомневались по поводу целевой аудитории – кому именно адресован продукт, какие потребности он будет закрывать. Анонс Яндексом платформы Диалоги в марте 2018-го стал той точкой, после которой внутренние наработки стали оформляться в Aimylogic. Первый публичный MVP мы сделали за 1,5 месяца, а уже в конце мая Aimylogic был представлен миру».

    Часть вторая. Фича как предчувствие


    В теме разговорного AI мы варимся давно и в курсе, что делается на глобальном рынке, что в планах у конкурентов и чего их решениям не хватает. Мы сами придумали для Aimylogic уникальные фичи вроде визуализации процесса создания и редактирования сценария в виде дерева conversational flow. В общем, мы понимали, что можем сделать всё, что угодно.
    Глубину функционала Aimylogic сразу обеспечивали NLU-технологии Just AI, так что мы сфокусировались на реализации самого базового функционала и стали смотреть, что же попросят пользовали «на добавку». Именно пользователи помогали нам расставлять приоритеты. Так первая же волна фидбэка в Телеграме привела к появлению фичи по переименованию блоков сценария и масштабированию. Вот она:

    image

    Дима: «Да и вообще многие функции в Aimylogic могли появиться гораздо позже, но были простимулированы пользователями. Мы просто увидели, что им действительно поможет в работе с продуктом. Вот, кстати, перетаскивание экранов – фича, которая скаканула из бэклога резко вверх по приоритету. И наоборот, в бэклог поначалу ушла чисто техническая тема – вебхуки. Еще одна фича, которую пропедалировали именно пользователи – это зум. Когда юзеры поняли, как пользоваться Aimylogic, начали кайфовать от этого и строить большие сценарии с развесистой логикой, работать без масштабирования им стало неудобно. Так появился настоящий профессиональный тул для проектирования разговорных интерфейсов, который дает необходимый уровень декомпозиции».

    Перетаскивание экранов: image

    Глеб: «Или, например, функции встроенных интеграций с некоторыми бизнес-системами. Честно говоря, мы думали, что эта фича будет нужна чуть ли не сразу. Но первых пользователей больше волновали вопросы гибкости и масштабируемость удобства работы с конструктором на больших сценариях – на них мы и направили основные усилия в ходе беты. Зато сейчас, судя по фидбэку, есть заинтересованность в таких интеграциях, так что дальше мы будем уделять им больше внимания.

    Идея условного исполнения для каждого блока тоже казалась нам очень нужной. Вот у вас есть сценарий из блоков, и каждому блоку можно назначить условия, при которых он будет работать. Представлялось, что это придаст инструменту гибкости. Но гибкости Aimylogic хватило и без нее, и мы полностью отказались от этой фичи».

    Еще пользователи влияют на очередность подключения каналов в Aimylogic, где они хотели бы видеть своих чатботов: Алиса, Google Ассистент, Телеграм, ВКонтакте, чат-виджеты на сайтах и даже Alexa. А вот Viber, например, оказался невостребованным и ушел в бэклог, зато в топе пользовательских пожеланий лидируют Instagram и WhatsApp – и они в Aimylogic обязательно появятся.

    Часть третья. Магия UX



    Чтобы продукт становился удобнее, пользователи должны прислушиваться к своим ощущениям, а мы – к пользователям. Правда, удобство не всегда вербализуемо, да и на расположенную «не там» кнопку жалуются реже, чем на конкретный баг. Юзер думает: вдруг это просто вкусовщина, вдруг мне только кажется? Поэтому мы исследовали поведение пользователей с помощью UX-инструментов и UX-методик и обращали внимание на случаи массового замешательства.

    Глеб: «Для нас Aimylogic вообще начинался с UX – мы посмотрели на другие конструкторы чатботов и поняли, что удобных инструментов визуализации интерактивного диалога в сочетании с бизнес-логикой практически нет. Ну либо этот кейс реализован, как в DialogFlow, когда все нужно держать в голове, а ты видишь списки реакций ботов. Но это совершенно не визуально. Другая крайность редакторов чатботов – визуальная часть есть, но перегружена NLU-фишками: добавляешь, вроде, простой блок и разбираешься с интентами и кучей непонятных контролов. В таких инструментах просто теряешься в том, что делаешь.
    Еще до того, как мы придумали название «Aimylogic», мы прошли через большое количество UX-прототипов, проверяя различные идеи. В итоге удалось найти баланс между простым и понятным UX и достаточной гибкостью и технологичностью. И в дальнейшем мы многое в Aimylogic усовершенствовали именно благодаря пользовательскому опыту».

    Итак, мы внимательно наблюдали за пользователями Aimylogic, в том числе через вебвизор. И порой могли убедиться, что люди действительно совершают лишнее или бессмысленное движение, которое им мешает и затрудняет работу в продукте.

    Например, в первом релизе справка по Aimylogic – крайне необходимая штука для нового продукта – размещалась на одном полотне с редактором сценария. Мы заметили, что в среднем сценарии наших пользователей занимают 70-100 экранов, так что справка оказывалась скрытой и до нее приходилось скроллить. Поэтому она переехала в верхний бар. Пожалуй, первое, что начинаешь анализировать и улучшать в продукте по результатам анализа пользовательского опыта – это как раз онбординг!

    Справка в баре: image

    Дима: «Когда в вебвизоре появляется жуткая паутинка движений мышкой, значит, что-то пошло не так. Одну из подобных вещей мы обнаружили при переключении с экрана конструирования бота на экран, где мы добавляем контент для бота. Оказалось, пользователи добавляли сущности, сохраняли, затем шли в редактор, чтоб там протестировать все в виджете. Тогда наш ведущий UX-дизайнер Катя Юлина предложила сделать виджет на всех экранах, чтобы он всегда был у пользователя под рукой. Так можно без лишних телодвижений добавить или удалить сущность, сохранить и тут же протестировать. Сделали – пользуются».

    Как было: imageКак стало: image

    Часть четвертая. Пользователи умеют удивлять


    В общих чертах мы представляли, как именно пользователи будут применять Aimylogic и для чего создавать ботов: консультации клиентов, заказ и доставка товаров, развлечения и тому подобное. Но конкретные примеры использования конструктора оказались куда более любопытными! Без сюрпризов (и довольно вдохновляющих!) не обошлось.


    Глеб: «Инсайтов было много, особенно поначалу. Но из последнего, что запомнилось – в одном из вузов студенты в качестве курсовых работ готовят голосовые навыки на Aimylogic!».

    Дима: «Один пользователь буквально засыпал нас найденными багами – при этом по формулировкам было видно, что пишет профи. Я поинтересовался, чем он занимается и что пытается сделать с помощью Aimylogiс. Выяснилось, что парень учит людей продавать крипту. Я открыл его сценарий (а это было еще до удобных фич типа перетаскивания блоков, не говоря уже о компактном виде) и вижу… Сценарий, который не помещается на 4К-мониторе! Огромное количество экранов, которые даже пересчитать нельзя – компьютер шумел, пытаясь его отрендерить. Так мы узнали, что на бета-версии Aimylogic пользователь построил сценарий целого онлайн-курса и с его помощью ведет клиента по всем этапам обучения, показывает видео, запрашивает ответ. Для меня стало настоящим (и приятным) открытием, что человек доверился в общем-то новому продукту, посвятил массу времени проработке сценария, не будучи уверенным, что все это не грохнется (все-таки бета-версия). Но он взял и сделал. Этот сценарий мы затем использовали как тестовый полигон, чтобы проверять производительность Aimylogic. Сейчас бот успешно работает в Телеграме».

    Андрей: «А для меня приятным удивлением стало, что в продукт погрузились пользователи без технического бэкграунда. Сначала к нам приходили ребята, которые говорили: мол, мы ничего не умеем, сделайте нам бота. Мы предлагали попробовать самим с помощью шаблона, например. И в результате у них все отлично получалось – увидев, что продукт не такой уж сложный, они пробуют и в итоге сами себе экономят деньги, уже не боятся узнавать какие-то технические вещи и развивают свои скиллы.

    Еще меня удивило именно многообразие сценариев – наши пользователи мыслят действительно креативно. В Aimylogic реализовано очень много интересных идей! Однажды я наткнулся на любопытную социальную бизнес-игру: каждый день человек заходит в бота и выполняет мотивирующие задания, получает за них очки. Или, например, есть бот, который помогает подобрать зубную пасту, причем работает он на двух языках. Другой классный бот с внушительного объема сценарием позволяет за 10 шагов создать увлекательную историю или сказку – каждый раз с разным финалом. Пользователи интересовались даже, как создать бота для знакомств – возможно, скоро появится и такой сценарий».

    Еще среди чатботов на Aimylogic встречаются виртуальные помощники для записи посетителей в парикмахерскую или в фитнес-центр, чатботы-консультанты по услугам маркетингового агентства и загородной недвижимости, бот для приема спортивных ставок и бот, записывающий показатели артериального давления, HR-ассистенты, голосовой навык для выбора начинки для шавермы. И конечно, текстовые квесты и нарративные игры для ВКонтакте, Телеграма и Алисы.

    Часть пятая. Как команда полюбила догфудить


    Глядя на пользователей, креативить начали и мы сами. Эта часть о том, как вообще рождаются идеи для чатботов и навыков.


    Дима: «Йога для глаз», например, – просто обалденный навык, та вещь, за которую не стыдно. На хакатоне Google в преддверии вывода русскоязычного Google Ассистента нужно было придумать сценарий, который важно реализовать именно в голосовом канале. Ну и, соответственно, понять, почему на диалог нельзя именно смотреть. Я каждый день делаю зарядку для глаз. Так и родилась «Йога для глаз».

    Андрей: «Мой арендодатель каждый месяц запрашивает показания счетчиков. И я понял, что мне нужен бот для расчета коммунальных услуг. И создал такой сценарий в Aimylogic. Бот рассчитывает оплату по тарифам и сам отправляет данные хозяйке квартиры. Еще я создал навык для записи на занятия по волейболу – правда, пока аудитория, которая ходит играть, не готова использовать Алису».

    Глеб: «Текущие каналы сбора фидбэка от пользователей нас пока устраивают. Но меня не оставляет мысль сделать бота, который как минимум узнает об идее от пользователя, уточняет базовую потребность и заносит все это на нашу доску продуктовых идей! А если еще потом научить его оценивать сложность и продуктовую ценность? :)».

    Дима: «А вот мне прямо-таки нужен бот, который бы быстро находил нужную информацию в юридических документах. Оказывается, в том, чтобы отстоять свои права, нет ничего сложного – вовсе не обязательно иметь юридическое образование, но придется бесконечно копаться в куче всякой документации, в постановлениях и поправках, чтобы написать юридически грамотное обоснование с указанием того или иного нарушения. Я однажды потратил свое время, но завернул способ расчета каких-то коммунальных платежей, придуманный управляющей компанией. Но чтобы бороться регулярно, нужно искать, читать, тратить массу сил и времени. Если бы кто-то сделал бота, которому можно было рассказать, что за проблемная ситуация возникла, а он бы выдавал подборку документов, которые могут помочь ее разрулить, я бы им обязательно пользовался».

    Андрей: «Было бы круто, если бы Алиса или другой виртуальный помощник мог сам заводить с тобой диалог, мотивировать тебя что-то делать и, что важно, работать с возражениями. Например, утром ассистент зовет тебя на пробежку, ты его игнорируешь, а он настойчиво приводит хорошие аргументы и напоминает, что ты обещал. Но пока, к сожалению, Алиса не может «просыпаться» сама, без команды».

    Часть шестая. Ура, релиз!



    Итак, на этой неделе Aimylogic отправился из беты в открытый космос. Что это значит? Для продукта – зрелую функциональность и новые приключения (например, выход на международный рынок). Для пользователей – новые крутые фичи вроде возможности переводить диалог на оператора прямо в чате с ботом.

    Вот так:image

    И конечно, это означает линейку тарифов с разнообразными сценариями работы в Aimylogic. Теперь пользователи смогут сами решать, какая подписка им интересна и выгодна – расширенная для бизнеса или специальная для девелоперов. В девелоперском тарифе, например, доступны абсолютно все фичи продукта, однако максимальная аудитория бота сильно ограничена. Но зато можно создать бота, показать его заказчику, провести совместное тестирование и перевести бота в аккаунт заказчика – где уникальных юзеров будет уже не 100, а 50 000. Еще можно пользоваться Aimylogic совершенно бесплатно, но с лимитированным количеством каналов для подключения и числом уникальных посетителей.

    Aimylogic в цифрах и фактах


    • Самые популярные сценарии, созданные в Aimylogic, – это «Йога для глаз» с 80600 уникальных юзеров и игра «Да, милорд!», в которую сыграли 51500 человек!
    • 266000 человек воспользовались ботами и навыками, созданными в Aimylogic, на начало февраля
    • 2800 ботов и голосовых навыков работает на Aimylogic. Из них 400 имеют постоянный трафик
    • Вебхуки – тул, который любят все. И пользователи, и наша техподдержка. В чате пользователей Aimylogic слово «вебхук» прозвучало 150 раз
    • Мы спросили у пользователей, сколько времени они тратят в среднем на создание бота: оказалось, от 30 минут до 14 дней. Но все же лучший ответ звучал так: «Если не учитывать документацию, то минут за 5 сделал, еще минут 10 ушло, чтобы прикрутить события бота с событиями в игровом движке. Тут я вам больше скажу, я умудрился объяснить, как работает ваш инструмент, ребенку которому 4 года. И он практически сам собрал простого бота».
    • ∞ – Количество чашек кофе, выпитых нашими разработчиками за время, пока Aimylogic был в бете. И это только кофе!
    Just AI
    82,00
    Компания
    Поделиться публикацией

    Комментарии 15

      0
      Было бы круто, если бы Алиса или другой виртуальный помощник мог сам заводить с тобой диалог, мотивировать тебя что-то делать и, что важно, работать с возражениями. Например, утром ассистент зовет тебя на пробежку, ты его игнорируешь, а он настойчиво приводит хорошие аргументы и напоминает, что ты обещал. Но пока, к сожалению, Алиса не может «просыпаться» сама, без команды
      если настроить будильник на воспроизведение записанной кодовой фразы вместо мелодии, это можно использовать как стартовый триггер, нет?
        0
        Как то с ходу не очень видно, где там AI, если синонимы предлагается задавать руками, а бот впадает в ступор, если нет продолжения в ветке сценария (в вашей же демке).
        Ну, и ИМХО странно, что в чате сразу живой человек, а не демонстратор.
          +1

          Ну AI — это же не вещь, которая за вас все делает и придумывает, что там у вас в вашей ветке, где вы сами ничего не указали. В Aimylogic AI вполне себе работает — расширяет фразы синонимичными перефразировать, понимает нечёткие формы, извлекает данные из речи. Ну в общем все то, что значительно упрощает создание голосовых интерфейсов.

            0
            Ну вот сходу этого не видно.
            Видно удобный конструктор бота и не более.
            Это точка роста для маркетинга и продаж, как минимум, ИМХО.

            PS — в ветке не указали вы, в своей собственной демке в интерфейсе.
              0
              Так по тому, как работает поисковик типа гугла или яндекса тоже не видно, что там какой-то ИИ ) просто удобный поисковик и не более. ИМХО
                –1
                Я на вашей демке не увидел, как хорошо работает ваш продукт, в отличие от Гугла.
                Не думаю, что я такой один.
                Так понятнее мысль?

                При этом я лицо заинтересованное — у меня есть задача сличать тексты друг с другом по смыслу.
                  0
                  А что в итоге вам мешает? не совсем понятно. С гуглом — вы ищете сайты. С конструктором — вы конструируете и пробуете, как это работает. Все вроде просто.
                    –1

                    Мне всегда казалось, что это продакт должен понять, что в итоге мешает пользователю, а не вставать на дыбы.
                    Выше вроде по русски все написано.


                    В чем вообще причина таких реакций? Я даже не продукт критикую, а его демо.

                      0
                      А где вы увидели «реакции»? я как раз и спрашиваю — что вам мешает воспользоваться инструментом.

                      Демо у продукта, которое вы «критикуете» — какое именно? Что на сайте в чате не бот, а человек? Ну тут объяснение простое — во-первых на данный онлайн чат еще не сделали коннектор, а во-вторых — для начала мы собираем список вопросов, которые задают пользователи, чтобы сделать по ним бота в будущем. Демо в таком виде на данном этапе — это как раз станет проблемой для сервиса.

                      А если вам хочется посмотреть на реализованные на конструкторе проекты — они есть, их как раз техсапп с удовольствием вам выдаст. Ну и туториалы с вебинарами мы выкладываем постоянно.
                        0
                        Спасибо, я уже наговорился.
                          0
                          Да я вам и не предлагаю говорить, я предлагаю попробовать сервис в действии. Тем более, что мой ответ и не предполагал ответа вроде как.
                            –3
                            Слушайте, я выше конкретно написал — я зарегистрировался, нажал на ваше демо внутри интерфейса, посмотрел на него изнутри и попробовал воспользоваться как пользователь.
                            Я — попробовал. Хреново как то.
                            А вы меня тут уверяете, что я слепой и должен проявлять чудеса сообразительности и настойчивости в попытке увидеть на нормальном примере, как это работает.
                            А потом рассказываете, что пользователей слушаете.

                            Что мне добавить еще как пользователю?
                              +2
                              Во-первых, вы ни разу нигде не написали, что зарегистрировались.

                              Во-вторых, у нас нет «нашего демо» внутри интерфейса. Не знаю, что вы под этим подразумеваете.

                              Ну и в-третьих, если вы не намерены учиться пользоваться инструментом, а ждете, что за вас все сделают — то вряд ли вам можно еще что-то предложить.

                              А если все же намерены — то к вашим услугам и наша документация, и наш техсапп, и наш чат, и опыт тысяч пользователей, которые с успехом освоили наш инструмент и создают на нем решения.
                                0
                                Ну, если вы не знаете, что у вас после регистрации в интерфейсе доступны демо сценарии то я не знаю, что добавить.
                                  0
                                  Это не «демо сценарии», а шаблоны — из которых вы сами дальше что-то делаете, просто посмотрев принцип создания сценариев на шаблоне

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое