Прошел почти год с того момента, как появилась возможность создавать свои навыки для Алисы — голосового помощника от Яндекса. В каталог ежедневно прибывают новые навыки, а их общее число составляет несколько сотен. К сожалению, общение с некоторыми навыками мягко говоря "не складывается". Навык или зацикливается на одной и той же фразе или вообще сломан и не отвечает.
В этой статье я рассмотрю написание функциональных автоматизированных тестов для навыка на Node.js. Наличие таких тестов позволяет создавать более качественные навыки и дает уверенность в их работоспособности.
Существующие инструменты тестирования
Навык для Алисы — это веб-сервер, который умеет отвечать на POST запросы в определенном формате. На данный момент существует несколько инструментов, куда можно передать URL навыка и проверить его работу:
- Официальная консоль разработчика, где можно тестировать навыки текстом и смотреть запросы/ответы
- Симулятор Яндекс Станции от Aimylogic, поддерживает голос
- Open-source проект dialogs.popstas.ru для локального тестирования навыков
Особенность этих инструментов в том, что они предлагают некоторый UI для ручного тестирования навыка. Я же хочу в лучших традициях непрерывной интеграции
запускать команду в консоли, автоматически проверять все сценарии и только потом выкладывать новую версию.
В то же время, не хочется углубляться в юнит-тестирование отдельных модулей навыка. Протокол запросов/ответов зафиксирован в документации, и именно на этом уровне лучше тестировать. Тогда, даже полностью переписав внутреннюю архитектуру, менять тесты не придется. То есть по сути это функциональные тесты.
Готовой библиотеки под Node.js для такой задачи я не нашел, поэтому напишем свое :)
Навык для тестов
Возьмем официальный пример навыка из репозитория Яндекса на GitHub. Это навык "Попугай", который просто повторяет все, что сказал пользователь. Построен на базе фреймворка micro и содержит всего несколько строчек кода:
// server.js const micro = require('micro'); const {json} = micro; module.exports = micro(async req => { const {request, session, version} = await json(req); return { version, session, response: { text: request.original_utterance || 'Hello!', end_session: false, }, }; });
При первом заходе навык получит от пользователя пустое сообщение (original_utterance) и ответит "Hello!". В остальных случаях просто скопирует сообщение пользователя в поле response.text.
Я обернул оригинальный код примера с GitHub в функцию micro(), чтобы экспорт возвращал http-сервер, который мы и будем использовать в тестах.
Тест-план
Итак, чтобы покрыть тестами такой навык, необходимо следующее:
- Поднять сервер с навыком на локальном порту
- Проверить два кейса:
- Пользователь заходит в навык, навык должен ответить "Hello!"
- Пользователь отправляет сообщение в навык, навык должен ответить тем же сообщением
- Остановить сервер с навыком и показать отчет
Автоматизировав эти проверки, можно будет запускать их перед каждым коммитом и быть уверенным, что ничего не сломалось.
Напишем код теста согласно плану, используя синтаксис для mocha. Допустим, что у нас уже есть некоторый класс User, который умеет делать все что нужно:
// test.js const assert = require('assert'); before(done => { // запускаем сервер навыка server.listen(PORT, done); }); it('should get hello on enter', async () => { // создаем пользователя для навыка const user = new User(`http://localhost:${PORT}`); // заходим в навык и сохраняем ответ const response = await user.enter(); // проверяем текст ответа assert.equal(response.text, 'Hello!'); }); after(done => { // останавливаем сервер server.close(done); });
Осталось написать класс User и можно будет запускать тест.
Виртуальный пользователь
Главное, что должен уметь тестовый пользователь — отправлять POST запросы на урл навыка с данными в нужном формате. Формат запроса описан в документации. Сейчас нам не нужны все поля, поэтому я оставил только необходимые, чтобы не раздувать код примера. Класс User с комментариями:
// user.js const fetch = require('node-fetch'); module.exports = class User { /** * Конструктор * @param {String} webhookUrl */ constructor(webhookUrl) { this._webhookUrl = webhookUrl; } /** * Вход пользователя в навык */ async enter() { const headers = { 'Accept': 'application/json', 'Content-Type': 'application/json' }; // при заходе в навык, сообщение - пустая строка const body = this._buildRequest(''); const response = await fetch(this._webhookUrl, { method: 'post', headers, body: JSON.stringify(body), }); const json = await response.json(); return json.response; } /** * Сборка тела запроса с заданным сообщением пользователя * @param {String} message */ _buildRequest(message) { return { request: { command: message, original_utterance: message, type: 'SimpleUtterance', }, session: { new: true, user_id: 'user-1', session_id: 'session-1' }, version: '1.0' } } };
Запуск
Для запуска осталось импортировать классы пользователя и сервера в файл с тестами, а также выставить значение порта, на котором поднимется сервер:
// test.js ... const server = require('./server'); const User = require('./user'); const PORT = 3456; ...
Устанавливаем все необходимые зависимости:
npm install micro node-fetch mocha
И запускаем тест:
$ mocha test.js ✓ should get hello on enter 1 passing (34ms)
Все хорошо, тест пройден!
Но прежде чем идти дальше, нужно убедиться, что тест действительно работает. Для этого заменим в ответе навыка "Hello!" на "Привет!" и запустим еще раз:
$ mocha test.js 0 passing (487ms) 1 failing 1) should get hello on enter: AssertionError [ERR_ASSERTION]: 'Привет!' == 'Hello!' + expected - actual -Привет! +Hello!
Тест показал ошибку — как и должно быть.
Вот теперь точно первый кейс считаем покрытым.
Учим пользователя общаться
Остался второй кейс, когда пользователь отправляет в навык сообщение и должен получить это же сообщение обратно. Чтобы пользователь смог "общаться", я добавил в класс User метод say(message). Также сделал небольшой рефакторинг: вынес отправку http-запросов в отдельный метод и использовал его внутри enter() и say(message):
// user.js const fetch = require('node-fetch'); module.exports = class User { /** * Конструктор * @param {String} webhookUrl */ constructor(webhookUrl) { this._webhookUrl = webhookUrl; } /** * Вход пользователя в навык */ async enter() { // при заходе в навык, сообщение - пустая строка const body = this._buildRequest(''); return this._sendRequest(body); } /** * Отправка сообщения в навык * @param {String} message */ async say(message) { const body = this._buildRequest(message); return this._sendRequest(body); } /** * Отправка http-запроса * @param {Object} body тело запроса */ async _sendRequest(body) { const headers = { 'Accept': 'application/json', 'Content-Type': 'application/json' }; const response = await fetch(this._webhookUrl, { method: 'post', headers, body: JSON.stringify(body), }); const json = await response.json(); return json.response; } // ... };
Тестирующий код для второго кейса выглядит так:
it('should reply the same message', async () => { // создаем пользователя const user = new User(`http://localhost:${PORT}`); // заходим в навык await user.enter(); // отправляем сообщение const response = await user.say('что ты умеешь?'); // проверяем текст ответа assert.equal(response.text, 'что ты умеешь?'); });
Запускаем еще раз, и видим что оба теста пройдены:
$ mocha test.js ✓ should get hello on enter ✓ should reply the same message 2 passing (37ms)
Дальнейшие шаги
Таким же образом можно добавлять более сложные сценарии в навык, покрывая их тестами. Это даст уверенность, что новые изменения не ломают старые.
Созданную инфраструктуру тестов также можно улучшить:
- доработать класс
User, чтобы можно было менять остальные поля в запросе (например поставить флажок, что у пользователя нет экрана) - подключить code-coverage (например nyc)
- повесить все проверки на pre-commit/pre-push хуки (например с помощью husky)
У меня несколько навыков, поэтому я вынес класс тестового пользователя в отдельный пакет alice-tester, возможно кому-то пригодится.
Полный рабочий код примера из статьи я также выложил на GitHub. Можно склонировать репозиторий и поэкспериментировать.
Спасибо за внимание!
