Мы выпускаем обновления приложений Lamoda минимум 4 раза в месяц. С каждым обновлением идут серьезные изменения: новые продукты, внедрение ML-моделей и так далее. Процесс тестирования нового кода давно налажен, но есть нюанс: проверять перед релизом нужно не только новую функциональность, но и базовые возможности приложения, чтобы убедиться, что они работают корректно и ничего не сломалось.
На проверку базового функционала уходит куча времени QA. Поэтому мы создали автоматические UI-тесты. Они автономно проверяют базовые функции и помогают снизить нагрузку на тестировщиков.
Но приложение постоянно растет, а с ним должно расти и тестовое покрытие. Главная сложность здесь — количество тестов, которое приходится писать. Когда у меня появилась задача написать очередную партию тестов, я сразу подумал о том, что мне нужна помощь. Меня зовут Марк, я iOS-разработчик из Lamoda Tech. В этой статье я расскажу, как использовал LLM для написания UI-тестов, и сравню результаты ChatGPT и Copilot.
Как мы начали писать UI-тесты
Передо мной стояла задача максимально автоматизировать процесс создания тестов и сделать его простым, чтобы новые UI-тесты могли писать сами тестировщики.
Внутри команды мы выделили критически важную функциональность, которую пользователи регулярно используют и к которой они уже привыкли. Когда базовый набор инструментов был создан и мы сформировали общую структуру UI-тестов, я задумался о том, что тестировщики также могли бы использовать AI-помощников для повышения эффективности и точности. Осталось только выбрать, что это будут за инструменты и как корректно организовать с ними взаимодействие. В итоге я остановился на двух вариантах: Copilot и GPT.
Первый — это по сути продвинутый автокомплит, а второй — отдельный модуль, способный самостоятельно писать UI-тесты и который в процессе эксперимента я обучил на наших данных. Теперь остаётся проверить оба варианта и выяснить, кто из них способен взять на себя больше рутины и снизить нагрузку на команду.
Создаем собственный GPT-модуль для написания UI-тестов
Для использования GPT в написании UI-тестов нам нужно погрузить его в контекст — показать, как мы пишем эти тесты и какие инструменты используем для этого.
Я буду использовать GPT-4 и создам собственный модуль, который будет предоставлять ответы на основе примеров уже реализованных нами тестов и нашего инструментария. Собственный модуль — специальный компонент, который создается на площадке GPT. Этот компонент будет обучен на наших данных, чтобы генерировать ответы, соответствующие специфике нашего проекта. Это позволит тестировщикам получать рекомендации и решения, непосредственно основанные на нашей кодовой базе.
Переходим в GPT-4. В верхнем левом углу выбираем «Обзор GPT»:
В открывшейся странице выбираем «+ Создать»:
Теперь мы перешли в черновик нашего будущего модуля и можем настроить все доступные нам параметры:
Перейдя во вкладку «Настроить» на левой стороне экрана, я указал все нужные параметры: название модуля, описание его деятельности и прочее.
Не забудем подключить интерпретатор кода, так как мы будем ожидать уже готовые тест-кейсы от нашего GPT-модуля.
С GPT-модулем мы разобрались, теперь нам нужно определиться, какой тест-кейс мы будем реализовывать. Типичная задача: проверить наличие рассрочки у пользователя на экране чекаута. Для этого нам понадобится корзина хотя бы с одним товаром, а значит, потребуется пройти все этапы заполнения информации о пользователе, адрес доставки, и собственно попасть на сам чекаут, чтобы увидеть там возможность оплаты рассрочкой. Чтобы гарантировать стабильное выполнение UI-теста, нам нужно самостоятельно замокать ответы от некоторых API-ручек. Эту работу пока не можем передать AI, но написание самого тест-кейса можно доверить нашему виртуальному помощнику.
Создадим первый запрос для нашего модуля, в котором попросим его описать нужные нам элементы:
Основываясь на предоставленном нам InstallmentsScreen, попросим наш модуль написать тест-кейс:
В конечном итоге все, что мы увидим в Xcode, — это:
Ничего кроме ошибок и комментариев по возможному улучшению теста мы не увидим. Самое время перейти к выводам.
Насколько полезен собственный GPT-модуль для написания UI-тестов
Написание UI-тестов — сложная задача для GPT. Мы не можем передать GPT всю информацию о контексте нашего приложения:
какие экраны нужны,
какие запросы срабатывают при определенных действиях,
какие ответы мы получаем,
на какие поля в ответах этих запросов мы должны ориентироваться,
какой элемент и в какой момент ожидать,
какой у него идентификатор и что следует сделать.
Чтобы описать весь этот контекст, нужно составить полный план теста, сделать все необходимые мок-запросы, понять, какие ответы ожидать, подготовить их и подробно описать для каждого, что нужно сделать, чтобы GPT вернул готовый код. Выходит, что проще написать тест-кейс и выполнить все необходимые манипуляции самостоятельно, чем объяснять это GPT.
Попытка использования GPT для написания UI-тестов показывает ограничения текущих AI-систем. Хотя GPT может быть полезным в качестве ассистента, предоставляющего идеи кода или помогающего в решении проблем, специфика разработки тестов делают его применение ограниченным. Мы самостоятельно должны адаптировать и подготовить контекст для успешного использования такого инструмента, и часто это оказывается более трудоемким, чем написание кода вручную.
Это не означает, что GPT не поможет в решении конкретных проблем. Однако в нашем случае мы ищем инструмент, который поможет QA с минимальными усилиями создать множество автотестов, а GPT пока не способна справится с этой задачей.
Теперь мяч на стороне Copilot
Для того, чтобы использовать Copilot в проекте, для начала потребуется интегрировать его в Xcode. Я буду использовать: CopilotForXcode.
Поскольку Copilot сам настраивает контекст нашей кодовой базы, все, что понадобится, — просто приступить к написанию тест-кейса. Наш подход будет таким же, как и в случае с GPT. Первым делом мы начнем описывать абстракцию, отвечающую за нужные нам UI-элементы, а потом перейдем к написанию тест-кейса.
Copilot анализирует контекст и пытается угадать код, который вы планируете написать. Часто встречал мнение, что писать код не очень комфортно, когда кто-то под руку тебе регулярно дает неточные советы. Рассматривая применение Copilot для написания UI-тестов, я нашел один интересный лайфхак. Так как мы уже знаем идентификаторы тех элементов, которые нам понадобятся (к тому же мы уже описывали их в примере с GPT), мы можем просто разместить данный текст в закомментированном виде в нашем swift-файле. Это даст Copilot более точный начальный контекст, и он уже будет предлагать элементы на основе нашего комментария:
Благодаря данному подходу Copilot подскажет все остальные идентификаторы для наших элементов. Когда мы начнем создавать сами элементы, AI-инструмент автоматически будет присваивать нужные идентификаторы:
Таким образом, вместо написания всего файла вручную мы используем продвинутый автокомплит, который собирает для нас целый swift-файл с нужными нам UI-элементами.
Самое время приступить к написанию тест-кейса. Сейчас как раз и происходит магия: Copilot использует контекст прошлых тест-кейсов и подхватывает контекст только что созданной нами абстракции, предлагая автоматически собрать скелет нашего кейса:
Стоит отметить, что, конечно, 100% совпадения с нашими желаниями не будет, но основную работу Copilot сделал за нас. Нам лишь останется поправить вызов нужных мок-запросов и отредактировать выполнение самого теста, подставив нужные элементы и вызвав необходимые методы. Также работа по дебагу останется на наших плечах.
Проведя дебаггинг нашего тест-кейса, мы получаем код, написанный по установленным нами правилам и с тем результатом, который мы хотели достичь:
Результат работы тест-кейса:
Copilot отлично справляется с созданием скелета UI-теста. Если в вашем проекте уже есть типовые примеры, на основе которых вы хотите создать новые тест-кейсы, Copilot здесь станет вашим незаменимым помощником. Конечно, не все рекомендации Copilot подходят, бывают места, где он ошибается, и вам придется отвлекаться на предоставленные куски кода, чтобы оценить их и понять, насколько они вам подходят. Если подкидывать Copilot нужный контекст и чаще использовать его в своей работе, то с большей долей вероятности его рекомендации станут вам полезными, и вы сможете переложить часть написания типового кода на него.
Не могу не рассказать про крайне полезную фишку Copilot for Xcode. Если у вас есть доступ и к GPT, и к Copilot, то вы можете добавить API-ключ GPT от вашей учетной записи в Copilot for Xcode и на выходе получите крайне интересного зверька: Copilot в виде автокомплита и GPT в виде собеседника в чате Copilot for Xcode. Тем самым вы сможете окружить себя всеми вспомогательными AI-инструментами, которые точно помогут в работе.
Мы переходим на GPT API key и получаем ключик для нашей учетной записи.
Далее открываем Copilot for Xcode и добавляем полученный ключ:
После этого в Copilot for Xcode будет доступен чат с GPT, который мы сможем открыть в Xcode и задавать интересующие нас вопросы, не переключаясь в окно браузера.
Итоги сражения между GPT и Copilot
На основе моего опыта взаимодействия с GPT-4 и Copilot могу уверенно сказать: Copilot значительно удобнее и лучше помогает писать UI-тесты для iOS.
В целом, UI-тесты — это довольно специфическая история. Очень много работы приходится выполнять вручную, и эта работа по большей части не связана с кодом. Нужно проработать тест-кейс: понять, какие экраны будут задействованы, какие запросы на этих экранах нужно замокать, на какие поля в замоканных запросах мы будем опираться, как корректно создать и добавить наши фейковые json-ответы. Только когда все эти манипуляции будут выполнены, мы сможем обратиться за помощью к AI-инструментам для написания кода.
GPT-4 и Copilot могут взять на себя выполнение большого количества полезных работ, служа продвинутым автокомплитом (Copilot) и продвинутым инструментом поиска ответа на вопрос (GPT). Итоговое решение остается за программистом: как использовать данные инструменты, как их скомбинировать, чтобы достичь максимального положительного эффекта, и как лишить себя рутинных задач, отдав это на аутсорс AI.
Мое мнение: чем раньше вы откроете свое сердце AI-инструментам, тем быстрее вы почувствуете их потенциал в облегчении вашей работы.
