ИИ в тестировании: от анализа требований до автоматизации

[ToxaBes]

OCR и image template matching. Когда элемент на экране не распознаётся по стандартному шаблону (например, из-за обрезки в UI, из-за чего OCR считывает усечённый текст), сгенерированная логика матчинга принимают частичное совпадение за успешное. Проверка формата «ожидаемая строка содержится в распознанной» проходит даже на обрывке текста. В итоге тест горит зелёным, хотя ничего по факту не проверено — приходится дорабатывать вручную

Это стандартная проблема и устаревшее решение. Сейчас такое решается дообучением модели (локальной, не облачной), после чего она резко становится способной писать тесты по скриншотам экран, проверять наличие элементов в UI в сответсвтии со спекми и тд. Модель буквально понимает сруктуру элементов на экране без OCR.