Автотесты. А не отдать ли на аутсорс?

Здравствуйте, уважаемое хабросообщество.

Хочу поделиться некоторыми мыслями, а также выслушать ваше мнение касательно аутсорсинга автотестирования веб-приложений. Также предлагается небольшое голосование касательно затронутой темы.

Сразу оговорюсь, что это не попытка тонкого пиара своей компании или типа того, а просто живой интерес к вопросу.

Думаю многие из тех кто в теме заметили, что в последнее время наблюдается некоторый ажиотаж вокруг автоматизированного тестирования. Многочисленные тренинги, семинары, доклады, тьюториалы о том как писать, запускать тесты правильно, обзоры инструментов, фрейморвков, подходов к проектированию и т.д. Большинство компаний, занимающихся веб-разработкой, хотят применять автотестирование на своих проектах и получать от этого бенефиты в виде постоянного контролируемого уровня качества и экономии, вследствие автоматизации многократно повторяемых проверок. Но нередко получается наоборот, когда ресурсы тратятся на поддержание самих тестов в рабочем состоянии, а стабильного результата добиться не выходит. Думаю все сталкивались с явлением того, что тесты падают по разным причинам (часто вследствие криворукости) именно тогда, когда нужно принять решение о возможности деплоя очередного релиза на продакшн. На то есть множество различных причин, но не будем сейчас на этом останавливаться. Просто признаем что проблемы есть и движемся дальше.

А вот собственно и мысль — А может было бы лучшей идеей отдать это дело на аутсорс профессионалам, у которых этот процесс отлажен до идеального состояния, интегрировать со своим CI процессом и получать готовый результат в виде отчетов не заботясь об инфраструктуре и обучении людей и прочих сложностях, а внутренней QA-команде оставить доменную экспертизу, ручное тестирование и собственно написание тесткейсов, сэкономив на зарплатном фонде, поскольку зарплаты тестировщиков-автоматизаторов уже сравнялись с зарплатами разработчиков, что вполне логично. Кроме того на рынке присутствует дефицит профессионалов.

Конечно, при аутсорсе автотестирования также думаю есть свои проблемы. Не сталкивался, могу только предполагать. Поделитесь если у кого-нибудь был опыт.

Я попытался в интернете найти компании, которые предлагают такие услуги. Список у меня получился небольшой и все найденные мной компании предлагают комплексные услуги тестирования с непрозрачным ценообразованием а-ля звоните и мы посчитаем во сколько это может вам обойтись. Первая мысль, которая приходит в голову, что в финансовом плане это может оказаться даже менее выгодно, чем иметь свою команду авто-тестеров. А что если бы существовала другая модель, скажем, pay per action, при которой бы оплачивалось каждое действие в браузере: клик по элементу, выбор элемента из списка, заполнение поля etc. при написании кода + помесячная плата за аренду инфраструктуры для запуска тестов в зависимости от требуемых мощностей. Кому-то будет вполне достаточно запускать тесты в 1 поток, кому-то в 10, кому-то в 100.

При таком подходе было бы с точностью до рубля посчитать, что выгоднее тестировать вручную, а что было бы дешевле автоматизировать.

Приглашаю всех поделиться своим опытом и мнениями в комментариях, а к опросу приглашаются по возможности только те, кто имеет непосредственное отношение к принятию таких решений, дабы придать ему репрезентативности.