Наступили на больную мозоль — сейчас приходится тестировать чужие коммиты самому (до QA на полной ставке ещё не доросли).
Идея на миллион долларов, напрягает следующее:
1) критическая масса заказчиков/тестеров (верю на слово, что привлечёте)
2) в Рунете, имхо, заведомо не прокатит — рынок на такие специфические услуги малюсенький — почему бы и не на Запад сразу?
3) даже в буржуйнете будут проблемы c odesk/elance/amazon-турком, но если пункт (1) хоть как-нибудь уладить, то прокатит
4) «до покупки бага краткое описание» — по своему ежедневному опыту, многие важные баги формулируются в одно предложение, куда ж короче без скатывания в бессмысленное «сайт сломался»?
5) надеюсь, предусмотрена возможность плотного общения заказчика с тестером: конкретные новые фичи для тестирования, regression — что могло сломаться; специфические, очень важные в данный момент аспекты (например, SEO или безопасность), которые нормальный человек не в состоянии предусмотреть: например, лишний GET-параметр>дублированная страница — с точки зрения функциональности пустяки (sev 4), а для SEO — смерть (sev 1), т.п. — для такого специфического тестирования нужен постоянный фидбек и общение, надеюсь, что-нибудь для этого придумали: )
Удачи! Если получится достаточно народу собрать — будет мега-полезный сервис. Мыло оставил, очень заинтересован.
Мы пока сами не до конца знаем в каком виде это пойдёт в Рунете, но, в любом случае, будем дорабатывать и подкручивать систему под текущие потребности рынка.
По поводу Запада задумки есть, но пока это второстепенная задача.
Да, не много — у меня за 2 месяца всего 3 было. Но вообще я общался с одним их клиентом, он на oDesk мне повстречался — говорит, что дороговато в uTest продукт тестировать выходит.
Ну в принципе всё от задач зависит, конечно. Он просто нагрузочное тестирование выполнял, там и толпы индусов сгодятся.
А планируется в перспективе предоставлять возможность оплачивать не только найденные дефекты?
Хинт: рассказывая людям про uTest, я часто слышал фразу: «А если я ничего не найду, мне же не заплатят?». И правда, тестирование ведь не столько поиск багов, сколько проверка качества софта. В связи с этим получается, что я могу выполнить работу (проверить качество), но не получить оплату (не найти дефектов), либо получить, но не соразмерную временным затратам (ребята молодцы и здорово пишут). Как с этим планируется справляться?
А если заказчику хватит инфы из краткого описания, и он баг не будет покупать? Будет ли какой-то независимый аудит со стороны платформы, или она разрабатывается как максимально автоматизированная площадка, требующая вмешательства только в экстренных случаях?
Планируется ли как-то удерживать и заказчиков, и тестировщиков на платформе? А то ведь могут начать работать напрямую. Или автор не возражает против такого развития событий?
Поддерживаю. Практика оплаты тестировщикам «за баг» — весьма сомнительное предприятие. Мы изначально тоже придерживались этой системы для part-time тестировщиков в Cybiko. Она себя оправдывала только когда продукт был очень сырой, или при массовом добавлении функций/первичном тестировании. Тогда багов было много и тестировщик реально мог что-то заработать.
После того, как программы стали выходить на повторное тестирование с исправлениями, оказалось, что багов в них достаточно мало. Поэтому тестировщикам становилось финансово неинтересно тратить время на тесты. Более того, выделилась часть людей, которая искала легкоуловимые и некритичные ошибки ( типа опечаток), более же глубокие баги были скрыты. Вдумчивые же тестировщики, которые тщательно проверяли различные пороговые значения оказались в финансовом минусе.
У себя решали это повышением коэффициента стоимости за финальное тестирование, коэффициентами критичности бага, коэффициентами качества тестирования. Кроме этого в итоге ввели оплату за проверку программы по чек-листам, даже если ошибок не найдено. Возможно и на этом сайте в какой то момент к этому придут. Правда придется довольно долго коэффициентами играться, чтобы найти оптимальный для обоих сторон( заказчик/ исполнитель) вариант.
Это уже совсем близко к идее просто узкоспециализированного фрилансерского сайта, где набирается несколько тестировщиков на основе их рейтинга для проведения оговоренного объема работ с возможностью выплаты бонуса по коэфициентам за отлов багов (помимо общерутинной регрессии, может и планирования даже и т.п.).
Оценка качества работы тестировщика сама по себе очень сомнительна.
До сих пор полностью адекватной оценки я не встречал.
Начнём пока с такой системы и будем постепенно улучшать.
«чем выше критичность бага, тем выше его стоимость» — а кто будет определять критичность?
если тестировщик — так он может всем багам поставить максимальную критичность, чтобы больше получить
если заказчик — то наоборот, всем багам минимальную критичность, чтобы меньше платить
если система… то как она сможет объективно оценивать критичность?
Для разной критичности присутствует только порог минимальной стоимости, всё будет зависеть от адекватной оценки стоимости дефекта самим тестировщиком.
Дефекты сомнительной критичности будут исправляться с нашей стороны.
Очередной «Программистский» Стартап. Ну не принесет он вам денег. Или нет такой цели вообще? — Думаю, что нет.
Помните старый анекдот: «Когда программистам нечего делать, то они начинают придумывать всякие прикольные штуковины, которые кроме них никому не нужны».
И таких проектов полно. Но это не стартапы, а хобби, типа вышивания крестиком и выжигания по дереву.
Заработать бабло — не первостепенная задача.
Делаем в первую очередь в качестве дополнения к нашему основному бизнесу.
Если данный сервис будет интересен и поможет не только нам, то это замечательно.
Оценка работы тестера по количеству найденных дефектов — это сильно.
«Интересный баг» — это интересное определение — «вы не нашли интересных багов, так что платить не буду» :). По аналогии для программиста идею можно перевести так: «вы напишите нам код, и если он будет интересный, то мы вам заплатим»
Заказчики-то придут на проект… а чем тестеров привлекать будете?
Как уже отвечал выше:
Оценка качества работы тестировщика сама по себе очень сомнительна.
До сих пор полностью адекватной оценки я не встречал.
Начнём пока с такой системы и будем постепенно улучшать.
Больше всего будут пережевать и «плакать» те тестировщики, которые больше говорят, что умеют, а на самом деле мало что умеют и не хотят ничего делать.
FIXber — рынок услуг по тестированию программного обеспечения