Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 30
> Кстати, тестером у нас может стать любой желающий
А как же бикини и светлые волосы?
А как же бикини и светлые волосы?
Хорошая идея.
Только вот… тестировщик получит 300р с 990р заплаченных клиентом. >60% — нехилая комиссия для нового сервиса.
Только вот… тестировщик получит 300р с 990р заплаченных клиентом. >60% — нехилая комиссия для нового сервиса.
Это на самом деле немного. На западе за аналогичные услуги тестеры получают ~25%.
Товарищи, я был бы рад найти такую тестировщицу )
1) Тесты делаются по конкретным заданиям, но юзер может решать и другие, о которых разработчик и не догадывается. В этом случае поможет только статистика сайта и Вебвизор, о котором в статье Вы не упомянули. Хорошо бы сравнить эти две ситсемы анализа.
2) Тестером может быть любой желающий — меня пугает.
2) Тестером может быть любой желающий — меня пугает.
«Тестером может быть любой желающий — меня пугает.» — почему же? Это же не тестирование, где нужны обученные QA специалисты, а юзабилити-тестирование — при нем как раз проверяется, насколько успешно обычные люди смогут пользоваться вашим сайтом.
Обычный юзер, к примеру блондес из топика, сможет записать видюху с комментами? Не верю. Или у видюху сам сервис пишет? В топике об этом ничего, к сож., не сказано.
Возможно, Вам нужно позиционироваться как экспертное юзабилити-тестирование, ну или награждать своих тестеров статусами (эксперт, подготовленный юзер, блондинка)?
Возможно, Вам нужно позиционироваться как экспертное юзабилити-тестирование, ну или награждать своих тестеров статусами (эксперт, подготовленный юзер, блондинка)?
У нас для отсеивания совсем неспособных есть пробная работа.
Дело в том, мы как раз проводим НЕэкспертное тестирование. Тестируют обычные люди. Те, которые и будут пользоваться сайтом в обычных условиях. Взгляд «экспертов» отличается от того, что видят обычные пользователи, поэтому, на мой взгляд, их советы не так эффективны. Лучше (и в разы дешевле) провести тест с настоящим пользователем.
Дело в том, мы как раз проводим НЕэкспертное тестирование. Тестируют обычные люди. Те, которые и будут пользоваться сайтом в обычных условиях. Взгляд «экспертов» отличается от того, что видят обычные пользователи, поэтому, на мой взгляд, их советы не так эффективны. Лучше (и в разы дешевле) провести тест с настоящим пользователем.
Давайте первым брошу в Вас вилы, уж не обижайтесь.
Так же хочу поставить под сомнение репрезентативность группы тестировщиков. Задача юзабилити-тестирования не найти все ошибки, а исправить шероховатости, которые мешают потенциальным КЛИЕНТАМ (если мы говорим о бизнес-сайте). Поэтому и тестировщиков нужно подбирать соответствующих. Или вы будете утверждать, что для тестирование сайта для детей можно поручить человеку с 2мя высшими образованиями?
Как вы находите эти самые 95% проблемных мест? Если человек задержался на 4-5 секунд над баннером с изображением — он задумался/отвлекся на звонок или девушка на изображении ему понравилась? Вы конечно можете спросить об этом у пользователя, но давайте не будем забывать что никто не любит признаваться в своих ошибках. Человек скорее соврет Вам, чем скажет что он чего-то не понял или не смог.
Вся ценность юзабилити-тестирования в получении достоверных данных и экспертном анализе. В Вашем случае оба эти аспекта не выдерживают никакой критики.
Тот же самый Нильсен в своей последней книге выделил целую главу на обоснование того как нужно организовывать такие исследования и почему большая часть из непрофессиональных исследований не может считаться объективной.
Резюме: Вы слишком увлеклись Кругом с его не особо научным подходом. В результате Ваш проект при первом рассмотрении выглядит весьма многообещающим, но если капнуть глубже — напоминает этакое шарлатанство.
Но вы все равно найдете те основные проблемные места, которые отвечают за 95% недополученной прибыли.Откуда такую точную оценку получили? И какова объективность такого теста? Простите мой скептицизм, но я уверен, что без качественной оценки таких тестов польза от них почти нулевая.
Так же хочу поставить под сомнение репрезентативность группы тестировщиков. Задача юзабилити-тестирования не найти все ошибки, а исправить шероховатости, которые мешают потенциальным КЛИЕНТАМ (если мы говорим о бизнес-сайте). Поэтому и тестировщиков нужно подбирать соответствующих. Или вы будете утверждать, что для тестирование сайта для детей можно поручить человеку с 2мя высшими образованиями?
Как вы находите эти самые 95% проблемных мест? Если человек задержался на 4-5 секунд над баннером с изображением — он задумался/отвлекся на звонок или девушка на изображении ему понравилась? Вы конечно можете спросить об этом у пользователя, но давайте не будем забывать что никто не любит признаваться в своих ошибках. Человек скорее соврет Вам, чем скажет что он чего-то не понял или не смог.
Вся ценность юзабилити-тестирования в получении достоверных данных и экспертном анализе. В Вашем случае оба эти аспекта не выдерживают никакой критики.
Тот же самый Нильсен в своей последней книге выделил целую главу на обоснование того как нужно организовывать такие исследования и почему большая часть из непрофессиональных исследований не может считаться объективной.
Резюме: Вы слишком увлеклись Кругом с его не особо научным подходом. В результате Ваш проект при первом рассмотрении выглядит весьма многообещающим, но если капнуть глубже — напоминает этакое шарлатанство.
Да ладно Вам, шарлатанство. Человек делает проект с благими намерениями, это видно. Просто надо немного доработать или пересмотреть позиционирование и концепт. Вы хорошую идею подбросили — делить тестировщиков на группы: дети, молодежь, взрослые; домохозяйки, специалисты, предприниматели и т.д.
Что дело благое — я согласен. Меня методы и оценки результативности смущают.
Делить тестировщиков на группы — да, только признаков на мой взгляд должно быть больше. Нельзя упускать образование и компьютерную грамотность тестировщиков.
Раз уж предлагаем идеи выдвину еще одну: заведите пару экспертов, которые помогут Вашим заказчикам интерпретировать результаты таких тестов.
Если эти 2 идеи сможете реализовать, то 10-20% грубейших ошибок сможете находить. Хотя того же результата можно добиться просто грамотно объясняя
а) что «розовой кошечки» на сайте не про кошечек быть не должно и не важно, что кошек все любят
б) что 20 рекламных баннеров на главной это перебор, а вот 1-2 вполне уместно.
Делить тестировщиков на группы — да, только признаков на мой взгляд должно быть больше. Нельзя упускать образование и компьютерную грамотность тестировщиков.
Раз уж предлагаем идеи выдвину еще одну: заведите пару экспертов, которые помогут Вашим заказчикам интерпретировать результаты таких тестов.
Если эти 2 идеи сможете реализовать, то 10-20% грубейших ошибок сможете находить. Хотя того же результата можно добиться просто грамотно объясняя
а) что «розовой кошечки» на сайте не про кошечек быть не должно и не важно, что кошек все любят
б) что 20 рекламных баннеров на главной это перебор, а вот 1-2 вполне уместно.
Спасибо за ваш комментарий. С удовольствием отвечу.
95% — зависит от количества пользователей и итераций с тестированием (протестировал, починил, протестировал...). Согласен, самому это трудно достоверно посчитать, поэтому оценка взята из книги Круга.
Репрезентативные тестеры лучше, но это не значит, что нельзя сделать выводов протестировав на случайном пользователе. Если у вас проект, заточенный под очень узкую аудиторию, то да, наш сервис возможно будет не лучшим решением.
Почему по-вашему человек скажет правду при стандартных юзабилити-тестах. У нас в инструкциях есть специальный пункт на этот счет.
Данные вы получаете почти такие же, как и заплатив на порядок больше. «Экспертный анализ» сильно преувеличен. Но опять же, никто не мешает вам переплатить за мнение человека, прочитавшего пару книг по юзабилити, несколько десятков тысяч рублей.
Нельзя считать мнение Нильсеня объективным. Говори он обратное, первым остался бы без работы. Кстати, сам факт того, что он посчитал нужным об этом написать, уже кое о чем свидетельствует.
Обоснуйте, пожалуйста. Мы продаем клиентам ровно те услуги, которые обещаем. И не делаем никаких наценок за танцы с бубнами и «экспертное мнение».
95% — зависит от количества пользователей и итераций с тестированием (протестировал, починил, протестировал...). Согласен, самому это трудно достоверно посчитать, поэтому оценка взята из книги Круга.
Репрезентативные тестеры лучше, но это не значит, что нельзя сделать выводов протестировав на случайном пользователе. Если у вас проект, заточенный под очень узкую аудиторию, то да, наш сервис возможно будет не лучшим решением.
Почему по-вашему человек скажет правду при стандартных юзабилити-тестах. У нас в инструкциях есть специальный пункт на этот счет.
Данные вы получаете почти такие же, как и заплатив на порядок больше. «Экспертный анализ» сильно преувеличен. Но опять же, никто не мешает вам переплатить за мнение человека, прочитавшего пару книг по юзабилити, несколько десятков тысяч рублей.
Нельзя считать мнение Нильсеня объективным. Говори он обратное, первым остался бы без работы. Кстати, сам факт того, что он посчитал нужным об этом написать, уже кое о чем свидетельствует.
Обоснуйте, пожалуйста. Мы продаем клиентам ровно те услуги, которые обещаем. И не делаем никаких наценок за танцы с бубнами и «экспертное мнение».
Извиняюсь за резкость (про шарлатанство). Круг человек известный, но ни разу не научный авторитет.
Репрезентативные тестеры дают сильный вектор в сторону достижения цели. Случайные тестеры этот вектор размывают.
Можно еще долго спорить о том что есть стандартные юзабилити-тесты, но все же если за человеком наблюдает eye-трекер и эксперт — достоверность будет выше.
Мнение Нильсена не на 100% объективное, но есть доводы в его защиту:
1) он сам допускает такую необъективность, а значит его волнует результат
2) он делает свои выводы на очень массовых исследованиях с четко проработанной методикой
3) он занимается эргономикой чуть ли не всю жизнь и считается отцом-основателем юзабилити сайтов
4) он так же «Ph.D. in human-computer interaction»
К сожалению по Кругу такого списка составить получится.
Репрезентативные тестеры дают сильный вектор в сторону достижения цели. Случайные тестеры этот вектор размывают.
Можно еще долго спорить о том что есть стандартные юзабилити-тесты, но все же если за человеком наблюдает eye-трекер и эксперт — достоверность будет выше.
Мнение Нильсена не на 100% объективное, но есть доводы в его защиту:
1) он сам допускает такую необъективность, а значит его волнует результат
2) он делает свои выводы на очень массовых исследованиях с четко проработанной методикой
3) он занимается эргономикой чуть ли не всю жизнь и считается отцом-основателем юзабилити сайтов
4) он так же «Ph.D. in human-computer interaction»
К сожалению по Кругу такого списка составить получится.
Репрезентативные лучше, я с вами согласен. Опять же, это зависит от того, насколько узкая ЦА вашего сайта. Мы в будущем планируем разделять тестеров на категории в зависимости от опыта, соц. статуса, профессии и т.д.
Когда над человеком висит эксперт, и все его действия жестко мониторят, он чувствует себя более скованно и ведет себя менее натурально. Соответственно и результат.
Все же в данном вопросе не важно сколько у него ученых степеней. Как вы не понимаете, он же защищает то, на чем зарабатывает деньги. Говори он обратное — это как если бы продавец свеклы уверял бабок на рынке, что она вызывает рак мозга.
Кстати, случай из практики. Наша компания как-то поддерживала систему, написанную докторами наук по информатике. Теория без практики — мракобесие было жуткое. (это я ни к тому, что у Нильсена нет опыта)
Когда над человеком висит эксперт, и все его действия жестко мониторят, он чувствует себя более скованно и ведет себя менее натурально. Соответственно и результат.
Все же в данном вопросе не важно сколько у него ученых степеней. Как вы не понимаете, он же защищает то, на чем зарабатывает деньги. Говори он обратное — это как если бы продавец свеклы уверял бабок на рынке, что она вызывает рак мозга.
Кстати, случай из практики. Наша компания как-то поддерживала систему, написанную докторами наук по информатике. Теория без практики — мракобесие было жуткое. (это я ни к тому, что у Нильсена нет опыта)
Зашел в пост только из-за картинки :)
Что-то я разговорился в этом топике. Подброшу идейку.
Почему бы Вам не стать неким сервисным дополнением Вебвизору?
Т.е. серфинг записывается Вебвизором, что значительно облегчает использование сервиса тестировщиком. Это позволяет привлечь толпы тестировщиков абсолютно из разных групп. Снизить стоимость и назначить её за кол-во тестировщиков: 10, 100, 1000, ∞.
В этом случае с точки зрения заказчика можно получить вполне интересный продукт. Зашел, выбрал 50 девственниц в возрасте от 25 до 35, поклонниц Курта Кобейна, поставил задачу, оплатил, получил результат :) Я бы пользовался.
Почему бы Вам не стать неким сервисным дополнением Вебвизору?
Т.е. серфинг записывается Вебвизором, что значительно облегчает использование сервиса тестировщиком. Это позволяет привлечь толпы тестировщиков абсолютно из разных групп. Снизить стоимость и назначить её за кол-во тестировщиков: 10, 100, 1000, ∞.
В этом случае с точки зрения заказчика можно получить вполне интересный продукт. Зашел, выбрал 50 девственниц в возрасте от 25 до 35, поклонниц Курта Кобейна, поставил задачу, оплатил, получил результат :) Я бы пользовался.
Благодарю за идею.
На мой взгляд это все же несколько разные сервисы. Вебвизор разве может записывать комментарии пользователя? А это один из основных источников информации. И насколько я понял, у Яндекса надо потратить минимум 6000 за месяц. У нас за эти же деньги можно получить 6 скринкастов с комментариями и ответами на вопросы. К тому же Вебизор больше подходит для сайтов, на которые уже кто-то ходит. В противном случае придется самому нагонять тестеров.
Распределять пользователей по группам мы тоже планируем, но все сразу не успеть (:
На мой взгляд это все же несколько разные сервисы. Вебвизор разве может записывать комментарии пользователя? А это один из основных источников информации. И насколько я понял, у Яндекса надо потратить минимум 6000 за месяц. У нас за эти же деньги можно получить 6 скринкастов с комментариями и ответами на вопросы. К тому же Вебизор больше подходит для сайтов, на которые уже кто-то ходит. В противном случае придется самому нагонять тестеров.
Распределять пользователей по группам мы тоже планируем, но все сразу не успеть (:
Хотелось бы узнать: есть ли уже клиенты у вашего сервиса? Сколько примерно их(десятки, сотни и т.д.)? Сколько тестеров? Как часто тестеры получают проекты? Свободный ли график у тестеров? Вы после того, как тестера пригласили, потом проверяете его работу на качество? Или надеетесь на сознательность граждан?
Чего только не придумают, лишь бы протащить сиськи на главную.
А я пожелаю вашему проекту развития и клиентской базы.
Несмотря на спорные комментарии (выше) о целесообразности такого тестирования, я считаю, что оно необходимо!
Думаю, что запишусь в клиенты достаточно скоро.
Бывают клиенты, которые просят «потестировать сайт простыми людьми». Да и свои проекты с удовольствием отдам в руки ваших тестеров.
В ту-ду моем года 3 лежит описание похожего проекта. Так и нереализованного.
В общем, я приятно удивлен вашему проекту. Но его еще допиливать и допиливать.
Несмотря на спорные комментарии (выше) о целесообразности такого тестирования, я считаю, что оно необходимо!
Думаю, что запишусь в клиенты достаточно скоро.
Бывают клиенты, которые просят «потестировать сайт простыми людьми». Да и свои проекты с удовольствием отдам в руки ваших тестеров.
В ту-ду моем года 3 лежит описание похожего проекта. Так и нереализованного.
В общем, я приятно удивлен вашему проекту. Но его еще допиливать и допиливать.
Спасибо!
Допиливать обязательно будем. Есть ли какая-либо функциональность, которую вы бы хотели увидеть первым делом?
Допиливать обязательно будем. Есть ли какая-либо функциональность, которую вы бы хотели увидеть первым делом?
Если без проведения глубокого тестирования :-), то сразу напрашивается:
— более подробное описание, как все происходит (или FAQ);
— способы оплаты (может не для всех, но я привык на сайте сразу видеть, как смогу оплатить услуги);
— отсюда usertest.ru/payment нет ссылки «редактировать заказ» (мало ли);
— непонятно, в каком виде клиент получает «ответы на вопросы»? Мне кажется, что видео как раз второстепенное (хватает вебвизора), а вот именно комментариев тестеров, что не так на сайте — там нет;
— неясен алгоритм выбора тестера («Мы сообщаем нашим тестерам о новом заказе, они приступают к тестированию и записи видео.»). Кто из списка тестеров получит заказ, если я оплатил одного пользователя?
— лично для меня было бы более важно получить «минитестирование». Без видео. Например, мне нужен ответ на один-два вопроса «как быстро вы нашли контакты» и «удобно ли офорлять заказ». И получить ответы мне интересно не от 1-5 тестеров, а от как можно большего количества. Чтобы собрать мнения.
Постепенно, думаю, что-то еще может добавиться. Пока сложно сказать.
— более подробное описание, как все происходит (или FAQ);
— способы оплаты (может не для всех, но я привык на сайте сразу видеть, как смогу оплатить услуги);
— отсюда usertest.ru/payment нет ссылки «редактировать заказ» (мало ли);
— непонятно, в каком виде клиент получает «ответы на вопросы»? Мне кажется, что видео как раз второстепенное (хватает вебвизора), а вот именно комментариев тестеров, что не так на сайте — там нет;
— неясен алгоритм выбора тестера («Мы сообщаем нашим тестерам о новом заказе, они приступают к тестированию и записи видео.»). Кто из списка тестеров получит заказ, если я оплатил одного пользователя?
— лично для меня было бы более важно получить «минитестирование». Без видео. Например, мне нужен ответ на один-два вопроса «как быстро вы нашли контакты» и «удобно ли офорлять заказ». И получить ответы мне интересно не от 1-5 тестеров, а от как можно большего количества. Чтобы собрать мнения.
Постепенно, думаю, что-то еще может добавиться. Пока сложно сказать.
Сколько заказчик получает видеороликов от разных тестеров за свои 990 рублей?
Ошибся. Тестеры получат 1500 рублей, а вы 3450.
Похоже появился конкурент — www.testuser.ru
Там всё автоматизировано работает.
Там всё автоматизировано работает.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Дешевое и быстрое юзабилити-тестирование