Тестирование IT-систем *

Нашёл симпатичный мультик про IBM Rational Quality Manager (под хабракатом). Впрочем, мультик не специфичен для данного конкретного инструмента, всё рассказанное и показанное с равным успехом можно применить и к любому другому инструменту управления тестированием. Мульт не технический, можно показывать его начальству с целью объяснения того, что это за инструменты такие и зачем они нужны.

(Предупреждение: мульт на английском языке)

Наверняка многие слышали анекдоты про китайцев. Кто не слышал — приведу пару типичных примеров:

Китайский противотанковый взвод численностью 3000 чел. состоит из 3 отделений по 1000 чел. Задача отделения — разобрать танк противника на части, пока он не выстрелил.

или вот такой:

Сегодня в провинции Шаньдунь сдана в эксплуатацию новая мощная электростанция. Принцип действия: три миллиона китайцев бегают по эбонитовому полу в шерстяных носках.

Однако, сказка ложь, да в ней намёк. Некоторое время тому назад мне попались на глаза две интересные заметки:

Сформирована программа выступлений на конференции SQA Days 2009, которая пройдет 23-24 апреля 2009 г. в Санкт-Петербурге.

Конференция обещает быть весьма насыщенной. В первый день будет три трека докладов, во второй день мастер-классы и круглые столы. Программа первого дня сформирована полностью, во второй день ещё могут быть некоторые изменения в расписании, а также пока уточняются списки участников-экспертов на круглых столах.

Для участия в конференции необходимо зарегистрироваться.

Теория

Для начала, давайте разберемся, что же такое Behavior Driven Development(в дальнейшем BDD) и чем данная техника отличается от Test-Driven Development(в дальнейшем TDD)

Разрабо́тка че́рез тести́рование (англ. test-driven development) — техника программирования, при которой модульные тесты для программы или её фрагмента пишутся до самой программы (англ. test-first development) и, по существу, управляют её разработкой. Является одной из основных практик экстремального программирования.

17 ноября 2008г. Минске в образовательном центре IBB прошла 4-я Международная конференция специалистов в области обеспечения качества программного обеспечения SQA Days. Конференция была посвящена вопросам, связанным с тестированием и обеспечением качества программного обеспечения: функциональному тестированию, тестированию производительности, автоматизации тестирования и инструментальным средствам, конфигурационному тестированию, тестированию usability и защищенности, статическим методам обеспечения качества и другим сферам интересов QA-специалистов. Радует то, что в 2009 году организаторы планируют провести ещё несколько конференций для QA специалистов.

Открытие конференции

Непопулярные аспекты тестирования

     Каждый разработчик знает, что писать тесты это правильно, часть разработчиков знает это на своем опыте, другая из книг тех программистов, которые знают это на личном опыте и умеют продавать свои книги. Писать книги я не умею, да и опыта мало, но поделиться некоторыми аспектами использования unit тестов я могу. Ниже, я постараюсь поменьше упоминать прописные истины, но побольше оригинальных мыслей. Все размышления не привязаны к какому либо языку или фреймворку, поэтому эта статья может быть полезна широкой аудитории разработчиков.

Простой, но внезапный вопрос чуть не поставил в тупик: «Почему тестировать должны тестировщики, а не аналитики, разработчики или пользователи?» Попытаюсь быстренько обосновать, но, скорее всего, потребуется помощь со стороны, такие формулировки требуют многостороннего анализа и освещения, и, несмотря на многолетнее владение темой, может потребоваться время на обдумывание.

 

Сегодня как-то малозаметно прошёл праздник — день тестировщика, а между тем эти люди не менее важны в нашем деле, чем программисты и дизайнеры. Именно от них зачастую зависит финальное качество новых продуктов.

Поздравляю всех тестировщиков и других служителей культа QA с профессиональным праздником!

P.S.: По этой ссылке можно прочитать почему этот день именно 9 сентября и почему ошибки называют багами.

Дисклаймер. Данная статья не является претензией на объективность, а отражает только мое сугубо личное мнение. Также прошу обратить внимание на то, что мое мнение не является статичным и может меняться. Статья написана только для того, чтобы не отвечать много раз на одни и те же вопросы, а просто дать ссылку.

Итак попробую ответить на вопрос: какие артефакты необходимы для обеспечения процесса тестирования (имеется ввиду разрабатываемые самим тестировщиком).

27 мая 2008 года в Москве прошла третья международная конференция SQA Days 2008, в которой участвовали более 200 специалистов по тестированию и обеспечению качества программных систем, а также другие заинтересованные лица. Конференция посвящалась вопросам, связанным с тестированием и обеспечением качества веб-приложений.

Предлагаем ознакомиться с видео основных докладов

Компания Agitar Software предлагает довольно любопытную метрику для оценки качества программного кода. Формула с недвусмысленным названием CRAP позволяет оценить, воскликнет ли разработчик «Oh crap!» узнав, что за код ему выпало счастье поддерживать.

Уважаемые коллеги — тестировщики (и приближенные к ним люди). Какие фреймворки вы используете для тестирования (data-driven, model-driven, point-and-click, …)? Какими инструментами автоматизированного тестирования пользуетесь и чем обусловлен выбор? Используете ли вы open-source решения?

Некоторое время назад на форуме сообщества it4business был поднят вопрос: Какого эксперта в области тестирования с мировым уровнем вы бы хотели пригласить для проведения семинара или тренинга.

Ответов было не так уж много и как-то это все затихло.
Но я задался целью найти в сети ресурсы тех экспертов, имена которых были затронуты в обсуждении и некоторых других, которых я считаю таковыми.

Все ресурсы конечно на английском языке. На всех ресурсах можно найти большое количество статей, зачастую шаблоны и презентации.

Небольшой список русскоязычных сайтов, которые могут быть полезны людям, связанным с тестированием ПО

29-го сентября, в субботу, с 11 до 17
в здании московского офиса Luxoft состоится
II-я открытая конференция специалистов по качеству ПО

Тема: Постановка процессов контроля и обеспечения качества ПО

Формат: бесплатная, по регистрации

Секции конференции:

1. Понятие качества, метрики и практики обеспечения и контроля качества.
2. Организация и управление тестированием.
3. Внедрение автоматизации в тестировании.

Для участия необходимо обязательно зарегистрироваться с указанием ФИО по ссылке
(Выберите справа «Участвую»).

Если вы хотите сделать доклад на конференции, пошлите письмо по адресу qa2conf@mail.ru.
Заявки на доклады принимаются до вечера воскресенья 23.09.
Тезисы докладов будут выложены в понедельник, 24-го сентября.

Организаторы:
Сергей Мартыненко, Денис Бесков-Доронин, Дмитрий Ручко, Александр Лобач

Адрес проведения семинара:
метро Октябрьское Поле, 1-й Волоколамский проезд, д.10, строение 3

Путь от метро:
первый вагон из центра, выход по подземному переходу направо, потом сразу налево, далее проходите около 50 метров вперед на остановку 105 и 800. Вам необходимы автобусы NN 105, 800, следующие до остановки «1-й Волоколамские проезд». Автобус останавливается напротив первой проходной.
Либо пешком от метро, идти минут 10.

Сегодня на официальном форуме Лаборатории Касперского (ЛК) был представлен первый прототип Антивируса Касперского 7.0.

Как сообщают разработчики, данная версия является первой публичной сборкой Антивируса Касперского седьмого поколения и пока включает в себя только самые базовые нововведения:
— прохождение leak-tests (BITStester, Breakout2, CPILSuite(#3), Osfwbypass, Surfer);
— прохождение keylogger тест aklt #3;
— детектирование руткитов, во время сканирования. Вердикт «Hidden Objects». Тестирование проходило на экземплярах Unreal.A, Rustock, EliteKeylogger.

Позже функционал программы будет расширен, в т.ч. будет добавлен и новый графический интерфейс.

Скриншот Антивируса Касперского 7.0. Обсуждение новой версии, а также ссылки для скачивания находятся на официальном формуме ЛК.

На сайте тестировщиков недавно появилась статья, которая описывает один из подходов к тестированию ПО. Я считаю, что он является наиболее правильным и разработчикам нужно обязательно взять её на вооружение при тестировании собственных продуктов.

В частности, рассматриваются моменты подготовки к проведению тестирования, затем, собственно, тестирование, и анализ результатов.

Попутно хочу задать вопрос разработчикам, которые читают Хабр: а вы тестируете свои программные продукты на производительность? Какой алгоритм для этого испольуете? Инструментарий?

Лаборатория Касперского сообщает о выходе новых версий (MP2 — 6.0.2.614) своих флагмановских продуктов — Kaspersky AV 6.0 / Kaspersky IS 6.0 Важнейшее дополнение, появившееся в Maintenance Pack 2 — поддержка новой операционной системы Windows Vista.

Второй пакет обновлений обеспечивает продуктам Kaspersky Internet Security 6.0 и Антивирус Касперского 6.0 возможность полноценно работать как с 32-битной, так и с 64-битной версиями Windows Vista.

При этом Maintenance Pack 2 включает в себя все функции и дополнения, содержавшиеся в первом пакете – в частности, полноценную поддержку операционной системы Windows XP 64-bit Edition, расширенную функциональность задач проверки по требованию, ряд усовершенствований модуля проактивной защиты, и защиту Менеджера задач Windows от внедрения вредоносных библиотек динамических связей (dll).

Загрузить пакет обновлений Maintenance Pack 2 для Kaspersky Internet Security 6.0 и Антивирус Касперского 6.0 можно здесь.