Тестирование IT-систем *

Достался мне в управление проект, который из-за не выстроенных процессов его контроля и мониторинга, находился в весьма плачевном состоянии. Я не буду перечислять полный список проблем и всех предпринятых для их решения шагов, так как хочу поделиться опытом именно быстрого нахождения багов, исправления которых скорее всего будет достаточно, чтобы зарелизить и сдать продукт клиенту.

Итак, дано: проект по разработке интерактивного онлайн тренажера, стадия продукта — открытая бета.
Задача: быстро и как можно дешевле найти мешающие релизу баги, исправить их и сдать продукт клиенту.

Портал «Айти-событие.рф» представляет Вашему вниманию 3-й выпуск нашего «Дайджеста предстоящих IT-событий» на апрель 2013 года.


Для удобства навигации все события разделены на 5 категорий:

• I. Девелоперские
• II. Тестерские
• III. Джуниорские
• IV. Стартаперские
• V. Маркетинговые

Мы рады сообщить, что Джейсон Зандер, корпоративный вице-президент по разработке Windows Azure, подтвердил своё участие в конференции DevCon 2013. На открытии конференции он расскажет о средствах разработки и облачной платформе Microsoft.

Имя Джейсона Зандера широко известно разработчикам. До сентября 2012, когда он присоединился к команде Windows Azure, в качестве вице-президента по разработке, он в течение более чем 5 лет возглавлял разработку Visual Studio, а до этого более 2 лет отвечал за CLR, .NET Compact Framework и ASP.NET технологии.
Джейсон был одним из разработчиков CLR и отвечал за форматы файлов, компиляторы, отладку/профилирование и интеграцию с ключевыми продуктами, такими, как например Microsoft SQL Server. До того, как он стал отвечать за разработку Visual Studio Джейсон работал над множеством продуктов Microsoft, например SourceSafe, Rpository и ODBC. До прихода в Microsoft в 1992 году, Джейсон работал в IBM над Distributed SQL и SQL/400 в Рочестерской лаборатории.

Без качественного тестирования невозможно разрабатывать и поддерживать крупный веб-сервис. На ранних этапах его развития часто можно обходиться только ручным тестированием по заданному тест-плану, но с появлением новых фич и увеличением количества тест-кейсов довольствоваться только им становится все сложнее и сложнее. В этой статье мы расскажем о том, как автоматизируем функциональное тестирование веб-интерфейса Яндекс.Почты с помощью Selenium WebDriver и Node.js.

К сожалению, ошибки бывают у всех. И «Антивирус Касперского» не миновал этой участи. У нас случаются «баги» в обновлениях, некоторые из которых доставляют пользователям неприятные хлопоты. Все подобные случаи мы тщательно расследуем, делаем выводы, и «подкручиваем» технологии тестирования.

А как вообще тестируются антивирусные обновления?

По вполне понятной причине в антивирусной индустрии технологические подробности тестирования обычно держатся за семью печатями. Попробуйте поискать в Интернете — сколько-нибудь полезной информации по этому поводу нет.
С другой стороны, тестирование обновлений — очень интересная тема, достойная внимания читателя. И нам здесь есть чем поделиться.
В конце 90-х «Лаборатория Касперского» была одной из первых в индустрии, кто автоматизировал процесс и уже около 15 лет постоянно развивает его.

Уважаемые коллеги, разработчики и тестировщики программного обеспечения. От лица команды организаторов конференции DevCon 2013 я рад анонсировать очередную порцию докладчиков конференции и первую треть тем докладов и их описаний.

Подготовка к конференции идет полным ходом, ранее мы анонсировали ряд ключевых докладчиков и целый набор активностей, которые будут идти параллельно основной программе: школа функционального программирования, интенсивный тренинг по тестированию ПО, мастер-классы от Гайдара Магданурова по бизнесу и Асхата Уразбаева с Виктором Стрелковым по гибким методологиям Agile/Scrum, хакатон “Ночь кодирования”.

Ниже вы найдете список первой трети докладов конференции и анонс докладчиков, которые выступят в рамках основной программы на DevCon 2013.

По роду деятельности приходится иметь дело с железом, с большим количеством компьютеров разной конфигурации, и, в частности, заниматься их тестированием. Естественно, хочется чтобы этот процесс был автоматизирован на сколько возможно. Для этих целей я использую бездисковую загрузку линукс через PXE, на котором подготовлены к автозапуску соответствующие скрипты с разными тестами, демоны следят за состоянием системы, а мониторинг на сервере показывает результаты и ругается, если что-то не так. В общем-то, всем можно быть довольным, но процесс проверки оперативной памяти никогда мне не нравился. Нативный для линукса memtester, субъктивно, работает слишком долго, прежде чем что-то найдет, да и находит далеко не всегда. Собрать ядро или поиграться с архивами — неплохой способ проверить систему на стабильность, но в глюках не всегда бывает виновата память. А самым действенным способом, в конечном счете, является старый добрый Memtest86. Но с ним необходимо следить за каждым компьютером по отдельности, теряется весь процесс автоматизации, а когда компьютеров слишком много, то начинает поджимать и время. К сожалению, обделен всякими хитрыми kvm'ами.

Размышляя над этим, я обратил свой взгляд на виртуализацию. Почему бы не попробовать? Хотя бы just for lulz. Память ведь используется таже самая.

Всем привет.

Познакомившись с библиотекой MockMvc, я обнаружил "наличие отсутствия" её упоминаний на Хабре. Постараюсь восполнить этот пробел, тем более, что наше приложение ContactManager как раз нуждается в автоматизированном тестировании.

Работая над своими проектами неоднократно наталкивались на проблему необходимости дополнительных возможностей для мониторинга своего продукта. То есть, помимо стандартного наблюдения за нагрузкой или доступностью к серверу, хотелось иметь возможность непрерывного наблюдения и валидации интерфейс элементов, форм, контента и прочих составляющих. Другими словами нужен был инструмент который позволял бы нам узнавать о появившихся проблемах и решать их прежде чем они будут замечены пользователями.

Мониторите ли вы свои сервисы в продакшене? Чья у вас это зона ответственности?

Часто, когда речь заходит о мониторингах, приходят на ум серверные разработчики, системные администраторы и DBA, которые должны следить за очередями обработки данных, наличием свободного места на дисках, за жизнеспособностью отдельных хостов и нагрузкой.
Такие мониторинги действительно дают много информации о сервисе, но далеко не всегда показывают, как сервис работает для реального пользователя. Поэтому, в качестве дополнения к системным мониторингам, мы создали в Яндексе систему функциональных мониторингов, отслеживающих состояние сервиса через конечные интерфейсы – через то, как приложение выглядит и работает в браузере, и то, как оно работает на уровне API.
Что же такое функциональные мониторинги в нашем понимании? Чтобы лучше это понять, давайте посмотрим на то, как все развивалось.

Качественный код невозможен без тестов. А качественные тесты — без моков. В создании моков нам давно помогают различные полезные библиотечки, наподобие EasyMock или Mockito. В своей практике я использую Mockito, как самое гибкое, красивое и функциональное средство. Но, к сожалению, Mockito тоже не стал серебрянной пулей. Ограничением всегда являлись final классы, private поля и методы, static методы и многое другое. И приходилось выбирать: или красивый дизайн, или качественное покрытие тестами. Меня, как приверженца красивой архитектуры и качественных тестов, такой расклад не устраивал. И вот совсем недавно я наткнулся на замечательную библиотечку — PowerMock, которая удовлетворила практически все мои запросы. За исключением одного, но об этом позже.

Введение

Последние три месяца мне пришлось работать с Selenium 2.0 (WebDriver).
В данной статье я опишу свои впечатления, мысли и опыт, который я приобрел.
Так же я опишу основные действия, которые чаще всего вызывают проблемы и покажу наиболее удачные решения, которые я смог реализовать для них. Возможно есть более правильные подходы — буду рад если оставите их в комментариях.

Уважаемые разработчики и тестировщики ПО, от лица команды организаторов конференции DevCon 2013 я с удовольствием анонсирую акцию посвященную первым дням весны 2013 года.

В честь первых дней Весны мы снижаем цены на участие в нашей конференции и предлагаем
специальную цену участия в 13 000 руб. для всех пользователей, запросивших счет в период с 5 по 12 марта. 

Зарегистрируйтесь на сайте конференции, запросите счет на оплату билетов
и получите доступ к двум дням технического кайфа по самой низкой цене.

Я уже с 25 февраля завидую этим владельцам светофора. В целом визуализация мониторинга всегда была для меня интереснее, чем уведомления по почте или смс. Но все сводилось к отдельной страничке с состоянием системы, на которую нужно было заходить для проверки. А вот после прочтения поста и осознания, что светофор слишком экстравагантный инструмент, появилась интересная мысль — реализовать светофор в браузере! Ведь сейчас мы практически каждые несколько минут открываем браузер за тем или иным.

Подробности под катом.

Когда я решила попробовать себя в удаленном тестировании, зарегистрировалась на нескольких freelance-биржах и не получила ни одного предложения о работе, то задумалась о том, что же со мной не так. Немного подумав, я поняла, что для полного счастья мне не хватает портфолио. Я прочитала определенное количество статей, содержащих советы для новичков в этом деле. Некоторые из них были довольно неплохими, как, например "Фриланс — практика", но ни одна из них так и не помогла мне в составлении портфолио тестировщика.

Портал «Айти-событие.рф» представляет Вашему вниманию «Дайджест предстоящих IT-событий на март 2013 года».



Для удобства навигации все события мы разбили на 5 категорий:

• I. Девелоперские
• II. Тестерские
• III. Джуниорские
• IV. Стартаперские
• V. Дизайнерские

Какое-то время назад ко мне в Skype и «Мой круг» постучалось несколько человек с одним и тем же вопросом: «Как и где можно защитить диссертацию по QA?». Вопросы удивили. Давно не слышал о том, что кто-то хочет писать научные труды, особенно по QA. Вместе с тем, в последнее время я начал замечать, что ко мне все чаще стали приходить на собеседования люди, которые или уже пишут научную работу, или планируют заняться научной деятельностью.

После этого я решил узнать, а много ли существует случаев, когда человек защитил диссертацию по QA. Примеров оказалось немало, вот только некоторые из них:

• «Тестирование на основе формальных спецификаций в процессах разработки программных комплексов» (Петренко Александр Константинович, д.ф.-м.н),
• «Методы и программные средства управления конфигурациями проектов разработки встроенных систем» (Налютин Никита Юрьевич, к.т.н.),
• «Методы реализации регрессионного тестирования по расширенным тестовым наборам» (Епифанов Николай Анатольевич, к.т.н),
• «Разработка метода построения комплекса нагрузочного тестирования распределенной информационной системы» (Ермыкин Алексей Александрович, к.т.н).

Однако все это были уже готовые и законченные работы, так сказать, финал. Мне же была интересна «предыстория». Личный успешный опыт защиты диссертации (правда, по экспериментальной физике) на тот момент позволял видеть лишь общую картину, без какой-либо конкретики. Поэтому я собрал некоторую информацию, добавил мысли из личного опыта и решил поделиться всем этим.

Современные приложения редко работают в изоляции, чаще всего они интегрируются с множеством сторонних сервисов. Поэтому остро встает вопрос тестирования этой интеграции в рамках интеграционного или функционального тестирования. И тут можно наступить на многие грабли, о которых я и собираюсь поговорить. Для кого эта тема актуальна, прошу под кат.

Меня долго не покидала идея визуализировать статусы билдов каким-нибудь простым и эффективным способом. Под катом я расскажу, как в моем офисе появился настоящий дорожный светофор, как он работает и зачем он вообще нужен.

Я рад анонсировать первую волну ключевых спикеров конференции DevCon 2013. Сегодня мы готовы представить вам докладчиков, которые специально приедут к нам на конференцию для того чтобы встретиться с участниками, прочитать доклады, ответить на вопросы, обсудить все интересующие участников темы.

Сегодня анонсируется первая волна ключевых спикеров. Всего мы планируем несколько таких волн, когда мы представляем вам новых докладчиков DevCon 2013. Следите за новостями конференции.

Бернд Шульце (Dr. Bernd Schulze)

Директор по развитию бизнеса, Qualcomm Europe

Доктор Бернд Шульце занимает пост Директора по развитию бизнеса европейского подразделения компании Qualcomm. Являясь частью команды глобальной экосистемы, он устанавливает и управляет партнерскими отношениями с разработчиками мобильных приложений и ведущими сервисными провайдерами Европы, особенно восточной Европы и Германии.

Доктор Бернд Шульце начал свою работу в компании Qualcomm в марте 2012 года, куда он перешел из германской компании Deutsche Telekom. В Deutsche Telekom Бернд Шульце работал Главой направления по установке и управлению партнерскими отношениями со стартапами и облачными провайдерами. Еще до Deutsche Telekom доктор Бернд Шульце работал ведущим менеджером по развитию бизнеса в ТВ-операторе Sky Deutschland и стратегическим консультантом в компании Accenture.

Доктор Шульце получил степень доктора философии (PhD) в Университете Мюнхена.