Относительно не так давно появилась замечательная библиотека Espresso для тестирования UI Android приложений. Её преимущества над аналогами обозревались не один раз. Если вкратце, то они заключаются в том, что это разработка Google для собственной ОС (ранее они сами использовали Robotium), а так же в лаконичности синтаксиса и скорости работы. Итак, мы решили идти в ногу со временем и использовать Espresso. Но нам мало тех плюсов, что уже есть, мы хотим BDD (http://en.wikipedia.org/wiki/Behavior-driven_development), мы хотим скриншотов и отчетов в json и html, мы хотим запускать это все на CI, в конце концов! Но обо всем по порядку. Я расскажу как подружить Cucumber (http://habrahabr.ru/post/62958/) и Espresso (http://habrahabr.ru/post/212425/) на небольшом примере. Всех, кто устал от Appium, кто хочет уйти от Robotium и тех, кому небезразлично тестирование Android, прошу под кат.

Примерно 2 года назад Techcrunch написал об учителе Уолтере Дункане, который с помощью ролика в котором он за 30 секунд проверяет 13 тестовых работ привлек к своему проекту внимание, а позже с помощью Кикстартера и финансирование.



Мне по долгу службы работ проверять приходится довольно много, поэтому когда познакомился с данным сервисом, сразу решил его тестировать на своих школьниках.

Программа называется Quick Key.

Вступление

Третья часть обзора будет посвящена сервису Ubertesters (первая часть обзора, вторая часть обзора).

Это достаточно “молодой” сервис, с амбициями войти в список лидеров (сделать это будет непросто, с учетом последних приобретений конкурентов крупнейшими игроками в ИТ). Большим отличием и плюсом Ubertesters является возможность привлекать на платной основе внешних тестировщиков (также любой желающий может сам зарегистрироваться в качестве тестировщика и получать за свой труд оплату).

Отдельно хочу отметить, что Ubertesters была единственной компанией из обзора, которая следила за его публикациями, предоставляла дополнительную информацию и делилась планами по обновлению сервиса, с целью повысить качество обзора.

Система оценки: сервисы оцениваются по 10-балльной шкале по каждому из разделов (Регистрация и интеграция, Основной функционал, Дополнительный функционал, Continuous Integration). Суммарная оценка позволит определить победителя (итоговое заключение войдет в последнюю часть обзора).

Добрый день!
Бизнес любит измерять, менеджмент любит прозрачность, а сотрудники не любят всю эту бумажную работу, в особенности если от них хотят неизвестно что… Процессы автоматизации тестирования не исключение. Я приведу 5 рисков, которые чаще всего встречаются, которые стреляют, которые нельзя недооценивать, которые могут привести к провалу всего тестирования и проектов в целом. Также я приведу примеры метрик, добросовестное использование которых поможет успокоиться вам, вашему начальству, бизнесу.

Рано или поздно каждый, кто организует конференции, сталкивается вот с такой ситуацией в обратной связи:



Расскажу, как мы это отлаживали и вообще о том, какие бывают грабли, когда на конференцию бородатых очкариков приезжают бородатые же очкарики. И наступает запредельная концентрация разработчиков.

Животные – это платформы с очень ограниченной памятью, вычислительными способностями и возможностями модификаций. Разработчикам энимал-сцены приходится выдавать практически гениальные низкоуровневые алгоритмы. Правда, большое количество хардкода вызывает характерные проблемы с отсутствием проверки в экзотических условиях. Та же фильтрация входных данных делается очень и очень криво.


Уязвимость рекурсивных алгоритмов навигации муравья: спираль смерти

Не знаю, кто писал большую часть птиц, но я хочу обратить внимание на особенность, позволяющую провести инъекцию произвольного яйца в гнездо. Дело в том, что птица проверяет только расположение и количество яиц, но не их хэши. В 20% случаев кукушка, эксплуатирующая этот баг, может внести яйцо с сохранением контрольной суммы, чего вполне достаточно для повышения прав в гнезде.

Но пойдём далее. Я не знаю, кто разрабатывал архитектуру ящериц, но они бегают в одном процессе, а дышат в другом. При этом платформа не поддерживает многозадачность, поэтому костыль с максимальной длиной бега в 4-6 секунд просто эпичен.

Я провожу собеседования на тестировщиков. У меня иногда болит голова.

Долго собирался написать статью… И вот, наконец, выполнил свое намерение. Вопросы, поднимаемые в статье, обсуждались уже не раз и не два, но усердные поиски компиляции ответов на эти вопросы так и не увенчались успехом. Но, как подсказывает мой опыт, такая компиляция очень нужна. Прежде всего она требуется юниорам, ибо в сети по запросу «тестирование» на них (соискателей) обрушивается огромный объем информационного мусора, который плохо структурирован и часто противоречит сам себе.

Добрый день!

Вчера, отвечая, кажется, в шестой раз на этот вопрос, твёрдо решил, что пришло время для написания статьи. Сразу отмечу – это исключительно моё видение, с которым, уверен, добрая половина мира автоматизаторов не согласится, – мой рецепт несколько сложнее, чем «почитать про тулзу», «поставить тулзу», «использовать тулзу», «написать в резюме, что умеешь пользоваться тулзой».

Эта статья полезна не только для мануальных тестировщиков, желающих автоматизировать свои рутинные проверки, но и для бизнеса и HR-ов, которые ввиду отсутствия каких-либо общепринятых критериев, как правило, понятия не имеют кто есть QA Automation Engineer и в большинстве случаев принимают решение на основании «хороший человек».

Бывает ещё хуже – руководитель/PM/etc… приходят к своим мануальным тестировщикам и говорят: «слушай, а может мы автоматизируем наше тестирование – это сэкономит нам кучу времени и денег. Скажи, какие книги тебе нужны и какие курсы».

0. Начнём с ошибок, которые не надо допускать:

• Дайте мне книгу умную, которая всё за меня сделает
• Дайте мне курсы платные, которые всему меня научат
• Дайте мне форумы специализированные, которые ответят мне на все интересующие вопросы
• Дайте мне сертификацию полезную, с которой меня везде примут

Это всё хорошо, но лишь в дополнение к рецепту, который описан ниже. Ни в коем случае нельзя с этого начинать.

Back-end не всегда функционирует так идеально, как указано в API-спецификации. Например, кто-нибудь забывает внести обязательный параметр в JSON-строку выдачи или вместо «0» решает вписать null. Если такие данные проникают в мобильное приложение, последствия могут быть самые неприятные.
Сегодня я расскажу об инструменте, который используется для выявления таких случаев. Это Runscope.

In May you will participate in SQA Days-17 — a major conference in the software testing in the CIS and Eastern Europe. You will visit this conference for the first time as well as Belarus. What are your feelings and expectations? How do you prepare for this trip?
В мае вы будете участвовать в SQA Days-17 — главной конференции по тестированию ПО в СНГ и Восточной Европе. Вы посетите эту конференцию впервые, как и саму страну Беларусь. Чего вы ждете от поездки? Как вы готовитесь к ней?

RB: I’m looking forward to seeing Minsk, and hope to have time to see the major museums and cultural sites. I always like to learn about the people, the culture, the art, and the food when I visit a place. As for the conference itself, I am going to prepare a new keynote speech, especially for the event, designed to cover topics I think the audience will find interesting. I’m also presenting our very popular one-day seminar on risk-based testing, which has been used by audiences around the world to learn how to apply this powerful testing strategy in real-world situations.
РБ: Я с нетерпением жду момента, когда я смогу увидеть Минск, и надеюсь, что у меня найдется время, чтобы посетить главные музеи и увидеть памятники культуры. Мне всегда нравится узнавать что-то новое о народе, культуре, искусстве и национальной кухне страны, которую я посещаю. Что касается самой конференции, то я собираюсь подготовить вступительную речь специально для этого события, которая затронет, по-моему, интересные для аудитории темы. Я также представлю наш очень популярный однодневный тренинг относительно тестирования, основанного на риске, который был уже представлен различным аудиториям во всем мире, чтобы люди смогли научиться применять эту полезную стратегию тестирования в реальных ситуациях.

You will make a keynote talk within the conference as well as a workshop before the conference. Could you tell about it in more details?
Перед конференцией вы будете проводить тренинг, также будете представлены в рамках основной программы конференции. Не могли бы вы рассказать об этом более подробно?

RB: At this point, I’m still working on the presentation. I’m researching the specific audience so that I can focus on topics relevant to them.
РБ: На данный момент я все еще работаю над моей презентацией. Я исследую определенные аудитории, чтобы быть в состоянии сконцентрироваться на актуальных для них темах.

20 марта в Екатеринбурге пройдет пятая конференция разработчиков DUMP. Традиционно мы публикуем обзоры секций от наших программных директоров.

Первый наш пост от программного директора секции «Тестирование» Ильи Вахрушева, тестировщика из компании Exadel, о том, что интересного будет в секции и зачем на нее идти.

В начале работы над проектом или на этапе радикальных изменений в продукте трудно удержаться от искушения опросить всех своих пользователей, чтобы определиться с положением дел. Обычно это ошибка. Вообще-то есть целый ряд общих ошибок, которые происходят снова и снова. Мы в Alconost перевели для вас пять подсказок по сбору отзывов о продукте.

Вступление

Вторая часть обзора будет посвящена сервису HockeyApp, с первой частью обзора можно ознакомиться тут.

По всей видимости, Miscrosoft решила не отставать от компании Apple, в результате чего в начале декабря было объявлено о приобретении HockeyApp (подробнее в блоге HockeyApp и на сайте Microsoft). В отличие от Apple, Microsoft не стала урезать функционал сервиса или ограничивать список поддерживаемых платформ. В пресс-релизе говорится, что сервис продолжит свою работу без изменений, а в дальнейшем получит развитие, о подробностях которого мы узнаем позже.

Система оценки: сервисы оцениваются по 10-балльной шкале по каждому из разделов (Регистрация и интеграция, Основной функционал, Дополнительный функционал, Continuous Integration). Суммарная оценка позволит определить победителя (итоговое заключение войдет в последнюю часть обзора).

Коллеги приветствуем!
Эта весна призвана порадовать массой интересных ИТ мероприятий, которые пройдут в Минске.
Итак:

17-18 апреля 2015 — Analyst Days-4. Единственная в СНГ конференция по системному и бизнес-анализу. Также в рамках конференции пройдет целая секция управленческих докладов, которые были перенесены с конференции SPM Conf-4.
Программа конференции формируется. В настоящий момент вы можете ознакомиться с предварительной ее версией.


19 апреля 2015 — тренинг Марии и Сергея Бондаренко "Эффективное управление требованиями в IT проектах"
 

Кажется, куда ни глянь, голосовое управление и диктовка добавляются во все приложения, операционные системы и игровые приставки. Нам нравится смеяться над тем, как плохо они работают, однако я решил погрузиться в тему с головой, для себя посмотреть на то, как это все работает, использовать голосовые функции… для всего. Вот что из этого получилось.

У нас есть приложения для абонентов с личным кабинетом на Android и iOS. Когда число пользователей смартфонов WP в нашей сети перевалило за полмиллиона, мы, естественно, начали писать приложение. Учитывая количество потенциальных установок и тот факт, что у других операторов приложения на WP нет, Microsoft всячески помогала нам с информацией по особенностям ОС.

А особенностей было много. Например, выяснилось, что нативный контрол карты в SDK для Windows Phone 8.1 Runtime достаточно медленно работает с метками на карте, если их больше 5. Во время изменения положения и масштаба эти пины отстают от самой карты. Можно использовать MapIcon, но в этом случае не гарантируется, что пин будет показан на карте: например, его может перекрыть название улицы. Пришлось делать кастомный растровый слой на карте для улучшения производительности.



Вторая сложность – в Windows Phone 8.1 Runtime SDK нет возможности отправить USSD-запрос из приложения или скопировать какой-то текст (номер USSD-запроса, например) в буфер обмена системы.

Поздравляю, Вы второй человек,
взломавший сегодня сейф Ван дер Водэ.
Таким образом, мистер Оушен,
Вы вступили в длинные ряды тех,
кто приложил титанические усилия,
чтобы добиться цели
и, в итоге, стать только вторым.
Вам неизвестны имена этих людей,
потому что они покрыты забвением.
Вам знакомо слово «забвение»?
Это означает, что о Вас
забывают все и навсегда".
Мистер Ночной Лис (к/ф «12 друзей Оушена»)

Привет, читатель Хабра!
Представь, что ты портной и ты сшил человеку костюм на заказ. Человек рассказал тебе, как он хочет выглядеть в этом костюме, куда в нем ходить и сколько примерно готов за него заплатить. Ты его внимательно выслушал, снял все мерки, с любовью шил этот прекрасный костюм мечты, используя все современные модные тренды. Соблюдал все пожелания своего дорогого клиента. И вот настал звездный час: костюм готов, человек его надел, и он счастлив, разглядывая себя в зеркале. Вечером он позвонил и сказал, что жене и гостям на его юбилее он тоже понравился. Но один из гостей сказал, что у этого костюма есть недостатки: он не желтого цвета, в нем нельзя тушить пожар, любой может украсть этот костюм, и (оба на!) – у него нет капюшона и в карман нельзя положить молоток или пилу.

Руководитель QA-подразделения Redmadrobot Илья Горшков рассказывает, как выбирал инструментарий для работы с тест-кейсами.

Вступление

С каждым годом становится всё очевиднее, что для распространения тестовых версий iOS-приложений нужны специализированные сервисы. Это актуально не только для компаний, занимающихся разработкой приложений в “промышленных масштабах”, но и для инди-разработчиков. Причины: увеличение количества устройств с “нестандартным”/”не кратным” размером экрана, отличия в архитектуре центрального и графических процессоров — всё то, что раньше было повседневностью для разработки под Android, теперь становится справедливым и для iOS.

Исторически самым популярным сервисом дистрибуции являлся TestFlight — практически идеал, как в техническом отношении, так и в юзабилити. Однако, после приобретения компанией Apple в начале 2014 года, сервис претерпел ряд неоднозначных изменений, которые с одной стороны сказались негативно на его позиции лидера, а с другой дали шанс альтернативным сервисам побороться за первое место и предложить как минимум равноценную замену, а может быть и что-то более удобное и функциональное.

В своей серии статей я собираюсь поделиться результатами сравнения нескольких сервисов дистрибуции и в результате помочь другим, кто стоит перед таким же вопросом выбора.

В обзоре участвуют следующие сервисы (в таком порядке и будут публиковаться части обзора):

• Apple TestFlight
• HockeyApp
• Ubertesters
• Crashlytics (как часть Fabric)

TestFlight старой версии не будет рассмотрен, так как хотя он по-прежнему работает и доступен по адресу www.testflightapp.com, использование его в долгосрочной перспективе не имеет смысла по ряду причин:

• нет никаких гарантий, что Apple не приостановит или не прекратит его работу в любой момент
• SDK сервиса не доступно для скачивания, более того невозможно использовать сервис, если приложение использует SDK
• сервис больше не является кросс-платформенным, поддерживается только распространения приложений для iOS (подробнее)

Важно! Буквально накануне публикации статьи команда TestFlight (старой версии) разослала уведомление, в котором сообщается, что старый сервис прекратит свою работу 26 февраля 2015 года (подробности).

Система оценки: сервисы будут оценены по 10-балльной шкале по каждому из разделов (Регистрация и интеграция, Основной функционал, Дополнительный функционал, Continuous Integration). Суммарная оценка позволит определить победителя (итоговое заключение войдет в последнюю часть обзора).

Всем привет.

Мы в очередной раз обновляем Альфа-Мобайл. В этот раз мы решили встретиться с несколькими пользователями до фактического обновления, показать вам макеты и обсудить (нравится/не нравится, что круто сейчас, что хотелось бы увидеть и так далее).

Всех желающих пригласить не сможем, поэтому точно ограничиваемся только постоянными пользователями.

Зовем в наш офис Альфа-Лаборатории.

Желающие принять участие — пожалуйста, регистрируйтесь на специальной странице.

Спасибо!