Codeception — тестирование по-новому

[powder96]

Кажется, я нашел тестировалку, о которой мечтал.

[TrueDrago]

Вот она, вооот онааа, тестировалка моей мечты!!!

[zar0ku1]

Супер! прям для дибилов меня, спасибо!

[zhulan0v]

Это божественно!

[vgoodvin]

Спасибо. Это должно упростить жизньработу.

[akalend]

выбирай одно из двух: жизнь или работу?
или вся твоя жизнь — это одна большая работа??

[vgoodvin]

Не не не. Только работу. Просто я забыл что у меня сейчас HTML в комментариях не работает :)

[Nc_Soft]

А что делать с drag&drop?

[linqu]

Если я правильно понимаю, это уже UI, основаный на js — тут уже отдельная методика и средства тестирования.

[vgoodvin]

У меня к сожалению не завелось.
1. Прочитал доки по установке на Вашем сайте.
2. Установил пакет из pear.
3. Запустил codecept install через sudo

Все дальнейшие команды (codecept bootstrap, codecept buil, codecept run) не дают никаких результатов ни в пустой папке, ни в папке с каким либо проектом. Вообще команда codecept никак не реагирует ни на какие параметры, даже если ей передать произвольную строку.

[vgoodvin]

Забыл сказать. Система kubuntu 11.10, PHP 5.3.6-13ubuntu3.3

[vgoodvin]

phpUnit устанавливал вручную, т.к. команда install ругнулась на старую версию PEAR Installer.

[Davert]

ой. Старая версия PEAR Installer. Что не обходимо установить в виде pear пакетов: Mink и Symfony Components.
Я постараюсь по-быстрому добавить возможность установки через Composer.

[Davert]

Пока советую обновить PEAR Installer. Танцы с бубнами, конечно, но пока это лучший способ.

[student_ivan]

pear upgrade PEAR

[zim32]

А планируется ли добавить класс TestGirl? )

[simpson]

А также TestBlond, который будет совершать действия, отличные от заданных в сценарии, и ожидать верного результата. :)

[zim32]

TestBlond нужно будет ещё прогонять через TestGuy чтобы удостовериться что оно работает )

[Fesor]

дожили…

[zim32]

А по теме. Спасибо за работу. Единственный минус BDT, что покрыть все use case просто невозможно. Т.е. нет никакой гарантии что оно действительно работает.

[Davert]

Угу. Но могу ещё про юнит-тесты рассказать ) Они там тоже есть.

[aTei]

О нем рассказывали на конференции по Symfony в Украине. Это были не Вы случаем?

[Zona]

Тоже помню этот доклад. С того времени начал внедрять в свои проекты

[Davert]

Таки да. Только парней с тех пор развелось больше )

[bersz]

Наконец-то для sf2 оформил :) жаль на симфоникамп не успел :)

[Davert]

Ой, я только недавно под symfony2 оформил. Что поделаешь — мало с ним работаю :( Но кстати, важно не то, что Symfony2 завелся, а то, что через BrowserKit есть универсальный доступ практически ко всем фреймворкам.

[unno]

Советую еще всем, кому понравилось, посмотреть на BDD Framework Behat.

[PsiBG]

Вопрос к автору как раз на эту тему: можете сказать, какие плюсы и минусы есть у Codeception по сравнению с Behat?

[masterx]

По описанию принципиальных отличий или преимуществ Codeception по сравнению с Behat вроде бы нет. Похоже, что это тот же Behat, только в профиль.

[Davert]

Ну тут скорее дело привычки. И то и то сценарный BDD, но мне проще писать PHP-код, а не сочинения на тему «каким я вижу сайт».

Ну а из принципиальных, behat занимается только приемочными тестами. Тут же вся инфраструктура, с модулями для чистки БД. Ну и наверняка, много отличий в мелочах. Например, Codeception автоматически сохраняет скриншот последней страницы, если тест не удался. Ну, или умеет эмулировать AJAX-запросы в режиме PHP-браузера. Все команды понимают как названия, так и CSS-селекторы…

[everzet]

Твой тул со сценарным BDD не имеет почти ничего общего, кроме понятия сценария. Почитай на досуге: dannorth.net/whats-in-a-story/

[Davert]

Не-не-не, на RubyC была отличная презенташка, где рассказывалось, что BDD это Beer Driven Development. Так что, в такой вот расшифровке, оно очень даже верно.

А вообще, я использую термин, BDD не потому что он там уместен, а потому что так проще донести мысль. Может он и некорректен, но судя по всему, как ни крути, народ всё равно будет сравнивать с Behat.

[Davert]

… а behat будут называть фреймворком для функционального тестирования

[Davert]

Чтобы не было никаких претензий к терминологии:

[everzet]

Это 2 разные вещи. У автора — высокоуровневый тул для функционального тестирования. Behat — тул для тестирования бизнесс правил, описанных в виде поведенческих сценариев на языке, доступном для «непрограммистов».

Корректнее сравнивать этот тул с PHPUnit/PHPSpec+Mink, потому как он имеет больше общего с функциональными спецификациями (Spec BDD, Unit tests), нежели поведенческими сценариями (Scenario BDD).

[pro100tak]

Ок, а как его прикрутить к continuous integration server (Jenkins, Hudson и иже с ними)? Если оно пользует PHPUnit (скорее всего его части asserts и профайлинга тестов) — как заставить его писать отчёты по покрытию тестами и т.д. в файлики?

[Davert]

Пока что я его прикрутил только к TravisCI.

Насчет отчетов по покрытию тестами, я не совсем понял. Вы имеете ввиду, CodeCoverage? Если мы говорим о функциональных тестах, то они никогда не покроют код. А приемочные его даже дергать не будут.

Из того что есть: генерация отчетов в виде HTML и в виде репортов.

[DarthSim]

Если уж решили взяться за написание тестов «человеческим языком», то почему бы не использовать Gherkin? Это, на мой взгляд, горяздо более наглядный и гибкий способ описания сценариев.

[masterx]

Вот-вот :) Получается, что Codeception это тот же Behat, только без поддержки Gherkin.

[Davert]

А зачем нам ещё один Behat? ;)
Читаемый код это тоже человеческий язык. Хороший код читается без комментариев, а пишется быстрее текста. Например, через указанное автодополнение.

Хотя смотря, конечно, кто будет читать ваши тесты. Если их будут читать разработчики + менеджеры, то Codeception они осилят (плюс можно перевести текст в нормальный english), если текст будут читать заказчики, то, конечно Behat лучше.

Каждый тест можно ещё в таком виде представить:

I WANT TO SIGN IN
I am on page '/login'
I fill field ['signin[username]', 'davert']
I fill field ['signin[password]', 'qwerty']
I click 'LOGIN'
I see 'Welcome, Davert!'

[someoneisusingmyusualnick]

Интересно было было бы увидеть комментарий автора

А зачем нам ещё один Behat? ;)

Спустя вот столько лет, когда Gherkin все же завезли в кодцепшн.

Что же повлияло?)

[Magiq]

Неужели это от того, что PHP-разработчики поголовно быдло-кодеры? Я считаю, что нет.
Вы так говорите, будто согласны с тем что PHP-разработчики быдло кодеры, но не согласны что из-за этого приложения не тестируют.

[Davert]

Они не тестируют, ибо нет хороших простых инструментов:

Что есть? «PHPUnit + Selenium». Буду ли я стрелять из пушки по воробьям, если, допустим, у меня небольшой сайт на друпале и мне совершенно не хочется заморачиваться в установке этих двух монстров. Человеку не привычному к PHPUnit настройка этой связки может трудной, а в итоге напрочь отобьет желание что-то тестировать. А самое глваное — нет необходимости гонять все тесты в Selenium.

Тот же Behat+Mink намного лучше, но он, как мне кажется, всё равно пока больше для гиков.

[alexeyshockov]

А для других платформ, на Ваш взгляд, есть хорошие инструменты?

[Davert]

Ну, далеко не на всех платформах пишут сайты )

А так, впринципе, то на Ruby, что RSpec, что TestUnit, что Cucumber — все они хороши. Из-за особенностей языка, его инфраструктуры и сообщества.

Будем надеяться, что в PHP тулзы для тестирвоания будут развиваться.

[DarthSim]

В том же Ruby (on Rails), как выше уже написали, существует прекрасная связка Cucumber+Capybara+RSpec. и к оным существует over 9000 разнообразных примочек, чтобы жизнь тестера была похожа на сказку. В свое время, когда еще приходилось немного кодить на php, я был дико обрадован появлению Behat, т.к. уже тогда слабо себе представлял разработку без автоматизированного тестирования.

[alexeyshockov]

На первый взгляд не увидел преимуществ перед Behat и Mink. Добавьте, пожалуйста, сравнение, если этот инструмент действительно в чём-то лучше.

[Davert]

Ну см. комментарии выше. Но если вы уже используете Behat, то я не буду отговаривать вас )

[Psih]

Осталось прикрутить всё к Yii… :D

[Davert]

Попробуйте сначала с приемочных тестов — они универсальны.

А если нужна тесная интеграция с Yii, то можете взять и интегрировать:
codeception.com/docs/05-FunctionalTests#integrating-other-framwork

Если будут вопросы, стучитесь в скайп: davert.ua

[AusTiN]

а на CodeIgniter заработает?

[Davert]

Опять таки, комментарий выше. Если тестировать с Goutte или в Selenium, оно обязательно заработает. Ну а список поддерживаемых фреймворков будет постепенно обновляться.

[artem_kovardin]

Приемочный тест не завелся на ZF

Exception thrown Zend\Http\Exception\InvalidArgumentException:
Invalid parameter type passed as Cookie

Ткните мордой, что я не так делаю, пожалуйста.
Mink ставил отдельно

[Davert]

Первое что стоит попробовать запустить с опцией --debug и показать stack trace.

[NikitaG]

сделал все по инструкции
В ответ получаю

There was 1 failure:

Couldn't test front page of my site (StartPageCept.php)
Method StartPageCept.php does not exist

[Davert]

Method? Так сходу сложно представить что не так.
Может в скайпе обсудим?

Мой: davert.ua

[IvanNovikov]

Ни у кого проблем с utf8 не возникало?

Решил поиграть с codeception, но заметил интересную зависимость. Если передать в метод see() метку с национальными символами в utf-8, то всё работает правильно до момента пока вторым параметром не указать селектор области поиска.
Пример:

$I->see('Москва');

> * I see «Москва»
> OK

$I->see('Москва', 'div');

> 1. I see ["\u041c\u043e\u0441\u043a\u0432\u0430",«div»]
>
>FAILURES!

[Davert]

Если что, лучше создавать Issues в GitHub или в секции Q&A. А то этот топик скоро затеряется в дубрях Хабра )

Я так подозреваю, вы приемочный тест писали? Вечером посмотрю в чем проблема.

[IvanNovikov]

Да, это приёмочный тест

[bugman]

Какой средой пользуется уважаемый автор? Спасибо за лаконичный инструмент, такого сильно не хватало.

[Davert]

То есть ОС? Сижу в Windows в ожидании Ubuntu 12 (громко скорбя над упавшим Оцелотом), тестю всё как в винде, так и в под виртуалкой в lubuntu.

Codeception покрыт тестами. Они через CI-сервер гоняются под линуксом с использованием Selenium, MySQL, Sqlite и в PHP 5.3, 5.4.

[Davert]

Или IDE? Тогда PHPStorm
Подозреваю, что в Netbeans, Eclipse разрабатывать будет так же удобно )

[bugman]

Да, я IDE имел в виду. Спасибо еще раз.

[bdiang]

А могу я потестировать вебсервис с помощью Acceptance test? Например, постим данные на урл и ассертим json/лезем в бд.

[Davert]

Не поверите, недавно как раз добавил модули для REST и SOAP тестирования.
Пока правда нету развернутых гайдов по их использованию, но уже достаточно документированы.

codeception.com/06-19-2012/testing-webservices.html

[fedorast]

Не могу найти инфу на тему как лучше сделать отдельный конфиг для теста / группы тестов.
Можно конечно инклудить свой, но красивше было бы заюзать системный yml конфиг
Не подскажете как доставать значения из yml в пространство теста?

PS: использую только приемочные для тестирования REST сервисов

[Davert]

Пока никак. Но сейчас как раз усиленно думаю в этом направлении. Думаю, скоро, появится такая возможность.