Спасибо за добрые слова. Мы изучаем реакцию рынка на мое выступление и эту статью, если кто-то скажет, что ему такой продукт нужен - мы сделаем из этого коробочную или saas версию.
Добрый вечер, Всеволод.
Спасибо за комментарий. Вы даже поставили меня в тупик на первые 10 минут, но потом я начал «подозревать».
Скажите, вы уверены в том, что у вас 50 билдов в день по 50 минут общей длительности и каждый такой билд проходит в 6 параллельных потоков? Другими словами, в день вы тестируете 2500 минут – это 41 час в сутки непрерывного тестирования (в 6 параллельных потоков)?
Вы рассказываете о 50 билдах за 8 рабочих часов! У вас правда делается один пуш/билд один раз в 9 минут?
Вижу, что вы купили в CircleCI возможность делать по 3 билда параллельно. Это значит, что за рабочий день CircleCI сможет просчитать для вас: (8 часов * 60 минут * 3 билда одновременно) / 50 минут длительности каждого вашего билда = 28,8 билдов. Ну а у вас их 50.
Если первые 3 программиста сделают по одному пушу за первые пол часа рабочего дня, то четвертый программист ждёт в очереди 20-50 минут. При таком потоке после 3х первых часов работы, можно забыть о том, что билды досчитаются до конца рабочего дня.
Скорее всего, у вас огромные проблемы с тем, что билды разработчиков встают в очереди на просчет. Мы это проходили у наших клиентов. Именно очереди на просчет являются недостатком наших конкурентов. У нас нет очередей, ибо мы выделяем для каждого клиента столько ресурсов, сколько необходимо ему в данную минуту времени.
Теперь по существу:
Выглядит так, что ваш проект в 4 раза больше самого большого тестируемого проекта на Vexor’e. Для вас мы гарантировано сделаем индивидуальный тариф, существенно меньший чем $0.015!
Далее …
Мне кажется, что прогон тестов в 50 минут — это очень долго. В Vexor’e вы платите за минуты, поэтому сможете за ту же стоимость сделать не 50 минут на 6 потоках, а 25 минут на 12 потоках или 15 минут на 20 потоках. Вы будете тестировать в 2 или 3 раза быстрее при той же цене.
Повторюсь, что у нас нет лимитов на выделяемые ресурсы. Сколько бы у вас не случилось одновременных билдов и сколько бы в них не было параллельных потоков — мы посчитаем все параллельно.
Давайте знакомиться? Как я могу с вами связаться? Мы с удовольствием сделаем для вас индивидуальный тариф, который будет существенно выгоднее, чем у конкурентов.
TheIseAse Отличный кейс! ;)))))) Кстати, в беклоге висит задачка, сделать возможным пользователем установить дневные лимиты и месячные лимити, а также увдомлять пользователей о приближении к лимитам. Я думаю это решило бы ваш пример. Скоро реализуем.
Определенно точно, что в природе существуют обычные проекты и более сложные проекты. Возможно вам, с учетом всех вышеописанных сложностей, действительно сложно будет использовать какое либо облачное решение для CI.
gryphon У нас поддерживается Selenium, если у вас «что-то пошло не так», пишите мне: balbekov_oleg
Запуск любых команд можно прописать в конфиге. Многое описано тут: vexor.io/help/, или пишите в скайп, поможем и подскажем.
Спасибо за ваши вопросы и фидбек, я постараюсь прокомментировать.
Извиняемся за маркетинговый шум. Это наш первый пост и хотелось, чтобы все поняли о чем идет речь. Немного перебрали с маркетингом, согласен, исправимся.
Итак, вы совершенно справедливо говорите о том, что на рынке существуют альтернативы. TeamCity очень крутая штука, без вопросов (кстати, вроде бы не open-source’ная). Также я соглашусь с вашим аргументом, что некоторым разработчикам просто интересно решить такую инженерную задачу, как «организовать тестовую инфраструктуру своими руками». Многим даже интересно будет сделать автомасштабирование своими руками. Поверьте, мы ведь сами с этого начали. Пару лет назад, нам просто было интересно сможем мы сделать такую «штуку» или нет. Сделали ;)
Но! На рынке есть разработчики, которые хотят разрабатывать, а не заниматься «развертыванием». Они уже используют GitHub и Heroku, и им не приходит в голову, что нужно поднять свой git на своей машине, например. Многие хотят делать свою работу, программировать, и вообще не тратить силы на поддержание тестовой инфраструктуры.
Поверьте, очень многие понятия не имеют, что такое AWS, что это за «t2.medium» и как его «разгонять» и так далее. При этом они продолжают быть отличными программистами и они продолжают создавать крутые проекты.
Вы – очень опытный, для вас нет сложности развернуть все это и саппортить, вам это просто интересно. Но, поверьте, есть огромная доля тех ребят, кто хочет это просто получить и использовать. Без необходимости даже думать о том, как это работает.
Их задача — программировать, задача Vexor «гонять» их тесты и помогать им делать их продукты качественными.
astlock Все очень просто. На этапе инсталяции вашего проекта в Vexor, вы заранее определяете как именно мы будем «гонять» ваши тесты. Если вам на один прогон тестов нужно 4 потока (4 виртуалки, грубо говоря), вы сможете указать это в Vexor'е и вам это будет предоставлено.
Далее, например, ваша команда сделала 5 одновременных коммитов в репозиторий и нужно прогнать ваши тесты для 5 различных ветках/бренчей одновременно (никому же не хочется ждать очереди, всем нужно кодить дальше). Окей, это значит мы запустим для каждого коммита 4 воркера («виртуалки») и прогоним тесты. Всего для этого примера вам будет автоматически предоставлено 20 воркеров («виртуалок») на то время, пока гонятся ваши тесты. Все это, разумеется, автоматически.
Готовы рассказать глубокие технические детали ;) пишите мне в скайп: balbekov_oleg
minime У нас два основных преимущества: 1. Политика ценообразования (платишь за реальное использование, а не за месяц), 2. Неограниченные ресурсы, без лимитов. 3. Автоматические масштабирование от нуля… до реально необходимых вам в данную секунду мощностей.
У Baboo Cloud, как вы знаете, есть определенный тариф и лимиты на ресурсы. Вы покупаете фиксированнанное количество «Агентов» и платите за них ежемесячно, в не зависимости от того хвататет вам их или нет или использовали ли вы их в этом месяце вообще или нет.
А как вы планируете бороться с затянувшимися тестами клиентов в часы пик?
Мы используем облачный хостинг. Он дает нам возможность получать неограниченное количество мощностей в любой момент времени, поэтому такого понятия, как «часы пик» нет. Если наши клиенты вдруг захотели очень много считать тестов, мы автоматически купим столько серверов, сколько потребуется, чтобы обработать всех.
настройка дженкинса ложится на собственные плечи
Разумеется, есть категория наших коллег, кто с удовольствием ковыряется с настройкой тестового окружения. Но есть и те, кто с удовольствием переложит заботы по поддержке тестовой инфраструктуры на облачное решение (сопоставимое по цене, как вы упомянули).
Пока мы отлаживаем и внедряем другие технологии. Про .Net вы первый упоминаете, будем держать в уме, если количество обращений за .Net'ом возрастет – добавим поддержку.
Спасибо за вашу оценку, да действительно пока вся забота для всех одинаковая, но мы исследуем фидбек от ребят будем тюнить систему в будущем!
Пока у нас режим отладки сервиса и баллы сгорают действительно линейно и у всех одинаково!
Всё так, да!
Спасибо за добрые слова. Мы изучаем реакцию рынка на мое выступление и эту статью, если кто-то скажет, что ему такой продукт нужен - мы сделаем из этого коробочную или saas версию.
Спасибо за комментарий. Вы даже поставили меня в тупик на первые 10 минут, но потом я начал «подозревать».
Скажите, вы уверены в том, что у вас 50 билдов в день по 50 минут общей длительности и каждый такой билд проходит в 6 параллельных потоков? Другими словами, в день вы тестируете 2500 минут – это 41 час в сутки непрерывного тестирования (в 6 параллельных потоков)?
Вы рассказываете о 50 билдах за 8 рабочих часов! У вас правда делается один пуш/билд один раз в 9 минут?
Вижу, что вы купили в CircleCI возможность делать по 3 билда параллельно. Это значит, что за рабочий день CircleCI сможет просчитать для вас: (8 часов * 60 минут * 3 билда одновременно) / 50 минут длительности каждого вашего билда = 28,8 билдов. Ну а у вас их 50.
Если первые 3 программиста сделают по одному пушу за первые пол часа рабочего дня, то четвертый программист ждёт в очереди 20-50 минут. При таком потоке после 3х первых часов работы, можно забыть о том, что билды досчитаются до конца рабочего дня.
Скорее всего, у вас огромные проблемы с тем, что билды разработчиков встают в очереди на просчет. Мы это проходили у наших клиентов. Именно очереди на просчет являются недостатком наших конкурентов. У нас нет очередей, ибо мы выделяем для каждого клиента столько ресурсов, сколько необходимо ему в данную минуту времени.
Теперь по существу:
Выглядит так, что ваш проект в 4 раза больше самого большого тестируемого проекта на Vexor’e. Для вас мы гарантировано сделаем индивидуальный тариф, существенно меньший чем $0.015!
Далее …
Мне кажется, что прогон тестов в 50 минут — это очень долго. В Vexor’e вы платите за минуты, поэтому сможете за ту же стоимость сделать не 50 минут на 6 потоках, а 25 минут на 12 потоках или 15 минут на 20 потоках. Вы будете тестировать в 2 или 3 раза быстрее при той же цене.
Повторюсь, что у нас нет лимитов на выделяемые ресурсы. Сколько бы у вас не случилось одновременных билдов и сколько бы в них не было параллельных потоков — мы посчитаем все параллельно.
Давайте знакомиться? Как я могу с вами связаться? Мы с удовольствием сделаем для вас индивидуальный тариф, который будет существенно выгоднее, чем у конкурентов.
Действительно Эзотерика :) но это цитата клиента. Думаю Алексей просто впечатлен скоростью работой Vexor'a, поэтому посчитал это чудом ;)
К сожалению, в данный момент у нас нет бесплатных тарифов для open source проектов.
Запуск любых команд можно прописать в конфиге. Многое описано тут: vexor.io/help/, или пишите в скайп, поможем и подскажем.
Спасибо за ваши вопросы и фидбек, я постараюсь прокомментировать.
Извиняемся за маркетинговый шум. Это наш первый пост и хотелось, чтобы все поняли о чем идет речь. Немного перебрали с маркетингом, согласен, исправимся.
Итак, вы совершенно справедливо говорите о том, что на рынке существуют альтернативы. TeamCity очень крутая штука, без вопросов (кстати, вроде бы не open-source’ная). Также я соглашусь с вашим аргументом, что некоторым разработчикам просто интересно решить такую инженерную задачу, как «организовать тестовую инфраструктуру своими руками». Многим даже интересно будет сделать автомасштабирование своими руками. Поверьте, мы ведь сами с этого начали. Пару лет назад, нам просто было интересно сможем мы сделать такую «штуку» или нет. Сделали ;)
Но! На рынке есть разработчики, которые хотят разрабатывать, а не заниматься «развертыванием». Они уже используют GitHub и Heroku, и им не приходит в голову, что нужно поднять свой git на своей машине, например. Многие хотят делать свою работу, программировать, и вообще не тратить силы на поддержание тестовой инфраструктуры.
Поверьте, очень многие понятия не имеют, что такое AWS, что это за «t2.medium» и как его «разгонять» и так далее. При этом они продолжают быть отличными программистами и они продолжают создавать крутые проекты.
Вы – очень опытный, для вас нет сложности развернуть все это и саппортить, вам это просто интересно. Но, поверьте, есть огромная доля тех ребят, кто хочет это просто получить и использовать. Без необходимости даже думать о том, как это работает.
Их задача — программировать, задача Vexor «гонять» их тесты и помогать им делать их продукты качественными.
Далее, например, ваша команда сделала 5 одновременных коммитов в репозиторий и нужно прогнать ваши тесты для 5 различных ветках/бренчей одновременно (никому же не хочется ждать очереди, всем нужно кодить дальше). Окей, это значит мы запустим для каждого коммита 4 воркера («виртуалки») и прогоним тесты. Всего для этого примера вам будет автоматически предоставлено 20 воркеров («виртуалок») на то время, пока гонятся ваши тесты. Все это, разумеется, автоматически.
Готовы рассказать глубокие технические детали ;) пишите мне в скайп: balbekov_oleg
У Baboo Cloud, как вы знаете, есть определенный тариф и лимиты на ресурсы. Вы покупаете фиксированнанное количество «Агентов» и платите за них ежемесячно, в не зависимости от того хвататет вам их или нет или использовали ли вы их в этом месяце вообще или нет.
Мы используем облачный хостинг. Он дает нам возможность получать неограниченное количество мощностей в любой момент времени, поэтому такого понятия, как «часы пик» нет. Если наши клиенты вдруг захотели очень много считать тестов, мы автоматически купим столько серверов, сколько потребуется, чтобы обработать всех.
Разумеется, есть категория наших коллег, кто с удовольствием ковыряется с настройкой тестового окружения. Но есть и те, кто с удовольствием переложит заботы по поддержке тестовой инфраструктуры на облачное решение (сопоставимое по цене, как вы упомянули).
Пока мы отлаживаем и внедряем другие технологии. Про .Net вы первый упоминаете, будем держать в уме, если количество обращений за .Net'ом возрастет – добавим поддержку.