Полностью с вами согласны. Именно это мы и пытаемся донести — ИИ это не про замену людей, а про то, как дать им мощный инструмент, который усиливает их возможности. Наш кейс — это как раз история о том, как обычные тестировщики, не будучи программистами, начали использовать ИИ для автоматизации и стали в разы эффективнее.
Спасибо за обратную связь! Понимаем, как могло сложиться такое впечатление. Мы не ставили себе целью рекламировать конкретное решение, тем более BugBuster - это не наш продукт. Сперва у нас возникла идея внедрения AI в процессы тестирования, мы проанализировали рынок, попробовали разные инструменты, и просто в нашем случае BugBuster подошёл нам лучше всего. И цель статьи была не в его рекламе, а в том, чтобы на реальном примере показать, как создать готовый AI-инструмент и внедрить его в работу QA. BugBuster в нашем случае - это не цель, а один из компонентов, который позволил решить бизнес-задачу: быстро начать автоматизацию тестов силами ручных тестировщиков.
Вы абсолютно правы, изучать программирование — это надежный путь, и мы развиваем своих специалистов, но нужно учитывать то, что путь с нуля до стабильных автотестов — это месяцы обучения, в то время как бизнес-задачи идут сейчас, к тому же специалисты по автоматизации дороже, а на краткосрочных проектах затраты на классический подход могут не окупиться.
Спасибо за комментарий. Чтобы уточнить формулировку: речь шла именно о сетевых устройствах между нодами кластера, а не о «подах» как таковых. Обновление конфигурации выполняли сетевые инженеры — речь шла не о прошивке оборудования, а о корректировке настроек, влияющих на работу Kubernetes.
Добрый день! При использовании Team (в приведенном примере): 14 × $25 = $350 в месяц Если у компании > 1-й команды, то еще нужно множить на количество команд.
Да, есть компании, которые и за свои сервера для нейронок готовы платить и это не накладно (окупаемо) по финансам. Но все же это самое дорогое решение на рынке (насколько я знаю) и некоторым компаниям/проектам закладывать такой бюджет может быть накладно/излишне.
Может быть не запредельная цена, да. Но все же не маленькая.
Добрый день! Да, вы правы. Для компаний, с которыми мы работаем, требование приватности является наиболее значимым. Условный sonnet (например) хоть и очень бы хотелось использовать, но нельзя по соображениям ИБ. И одна из целевых задач исследования: насколько хорошо справляются модели (которые проходят по ИБ) с реальными, ежедневными задачами, которые перед ними ставят разработчики. Может быть и тратить кучу денег на сервера и поддержку не имело бы смысл.
Ошибки. Кейсы, связанные с человеческим фактором. Это кейсы, которые нарушают функционирование программы из-за неправильного её использования. Как правило, это кейсы, в которых пользователь ожидает увидеть не тот результат, который реализован по требованиям, либо стресс-сценарий.
Дефекты. В связи с ограниченными сроками спринтов не всегда возможно выпустить задачу, реализующую абсолютно все требования. Как правило, оставшийся функционал реализуются в течение следующих спринтов. При этом с визуальной и функциональной точки зрения пользователь ошибок не видит, функционал работает корректно и выполняет свою задачу. Также возможен выпуск задач с минорными и тривиальными багами.
Например, иконка на экранной форме не соответствует макетам. Проблема пользователю совершенно неочевидна и он не будет обращаться с этой претензией на сайт технической поддержки, но по факту это является багом.
Сбои. Так как мы живем не в идеальном мире, то всегда возможны перебои с техническим оборудованием, таким как сервера, сети, электроснабжение. Данные сбои не относятся к процессу разработки программы.
Инцидентов и отказов за рассматриваемый период не было. Инцидент заводится тогда, когда в службу поддержки поступает обращение о не выполнении программой функций, которые есть в требованиях, либо об отказе/сбое, который вызвала разработка команды.
В рассматриваем случае специалисты технической поддержки инциденты на команду не заводят, но могут дать обратную связь для улучшения клиентского опыта и технических характеристик оборудования.
Здравствуйте! Спасибо за ваш комментарий. Кандидаты реальные, Polina AI находит их на известных работных сайтах (например, HeadHunter или SuperJob), а также работает с внутренней ATS компаний. Вы можете узнать больше о Polina AI по ссылке https://itfbgroup.ru/polina-ai
Да уж, про воспроизводимость тут заикаться не приходится. С другой стороны передовые модели это уже не столько про науку, сколько про бизнес. Там и тренировочные данные-то закрытые, и всякие трюки дополнительные. Из хороших новостей - в 2018ом, когда я помню коллеги жаловались, что “только Гугл может BERT тренировать”, а сегодня недельку на обычном GPU сервере - и готово!
К сожалению, как правило, любые реальные примеры / разработки / материалы, созданные в рамках действующих проектов, являются так или иначе собственностью компании / заказчика и предоставлять их в открытом доступе нельзя. Сформировать абстрактный вариант (пример), конечно, можно. Но без хотя бы формального обозначения задачи и scope проекта, а также описательной части, данный пример не будет иметь никакой смысловой нагрузки и практического применения (просто абстракция и фантазия).
Это не реклама BPMN, конечно, он в ней и не нуждается. Исключительно обмен частным практическим опытом и возможный вариант для использования в собственной практике.
Полностью с вами согласны. Именно это мы и пытаемся донести — ИИ это не про замену людей, а про то, как дать им мощный инструмент, который усиливает их возможности. Наш кейс — это как раз история о том, как обычные тестировщики, не будучи программистами, начали использовать ИИ для автоматизации и стали в разы эффективнее.
Спасибо за обратную связь! Понимаем, как могло сложиться такое впечатление.
Мы не ставили себе целью рекламировать конкретное решение, тем более BugBuster - это не наш продукт. Сперва у нас возникла идея внедрения AI в процессы тестирования, мы проанализировали рынок, попробовали разные инструменты, и просто в нашем случае BugBuster подошёл нам лучше всего. И цель статьи была не в его рекламе, а в том, чтобы на реальном примере показать, как создать готовый AI-инструмент и внедрить его в работу QA. BugBuster в нашем случае - это не цель, а один из компонентов, который позволил решить бизнес-задачу: быстро начать автоматизацию тестов силами ручных тестировщиков.
Вы абсолютно правы, изучать программирование — это надежный путь, и мы развиваем своих специалистов, но нужно учитывать то, что путь с нуля до стабильных автотестов — это месяцы обучения, в то время как бизнес-задачи идут сейчас, к тому же специалисты по автоматизации дороже, а на краткосрочных проектах затраты на классический подход могут не окупиться.
Спасибо! Для нас это лучший комплимент 🙂
Спасибо за комментарий. Чтобы уточнить формулировку: речь шла именно о сетевых устройствах между нодами кластера, а не о «подах» как таковых. Обновление конфигурации выполняли сетевые инженеры — речь шла не о прошивке оборудования, а о корректировке настроек, влияющих на работу Kubernetes.
Да, сетевые проблемы иногда настолько неочевидны, что диву даешься
Добрый день!
Нет, мы намеренно использовали 4o (которая omni) так как по ряду причин пробовать o4 было сложно (хотя и хотелось).
Добрый день!
При использовании Team (в приведенном примере): 14 × $25 = $350 в месяц
Если у компании > 1-й команды, то еще нужно множить на количество команд.
Да, есть компании, которые и за свои сервера для нейронок готовы платить и это не накладно (окупаемо) по финансам. Но все же это самое дорогое решение на рынке (насколько я знаю) и некоторым компаниям/проектам закладывать такой бюджет может быть накладно/излишне.
Может быть не запредельная цена, да. Но все же не маленькая.
Добрый день!
Да, вы правы. Для компаний, с которыми мы работаем, требование приватности является наиболее значимым. Условный sonnet (например) хоть и очень бы хотелось использовать, но нельзя по соображениям ИБ. И одна из целевых задач исследования: насколько хорошо справляются модели (которые проходят по ИБ) с реальными, ежедневными задачами, которые перед ними ставят разработчики. Может быть и тратить кучу денег на сервера и поддержку не имело бы смысл.
Добрый день!
Спасибо, внесли исправления.
На момент проведения исследования (как следствие - в материалах) они еще назывались Codeium
Исходя из терминологии допускались:
Ошибки. Кейсы, связанные с человеческим фактором. Это кейсы, которые нарушают функционирование программы из-за неправильного её использования. Как правило, это кейсы, в которых пользователь ожидает увидеть не тот результат, который реализован по требованиям, либо стресс-сценарий.
Дефекты. В связи с ограниченными сроками спринтов не всегда возможно выпустить задачу, реализующую абсолютно все требования. Как правило, оставшийся функционал реализуются в течение следующих спринтов. При этом с визуальной и функциональной точки зрения пользователь ошибок не видит, функционал работает корректно и выполняет свою задачу. Также возможен выпуск задач с минорными и тривиальными багами.
Например, иконка на экранной форме не соответствует макетам. Проблема пользователю совершенно неочевидна и он не будет обращаться с этой претензией на сайт технической поддержки, но по факту это является багом.
Сбои. Так как мы живем не в идеальном мире, то всегда возможны перебои с техническим оборудованием, таким как сервера, сети, электроснабжение. Данные сбои не относятся к процессу разработки программы.
Инцидентов и отказов за рассматриваемый период не было. Инцидент заводится тогда, когда в службу поддержки поступает обращение о не выполнении программой функций, которые есть в требованиях, либо об отказе/сбое, который вызвала разработка команды.
В рассматриваем случае специалисты технической поддержки инциденты на команду не заводят, но могут дать обратную связь для улучшения клиентского опыта и технических характеристик оборудования.
Здравствуйте! Спасибо за ваш комментарий. Кандидаты реальные, Polina AI находит их на известных работных сайтах (например, HeadHunter или SuperJob), а также работает с внутренней ATS компаний. Вы можете узнать больше о Polina AI по ссылке https://itfbgroup.ru/polina-ai
Да уж, про воспроизводимость тут заикаться не приходится. С другой стороны передовые модели это уже не столько про науку, сколько про бизнес. Там и тренировочные данные-то закрытые, и всякие трюки дополнительные. Из хороших новостей - в 2018ом, когда я помню коллеги жаловались, что “только Гугл может BERT тренировать”, а сегодня недельку на обычном GPU сервере - и готово!
Добрый день!
Спасибо, что заметили
После вашего комментария появились сомнения)
Но мы думаем, что все таки одна.
Добрый день!
Спасибо, что заметили.
К сожалению, как правило, любые реальные примеры / разработки / материалы, созданные в рамках действующих проектов, являются так или иначе собственностью компании / заказчика и предоставлять их в открытом доступе нельзя. Сформировать абстрактный вариант (пример), конечно, можно. Но без хотя бы формального обозначения задачи и scope проекта, а также описательной части, данный пример не будет иметь никакой смысловой нагрузки и практического применения (просто абстракция и фантазия).
Это не реклама BPMN, конечно, он в ней и не нуждается. Исключительно обмен частным практическим опытом и возможный вариант для использования в собственной практике.