Комментарии 40
«Мы не уменьшили команду, а повысили её продуктивность» — если цифры в статье правдивы (про ускорение в 2-3 раза и проч), то массовое сокращение тестеров неизбежно
ИИ без контекста это кошмар, да, подтверждаю, хотя еще вопрос, сколько времени уходит на этот контекст по сравнению с кодингом. Ну или простой пример с дизайном: проще ли самому сделать UI-элемент или сходить к ИИ, а потом переделывать. Поэтому было бы круто почитать туториалы про каждый этап с промптами — особенно про дизайн
Сокращение времени тест-дизайна на 50–150%
Понятно, понятно...
Вы реально запретили писать код? Как быть со спайками и срочными патчами? Если блок стоит на уровне процесса, команда будет искать обходы
Интересно, как у вас разрабы отнеслись к таким переменам) я вот даже не знаю, точно ли это меньше работы — как будто проверок в разы больше по нагрузке получится 🙃
$40/аккаунт — это явно не все. Стоимость это ещё и поддержка промтов, устранение флаков, переобучение команды, простои из-за ложных алёртов. Так что я бы не сказал, что это так дешево
В порядке эксперимента приняли на работу "перспективного" автотестера - вайбкодера.
Даже испытательный срок не хотел закрывать, уже на второй неделе было видно, что у него только лютая дичь получается - ни в какую не хотел использовать существующие наработки команды и лучшие практики, только свой путь по граблям говнокода!
Точку пришлось ставить грубо - после пятого ревью с упоминанием одних и тех же замечаний по одной только микрозадаче, кадр навайбкодил + по 5 другим задачам аналогичного качества чушь, разумеется эти спагетти никто в команде не хотел разбирать за ним, предложили следовать нашим текущим наработкам. Он не смог и идеолог его поддержал - пусть тренируется с ии как изначально договаривались, со временем научится.
В итоге на 4 месяце работы и до руководства дошло, что это путь в никуда - вместо 4 строк понятного кода существующего и отлаженного решения этот кадр предпочел использовать более 800+ строк непонятной ему лапши от ии, которая задачу выполняла в 17 % случаев, отжирая в 4.3 раза больше ресурсов и выполнялась в 3.8 раза медленнее.
Чудень, который предложил это - до сих пор горит идеей выполнить прорыв и всем говорит, что дело было в человеческих качествах кандидата, надо пробовать ещё. Разумеется он был послан с экспериментами в другую группу паразитировать.
Причем этот идеолог не разработчик и не тестировщик, а теоретик-методолог и балабол, который просто присутствует на собраниях молча, так как по технической части он ноль, о чем ему уже многие сообщали неоднократно открытым текстом при коллегах.
Дык, потому он и верит в этот ИИ, потому что не знает что это на самом деле🤣
Вам бы прислушаться, этот идеолог может и не знает как правильно двигаться, но звучит так, что он единственный у вас кто понимает, что двигаться в эту сторону необходимо.
Звучит так, что проблема конкретно в этом человеке. В том, что он упорно не следовал подходам, принятым на вашем проекте.
Видимо, какой-то ленивый адепт вайбкода, который отказывался слушать здравый смысл.
Не знаю, как у нейросетей с автотестами, я их штуки две написал за всю жизнь. Но юнит тесты они пишут очень хорошо.
Точно такой же кадр пришёл и к нам стажироваться. История 1 в 1 но только его брали на java
Я понимаю этих пользователей ИИ, которые хоть как-то шарят в процессах и используют ИИ чисто для того, чтобы он сварганил что-то, а потом эту кашу самостоятельно разобрать и ручками исправить недочёты. Но вот такие индивидуалы, которые негугны в кодинге и процессах - просто жуть. Раньше надо было его отправить куда подальше.
Генерация тест-кейсов ИИ обычно даёт дубликаты и шум. Без таксономии рисков и нормальной трассируемости к требованиям JSON-списки быстро гниют. Какая у вас динамика escaped defects до/после, можете подробнее?
Заголовок:
Мы запретили программистам писать код
В тексте:
разработчик завершил задачу, написал десяток новых методов и поменял пару модулей
Мы в Surf сделали из этого систему: применили shift-left подход, запретили разработчикам писать код,
И где?
Заголовок не соответствует содержанию статьи. Речь касалась тестирования, написание юнит тестов через ИИ, анализ требований, но текста о не пишущих код программистах я не увидел.
Я вот тоже это заметил.
ИИ натравили по сути на менеджеров, которые кое-как ставят задачи, теперь постановка стала стройнее.
ИИ натравили на diff, хотя за ним еще проверять надо (говорю за DeepSeek), т.к. пишет он иногда туфту, что он сам потом в шоке.
ИИ натравили на QA, чтобы ..., уже не стал дочитывать, вода одна.
В итоге, dev как делал работу, так и делает, главное кликбейтный заголовок.
Надеюсь, они в работе не такие, как в этой статье, а то кажется и статью ИИ за них писал :)
Так походу ИИ и писал этот текст )
Лучше расскажите как именно вы настроили свой ИИ для того чтобы он выдавал такие шикарные результаты.
Сейчас выглядит как волшебная коробка, в которую что ни положи, получишь ровно то, что требуется по проекту
Никогда ещё скорость не переходила в качество. Представляю, что за вайбкод там наворочен под капотом, чтобы уложиться в новые сроки
Сорри я не очень понял, а тесты она каждый раз новые генерит с нуля, нет переиспользования базовых классов, фикстур и тп?
Попросил какую то модель исправить тесты на питоне, она мне везде проставила assrt(true), и тесты реально прошли.
Сокращение времени тест-дизайна на 50–150%
Вот это по-настоящему сильно.
Звучит так, как будто ии накидывает говно на вентилятор, а ты потом сидишь вычищаешь
Мне показалось, или у вас приложение - что-то типа интернет-магазина? Понимаете сколько контекста уже есть в ИИ по поводу интернет-магазинов? Попробуйте применить такой же подход, условно говоря, в разработке ПО для полёта на Юпитер. В contex window вашего ИИ просто не влезет всё, что нужно понимать в этой области.
подключили ИИ на каждом этапе
Начало краха...
Автор явно не писал большой проект используя ИИ, ну тот кто пробывал меня понял....
мир *******я
Дочитал до телеграм канала вашего CEO или кого там и понял, очередные сказочники маркетологи.
Вангую, что количество багов в продакшене только увеличилось) Какая-то срань в индустрии с попыткой повысить time to market пытаясь обеспечить качество на лету, а потом обманывая себя что стало лучше. Хотя один взгляд на динамику багодрома сразу разрушает все иллюзии
Мы построили три линии обороны
Везде война...
Мы запретили программистам писать код и ускорили релизы в 2 раза. Как к этому пришли