Pull to refresh
16K+
13
Николай Брейкин@breakingtesting

Руководитель отдела автоматизации тестирования

24
Rating
4
Subscribers
Send message

Интересны детали:

Между тем правильное и грамотное использование ИИ в разработке реально ускоряет выпуск продукта, улучшает его качество и снижает его стоимость

На сколько снизилась стоимость?

улучшает его качество

Вы это как-то измерили?

Поставил нейросети задачу: поднять группу сервисов в правильном порядке. Liveness-проверка должна вернуть OK, потом следующий сервис.

У меня наоборот - случаев когда модель выдавала что-то лишь бы удовлетворить запросу - единицы, редкость. При этом я также работал с задачами, проверка успешности выполнения которых была передана в НЕсистемном промпте - нечто вроде “в результате исправлений в ответе должно быть status OK”

Также странно - вы описали последовательность, и результат был плохой. Странно потому, что в моём случае модель давала более хорошие результаты, когда явно получала описание что и где надо сделать: https://habr.com/ru/articles/1037082

Потому что тем, кто не умеет, она не даёт учиться. А тех, кто умеет - расхолаживает

Во всём согласен. Расхолаживание вижу по себе. Тех кто не умеет видел также - был у меня один джун... сложно расхолодить то, что даже не успело прогреться (получить навыки)

И я пришёл в программирование, потому что мне это нравилось. Нравилось возиться с железками, писать код. Если кто-то или что-то будет делать это за меня, не вижу смысла дальше оставаться в этой профессии

Понимаю. Даже потому - что это естественно, что человек ценит то, что он сделал сам. Если же ИИ будет делать вместо - теряется смысл для человека, но к сожалению не для работодателя

Я не пишу только об ИИ и программировании) вы же почему-то только в этом контексте смотрите

Ответ на ваш первый вопрос - я вижу как ИИ на меня влияет, при этом продолжаю его ответственное использование. Навык же устного счета у меня не пропал, поэтому говорю только о той проблеме, которая мне наглядна

Хм, не предполагал, что в это время её могут не использовать :)

Иронично, что и текст статьи (по крайней мере картинка генеративная),

касаемо картинки - вы угадали.
касаемо сайта - вы угадали.
приложение написано с использованием ИИ.
касаемо текста статьи - полный промах.

Вы или крестик сымите, или трусы наденьте (с)

не уместно, я сделал инструмент

А вообще LLM - это только инструмент

Если вам интересно приложение, которое я использую, и вы хотели бы его установить (бесплатно), то здесь можно найти детальное описание и демонстрацию - https://www.zenotty.ru

В случае некоторых устройств, таких как электронные книги, нет особых оснований полагать

Открыл, прочитал highlights - прямо же сказано обратное:

Comprehension tends to be less effective when reading on screens than on paper, particularly with texts that require a deeper understanding or when reading under time pressure.

Recent evidence indicates that digital readers exhibit a tendency towards more shallow or superficial text processing and less metacognitive regulation.

Понимание прочитанного с экрана хуже чем из книги.

О том, что есть небольшая разница в пользу бумажных источников говорится и в другой публикации:
https://pmc.ncbi.nlm.nih.gov/articles/PMC8715975/

Current evidence suggests little to no difference in students’ comprehension when reading HPE texts on paper vs digitally. However, we observed effects favoring reading paper-based texts when texts relevant to the students’ professional discipline were considered

поддавшаяся хайпу, собирается потратить деньги и доверие на «помощника по всему», и рядом нет никого, кто скажет трезво, где здесь работающая зона, а где стена

Вижу две причины, почему безоглядно пытаюстся внедрить

  1. Трезвые есть всегда, но я - начальник, ты - дурак.

  2. Получить премию и поставить галочку в резюме «трансформировал, оптимизировал».

Понимаю, что было интересно разработать своё, но есть готовые продукты - Squish, TestComplete - работают и с вебом и с десктоп UI. Даже selenium/appium умеют в кроссплатформенное тестирование.

похожие результаты получил у себя локально на решении инфраструктуры задач в агентском режиме: https://habr.com/ru/articles/1037082/

о какой из вариаций квен идёт речь с такими цифрами? на другом оборудовании такие цифры получал для Dense Qwen/Dense Gemma: https://habr.com/ru/articles/1037082/#densemoe

обычно если есть настолько подобная инструкция, то задача уже решена и LLM не нужна ) Да и нет “запаса” на возможные неожиданности )

Согласен

Да, но по каждому в логах есть разделение на входящие и исходящие

Возможно, если провести 50/100/1000 экспериментов - результаты могут оказаться схожими. Однако в силу медлительности плотной модели в этих условиях - эксперименты с ней прекратил.

За счет чего такой выбор? Если обратите внимание, то тут

https://habr.com/ru/articles/1037082/#moemoedifficultprecise

Есть сравнение gemma с подробным промптом с qwen с подробным промптом. По качеству - одинаково, по скорости gemma лучше в этих условиях

Также интересно добавление тестов на менее мощном MacBook, где даже небольшая модель даёт частично рабочие результаты

Имеете ввиду прогнать там не только simple/regular, но и medium/regular, difficult/regular?

Дальше планировал эксперимент с интерактивной агентской отладкой.

Information

Rating
328-th
Registered
Activity

Specialization

Инженер по автоматизации тестирования, Менеджер по обеспечению качества