Последнее время почти любой мой диалог с русскоязычными и англоязычными инженерами по тестированию выглядит так:

— Вижу у вас в профиле тестирование AI-приложений. 
— Я: Да.
— Имеется в виду использование AI-тулов для тестирования?
— Я: Нет, это разные вещи.

Сейчас в разработке буквально каждый квартал происходят какие-то изменения, связанные с AI. Поэтому сложно отличить хайп от того, что компании уже фактически используют в проде. Мне удалось поучаствовать в тестировании AI-приложений на нескольких международных проектах и понять, что действительно уже обрело жизнь.

Эта небольшая заметка позволит сориентироваться в том, что есть интересного в тестировании классических приложений при помощи AI, тестировании AI-приложений и какие есть уровни погружения во все это.

"Подглядывание" в ChatGPT для решения тестовых заданий на вакансию — вопрос на совести соискателя. Неэтично, но легко остаться безнаказанным (впрочем, некоторые умудряются попасться и здесь, забывая в ответе куски промптов или объяснения от AI).

Быть пойманным на списывании во время собеседования гораздо проще.
При этом по ряду причин собеседующий лид не просигнализирует соискателю, что он пойман.

Разные AI-модели дают разное качество.
Использование разных AI-моделей стоит разных денег.
Было бы логично предположить, что чем AI-модель дороже, тем она лучше работает.

Почему это не так и как тестировщик будущего — AI-QA-инженер, может помочь проекту?

Наш кейс: в результате тестирования найдена модель, которая в 20 раз дешевле и дает на 60% меньше ошибок.

С 2022 года я разрабатываю методику предсказания IT‑карьеры для новичков.

Равно год назад она стала общедоступной в виде бесплатного курса‑профориентации для всех желающих. За прошедшие 12 месяцев свои IT‑перспективы успели оценить 795 человек. Увы, подавляющее большинство из них (87%) получили отрицательный ответ.

В этой статье — типичные ошибки ищущих себя в новой профессии.

Первая статья цикла про работу AI-QA-инженера (но написана без использования AI)

Когда работаешь в IT уже почти 25 лет, то все обещаемые революционные изменения первое время воспринимаешь со значительным скепсисом. "Все - в мобайл, остальное умрёт" или "все - в крипту, в этом будущее" обычно заканчивается тем, что появляется очередное ответвление внутри IT, а старые направления никуда не деваются.

Принять участие в AI-лихорадке я заранее не планировала. Но за последние полгода без какой-либо инициативы со своей стороны мне пришлось поучаствовать в тестировании сразу нескольких коммерческих AI-проектов (не путать с использованием AI-инструментов для тестирования). 

А каждый шестой QA-джун из наблюдаемых мной начал свою карьеру сразу в AI-компании.

Хочу поделиться своим, пусть пока небольшим, но прикладным опытом работы с AI и рассказать, как выглядит оно, тестирование AI-приложений. И, главное, кому действительно имеет смысл погружаться в тестирование AI, а для кого это может быть преждевременно.

- Почему большинство IT-школ не публикуют детальную информацию о трудоустройстве студентов?

- Как живет черный рынок отзывов?

- Как поименные списки получивших IT-работу выпускников с названиями компаний помогают оценить реальное качество обучения?

Результаты — на изображении. Из тех, кто подумывает начать IT‑карьеру, в результате действительно смогут сделать это 16%.

Откуда взялось это число? Из нашего прикладного эксперимента, который продолжается уже больше двух лет. Только во второй его стадии успело поучаствовать более 500 желающих.

Работодателям не нужны "зрители", им нужны "умеющие". Именно поэтому после онлайн-лекций и вебинаров, где нужно просто посидеть и послушать, а потом сделать домашние задания, обычно так сложно найти первую работу. Знания на лекциях получить можно, но не столь нужные работодателю практические навыки.

Есть хорошая и плохая новость о получении новичками практических навыков.

Нет, это не очередной обзор зарплат по вакансиям.

Наоборот, по результатам прямого опроса QA-специалистов поговорим про шесть причин того, почему аналитика по вакансиям не очень релевантна настоящей ситуации с зарплатами на рынке (которые на самом деле выше).

- это ответ на очень простой вопрос "А сколько именно студентов после вашего курса получает IT-работу?".

Качественные кадры всегда были актуальным вопросом для IT. И с каждым годом ситуация не становится лучше - высшее образование все больше отстает от потребностей рынка, а массовое онлайн-образование дало количество, но не качество.

IT-компании вполне обоснованно жалуются на недостаток квалифицированных специалистов.  

Но когда сами компании начинают готовить кадры “под себя”, то делают это крайне малоэффективно.

Сложно проводить собеседование с джуном. У новичка пока немного технических знаний и практических навыков, а карьерный путь и того меньше. Спрашивать, кроме теории, пока особенно нечего. Строить прогнозы на аппроксимации предыдущих успехов невозможно.

Что же тогда говорить про эффективность собеседования с IT-абитуриентом.
Который не имеет и намека на технические знания.
Который ни дня не работал ни на одном IT-проекте.
И, который, скажем честно, и сам пока не до конца уверен, а подходит ли ему IT.

Именно такая, казалось бы абсолютно нерешаемая задача, стояла перед нами в рамках двухлетнего проекта. Научиться с высокой степенью точности предсказывать карьеру (или ее отсутствие) у того, кто только планирует получать технические знания.

Гуд ньюз эвриван! Вышло большое обновление учебника «100-Year QA‑Textbook — русскоязычная версия» — одного из самых полных источников по тестированию.

С момента первого релиза (100'000 хабр‑просмотров!) прошло полгода.
За это время столетний учебник стал бесплатным пособием для 10'000+ самообучающихся студентов.

Гуд ньюз эвриван! У нас с друзьями есть традиция — каждый год мы пишем хотя бы один большой IT-учебник. 

В 2023 году мы выпустили бесплатный 100-Year QA-Textbook - интерактивный учебник по тестированию на английском и русском языках. 700+ страниц (без учета картинок!), 40 наборов встроенных тестов. По нему начали заниматься более 10’000 студентов, а хабр-статью про него прочитали более 90’000 раз. 

2024 год начали с того, что опубликовали первый в своем роде русскоязычный учебник. По двум темам, с которыми, по нашим наблюдениям, у изучающих тестирование возникают максимальные проблемы - как все-таки правильно учиться и как быстрее найти первую QA-работу. При том, что действительно адекватных источников информации, чтобы помочь эти проблемы исправить, — минимум.

А кроме учебников для новичков, в 2024 году мы выпустим два бесплатных учебника для QA-джунов/мидлов.

Гуд ньюз эвриван! Спустя полтора года работы восьми айтишников с суммарным опытом в IT 130 лет достигнут результат в виде учебника по тестированию, которого еще никто и никогда не делал.

В январе пять международных QA-менторов с суммарным опытом 100+ лет опубликовали первую часть бесплатного интерактивного QA-учебника на английском языке, состоящего из 500+ страниц, 42 модулей, 42+ наборов тестов с 150+ вопросами. Про этот релиз 0.0.5 мы писали в Хабр-статье "Зачем появился бесплатный интерактивный «100-years QA-textbook» на 500+ страниц для обучающихся тестированию".

С тех пор вышел полный англоязычный релиз 0.0.9 всего учебника и выяснилось, что в результате его объем - 700 страниц (без учета изображений и тестов).

А 30 апреля вышел первый релиз и на русском языке. Который тоже лежит в свободном доступе, полностью бесплатен и даже не требует регистрации для начала обучения.

В 2001 году Джордж Акерлоф получил Нобелевскую премию по экономике за анализ рынков с несимметричной информацией. Его научная работа с запоминающимся названием «Рынок „лимонов“» доказывает, что если покупатели не владеют информацией о качестве товара в той же мере, что и продавцы, то плохие товары вытесняют хорошие вплоть до полного исчезновения рынка.

Бум коммерческого Edtech в России подходит к концу. Он дал положительные результаты — он дал возможность многим начать профессию в тестировании. Но дал и отрицательные.

Во‑первых, он утвердил в головах, что тестирование — это настолько легко, что «каждый может стать».

Во‑вторых, превратил образовательный рынок в рынок «лимонов». Не разбирающиеся в смысле будущей профессии студенты выбирали курсы, где «побольше тулов» и где пожирнее скидки. Теперь от результатов работы этих «лимонов» морщатся HR, пытаясь сделать так, чтобы позже не морщилась команда.

Если с репутацией тестирования уже решительно ничего не сделать, то в плане подхода к IT‑образованию вообще и QA‑образованию в частности можно попробовать спрогнозировать дальнейшее развитие событий. И предсказать его возвращение к истокам.

Доходчивые примеры для погружающихся в QA. Перед прочтением лучше как следует поесть.

Что может быть более полезно для будущего, чем образование?

Что может быть более полезно для образования, чем интерактивный QA-учебник состоящий из 42 модулей, 42 онлайн-тестов, 500+ страниц от менторов с суммарным опытом 100+ лет?

Что может быть более полезно для кошелька QA-студента, чем когда это всё бесплатно?

Этот учебник появился не потому, что миру нужен был еще один учебник по тестированию. Хороших QA-учебников предостаточно. Он появился, когда стало ясно, что и обучающимся самостоятельно, и, как ни странно, QA-преподавателям нужен несколько другой подход к обучению тестированию. Так появилась трехуровневая модель обучения, результатом которой этот учебник и стал. 

Когда-то курсов тестировщика не существовало в принципе (курс Портнова - не в счет) и это была тихая профессия для своих. С тех пор многое изменилось. Но не изменилась главная проблема для новичков. В любой профессии при старте карьеры есть синдром "трудоустраиваем только с опытом, а чтобы получить опыт, нужно трудоусториться". Но для айтишных специальностей это тем более значимо - прослушавший голую теорию новичок иногда так же бесполезен, как не слушавший вообще ничего. Нормальную же послекурсовую интернатуру организовать сложно. В отдельных случаях - невозможно. На какой реальный проект можно устроить поток из 100 и более студентов?

Поэтому практика большинства QA-курсов выхолощена и проходит в стерильных, отдаленных от реальных условиях. Бесконечным потокам студентам дают тестировать один и тот же функционал одного и того же сайта. Никакого погружение в требования, необходимости понять, это глюк стейджинга или реальная бага, взаимодействия с командой и представителем заказчика. Как правило, и никакого полноценного тестирования трехзвенки.

Но давайте расскажу из первых рук про то, что представляет из себя нормальная послекурсовая интернатура, когда ее все-таки организовывают.