Если в случае классических приложений нефункциональное тестирование часто переносят в разряд “было бы неплохо” и оставляют на потом, то при тестировании AI-приложений так уже не получится.

Меня зовут Лилия Урмазова, более 20 лет назад я начала работать классическим QA-инженером.

А последние пару лет специализируюсь на тестировании AI-приложений. В настоящее время — Senior Staff AI-QA Engineer/ML Evaluation Engineer в крупной международной IT-компании.

Для тех тестировщиков, кто хочет как минимум быть “в курсе” тестирования AI, я с коллегами подготовила небольшой бесплатный практический курс.

Я в IT уже 25 лет и неоднократно наблюдаю повторение одного и того же цикла.
Во время ковида многие говорили, что порога входа в индустрию нет.
Сейчас, на фоне сокращений, многие жалуются, что IT умирает и работу найти невозможно.

И тогда, и сейчас я повторяю одно и то же: в IT каждый найдет себе место, но только при наличии способностей.
И независимо от состояния экономики, эта работа подходит лишь примерно 10% желающих.

Последние два года я проверяю эту гипотезу с помощью своей методики в виде бесплатного курса-профориентации. Цифры в заголовке — это результат людей, прошедших через него.

Меня зовут Лилия Урмазова, я работаю QA-инженером уже 25 лет. 

Если ты в IT давно и поработал на самых разных ролях в самых разных проектах, исчезает ощущение новизны. И когда все-таки появляется что-то принципиально новое, возникает непреодолимое желание в него погрузиться. 

Последние пару лет я специализировалась на тестировании в зарубежных AI-стартапах.
А сейчас прокачиваю экспертизу как AI-QA инженер на AI-проекте в известной международной IT-компании.

Бум AI-разработки до русскоязычного рынка пока не дошел, хотя многие использует AI-тулы для работы с тест-кейсами и автотестами. Серьезных AI-проектов мало, а число AI-QA-вакансий можно пересчитать по пальцам одной руки

А вот хайп и ощущение пузыря уже пришли.

Тем не менее есть четыре причины погрузиться во всё это:

В 2025 году и фактически, и по ощущениям, в России началась рецессия.
IT она не обошла стороной. Если в начале года произошли сокращения в крупных IT-компаниях, а к весне немного отпустило, то с осени ситуация снова стала более напряженной.

Это не могло не отразиться на зарплатах (спойлер: общая тенденция негативная, но есть и исключения).

Ежегодно отслеживаю, что происходит с зарплатами тестировщиков, используя редкий, доступный мне способ.

Созданная мной десять лет назад IT-школа достигла рекорда для русскоязычного рынка IT-образования. От числа всех поступивших студентов работу в IT получило 85%. Именно от всех поступивших, а не только выпустившихся! Те, кто “в теме”, знают, что обычно трудоустраиваются 5%-15%.

Убедиться в рекорде легко - Mentorpiece единственная IT-школа, которая публикует поименные списки всех поступивших студентов и конечный результат обучения для каждого: в какой IT-компании он/она теперь работает.

В чем секрет? 

В выполнении трех принципов:
1. Не обманывать студентов
2. Не обучать через лекции и вебинары
3. Не обманывать работодателей

Когда два с половиной года назад мы бесплатно выложили интерактивный учебник со всей теорией по тестированию, мы не думали, что это приведет к такому результату.

Более 10’000 самообучающихся студентов.

Работодатели, включившие его в перечень базовых знаний: например, Ozon Tech, МТС, Точка банк. IT-компании, обращающиеся за открытием специального доступа для внутреннего обучения сотрудников.

Но за 2.5 года изменилось многое, и настала пора следующего поколения.
Мы не только на 100% переписали всё содержимое учебника, но также добавили в него учебное приложение, AI и многое другое.

AI-приложения являются волком в овечьей шкуре.

Можно всего за полдня создать впечатляющий AI-функционал с вау-эффектом. Который на уровне MVP будет работать просто замечательно. 

Но чуть позже наступит суровая реальность. На то, чтобы это “вау” заработало без глюков и галлюцинаций, уйдут месяцы.

И это - отличная новость для тестировщиков. 

Или "почему все собеседуют джунов неправильно".

Продолжение набравшей 80000+ хабрпросмотров статьи 688 человек услышали от меня «Тебе не надо в IT».

Последнее время почти любой мой диалог с русскоязычными и англоязычными инженерами по тестированию выглядит так:

— Вижу у вас в профиле тестирование AI-приложений. 
— Я: Да.
— Имеется в виду использование AI-тулов для тестирования?
— Я: Нет, это разные вещи.

Сейчас в разработке буквально каждый квартал происходят какие-то изменения, связанные с AI. Поэтому сложно отличить хайп от того, что компании уже фактически используют в проде. Мне удалось поучаствовать в тестировании AI-приложений на нескольких международных проектах и понять, что действительно уже обрело жизнь.

Эта небольшая заметка позволит сориентироваться в том, что есть интересного в тестировании классических приложений при помощи AI, тестировании AI-приложений и какие есть уровни погружения во все это.

"Подглядывание" в ChatGPT для решения тестовых заданий на вакансию — вопрос на совести соискателя. Неэтично, но легко остаться безнаказанным (впрочем, некоторые умудряются попасться и здесь, забывая в ответе куски промптов или объяснения от AI).

Быть пойманным на списывании во время собеседования гораздо проще.
При этом по ряду причин собеседующий лид не просигнализирует соискателю, что он пойман.

Разные AI-модели дают разное качество.
Использование разных AI-моделей стоит разных денег.
Было бы логично предположить, что чем AI-модель дороже, тем она лучше работает.

Почему это не так и как тестировщик будущего — AI-QA-инженер, может помочь проекту?

Наш кейс: в результате тестирования найдена модель, которая в 20 раз дешевле и дает на 60% меньше ошибок.

С 2022 года я разрабатываю методику предсказания IT‑карьеры для новичков.

Равно год назад она стала общедоступной в виде бесплатного курса‑профориентации для всех желающих. За прошедшие 12 месяцев свои IT‑перспективы успели оценить 795 человек. Увы, подавляющее большинство из них (87%) получили отрицательный ответ.

В этой статье — типичные ошибки ищущих себя в новой профессии.

Первая статья цикла про работу AI-QA-инженера (но написана без использования AI)

Когда работаешь в IT уже почти 25 лет, то все обещаемые революционные изменения первое время воспринимаешь со значительным скепсисом. "Все - в мобайл, остальное умрёт" или "все - в крипту, в этом будущее" обычно заканчивается тем, что появляется очередное ответвление внутри IT, а старые направления никуда не деваются.

Принять участие в AI-лихорадке я заранее не планировала. Но за последние полгода без какой-либо инициативы со своей стороны мне пришлось поучаствовать в тестировании сразу нескольких коммерческих AI-проектов (не путать с использованием AI-инструментов для тестирования). 

А каждый шестой QA-джун из наблюдаемых мной начал свою карьеру сразу в AI-компании.

Хочу поделиться своим, пусть пока небольшим, но прикладным опытом работы с AI и рассказать, как выглядит оно, тестирование AI-приложений. И, главное, кому действительно имеет смысл погружаться в тестирование AI, а для кого это может быть преждевременно.

- Почему большинство IT-школ не публикуют детальную информацию о трудоустройстве студентов?

- Как живет черный рынок отзывов?

- Как поименные списки получивших IT-работу выпускников с названиями компаний помогают оценить реальное качество обучения?

Результаты — на изображении. Из тех, кто подумывает начать IT‑карьеру, в результате действительно смогут сделать это 16%.

Откуда взялось это число? Из нашего прикладного эксперимента, который продолжается уже больше двух лет. Только во второй его стадии успело поучаствовать более 500 желающих.

Работодателям не нужны "зрители", им нужны "умеющие". Именно поэтому после онлайн-лекций и вебинаров, где нужно просто посидеть и послушать, а потом сделать домашние задания, обычно так сложно найти первую работу. Знания на лекциях получить можно, но не столь нужные работодателю практические навыки.

Есть хорошая и плохая новость о получении новичками практических навыков.

Нет, это не очередной обзор зарплат по вакансиям.

Наоборот, по результатам прямого опроса QA-специалистов поговорим про шесть причин того, почему аналитика по вакансиям не очень релевантна настоящей ситуации с зарплатами на рынке (которые на самом деле выше).

- это ответ на очень простой вопрос "А сколько именно студентов после вашего курса получает IT-работу?".

Качественные кадры всегда были актуальным вопросом для IT. И с каждым годом ситуация не становится лучше - высшее образование все больше отстает от потребностей рынка, а массовое онлайн-образование дало количество, но не качество.

IT-компании вполне обоснованно жалуются на недостаток квалифицированных специалистов.  

Но когда сами компании начинают готовить кадры “под себя”, то делают это крайне малоэффективно.