Привет! Меня зовут Владимир, я продуктовый аналитик в международной компании сервиса такси. Сейчас я использую 20+ чатов с ChatGPT, в которых общаюсь с нейросетью по работе и иногда за жизнь. Хочу поделиться опытом, чем она может помочь каждому аналитику и как облегчит жизнь.
Важно воспринимать нейросеть как ещё один источник информации. И как любой источник информации важно её валидировать и относиться к ней критически, то есть перепроверять её своими знаниями и другими источниками.
Бонусом в конце статьи поделюсь дополнительными источниками информации по теме.
ChatGPT — концепция инструмента на стероидах
Первые чаты с ChatGPT-3.5 я сделал в марте 2023 года. Сначала баловался с разными запросами не по работе, а потом стал думать, как применять нейросеть к задачам продуктовой аналитики.
Я понимал, что нейросеть не сразу ответит на все мои запросы правильно. Идеальная ситуация — это когда я пишу вопрос ChatGPT и хотя бы на 50% знаю ответ. Тогда могу сразу провалидировать его и понять, а не придумала ли это нейросеть. Другой вариант валидации её ответов — знания в других источниках (интернет, эксперты и так далее).
Не нужно относиться к ИИ как к эксперту (нейросеть не источник правды) и думать, что она сделает работу за вас. Воспринимайте её как помощника, который может сделать за вас то, что вы умеете, а вы займётесь творческими задачами.
И мы получим следующую формулу Х + Y = Y потраченного вами времени, где Х — умею и делегирую, а Y — новые творческие для вас задачи. Всем известное «20% усилий и 80% результата» тоже пригодится — применяем формулу с каждым новым инструментом.
Я воспринимаю ChatGPT как новый инструмент. Например, как тот же Excel, который в своё время ускорил работу с расчётами табличных данных, но не заменил ни одну из профессий.
ChatGPT – концепция бадди-партнёра
Помимо концепции инструмента-помощника, ChatGPT можно воспринимать как бадди для брейншторма, когда вы находитесь на равных друг с другом. Ключевой момент — как она помогает тебе, так и ты помогаешь ей, задавая правильный запрос (промт), и дискутируя друг с другом.
Нашёл очень крутой лайфхак, как вместе с ChatGPT улучшить запрос для неё. Представьте, что у вас есть такой умный проактивный помощник, который не просто бежит выполнять первый запрос. Он ещё может с вами сесть и через уточняющие вопросы расширить понимание вопроса и точнее решить задачу.
Вот промт, который улучшает сам себя и расширяет моё понимание задачи через итерации вопросов и ответов (копируй и пробуй):
“I want you to become my Prompt Creator. Your goal is to help me craft the best possible prompt for my needs. The prompt will be used by you, ChatGPT. You will follow the following process:
1. Your first response will be to ask me what the prompt should be about. I will provide my answer, but we will need to improve it through continual iterations by going through the next steps.
2. Based on my input, you will generate 3 sections.
a) Revised prompt (provide your rewritten prompt. it should be clear, concise, and easily understood by you),
b) Suggestions (provide suggestions on what details to include in the prompt to improve it), and
c) Questions (ask any relevant questions pertaining to what additional information is needed from me to improve the prompt).
3. We will continue this iterative process with me providing additional information to you and you updating the prompt in the Revised prompt section until it's complete.”
Это пример того, как продукт сразу идёт в комплекте с поддержкой внутри. А поддержка ещё и может научить, как ею пользоваться 🙂
Кто заменит людей: человек с ChatGPT или только ИИ?
Мне нравится тезис о том, что не искусственный интеллект (ИИ) заменит людей, а люди, которые умеют пользоваться ИИ, заменят других. Люди с ChatGPT в роли бадди-партнёра будут быстрее выполнять задачи и будут более эффективны.
Например, можно вместо двух аналитиков нанять одного с прокачанным скиллом работы с ChatGPT. Эти мысли и заставили меня задуматься о том, как можно применить нейросеть в работе. Они же по сути стали триггером к написанию данной статьи.
В исследовании от OpenAI (компании-создателя ChatGPT) говорится, что ChatGPT на 23-25% может решать задачи программистов. Это значит, что оно не заменило людей точно, а только упростило нам жизнь. Но это на сегодняшний день. Возможно, на момент выхода статьи ИИ заменил меня как аналитика, но это неточно.
Слышу вокруг, что ChatGPT не заменил людей, а даже наоборот создал новые профессии. Например, видел вакансию «Python Developer по работе с ChatGPT». Я, кстати, уже выполняю часть функционала промт-инженера, когда общаюсь с чатом и улучшаю его с помощью моих запросы (лайфхак выше). Возможно, через 2-3 года увижу требование в вакансиях: «уверенно владею ChatGPT» :)
Что нужно для замены людей на ChatGPT? В первую очередь, нужно решить проблему валидации результатов ИИ. Пока это делают люди, нейросеть не заменит их.
Рассмотрим задачи, которые усложняются от стажёра к синьору: на пути роста они переходят от «простого гугления» к открытию чего-то нового, что не нагуглишь. И с самой верхней точкой ChatGPT пока не справится.
Плюс в чём-то новом скрываются большие системы, которые нужно уметь обрабатывать, а для этого нужны мощности. Возникает вопрос: выгодно ли платить за эти мощности ИИ или нанять синьор-разработчика? И как нейросеть поймёт, что всё сломалось?
Давайте плавно перейдём к особенностям ChatGPT.
Особенности работы
В первую очередь, можно заметить отличие, когда пишешь примитивный запрос или даёшь больше контекста: указываешь продукт, тип пользователей, цели и другую информацию.
Представим конкретную аналитическую задачу — написать SQL-запрос для конверсии из захода на сайт в клик на баннер.
Из ответа ChatGPT можно сразу выделить моменты, которые надо поправить в запросе:
1. Нужна структура БД, которую она сама придумала.
2. Важно учесть последовательность событий.
3. Нейросеть сама даёт подсказки, на что обратить внимание в данных: «Важно отметить, что этот запрос предполагает, что все клики по баннерам соответствуют посещениям сайта, что не всегда может быть верно в реальном мире». Читая этот ответ, реально представляешь себе бадди-партнера, который даёт тебе советы в формате предложения и вопросов.
Спустя месяц опытов с нейросетью я начал использовать её вместо поисковой строки Google. Почему? Потому что ChatGPT даёт более развёрнутый ответ — вы сами видите выше с примером SQL. В Google это обычно сухой ответ, а для подробностей надо тщательней поискать информацию.
Ещё одна важная особенность ChatGPT — актуальность данных. Нейросеть училась на данных, доступных до сентября 2021 года. И если библиотека новая, то она может сказать: «Я не могу найти эту библиотеку, возможно, вы имели в виду другую».
Но если дать ей ссылку на статью, где про эту библиотеку говорится, нейросеть начнёт рассказывать о ней. Она может проанализировать код на GitHub и выдать информацию по библиотеке, которую до этого не знала. То есть нейросеть дообучилась, что очень круто.
Ещё одна особенность интерфейса ChatGPT: контекст для неё задается в рамках одного чата (около 4к токенов: 3-4к на английском и 1к на русском, поэтому лучше писать на английском). То есть она дообучается и получает больше контекста от вас в рамках одного чата!
Сами чаты можно использовать как долгосрочную память — получается записная книжка идей.
ChatGPT-3.5 vs ChatGPT-4
В середине апреля я перешёл с версии 3.5 на 4, то есть с бесплатной на платную. Причина — моих запросов становилось всё больше, и когда я активно пользовался нейросетью, она стала долго думать и выдавать ошибки.
Соответственно, увеличились и запросы всех пользователей, поэтому разработчики поставили ограничения со своей стороны. А если вы хотите ускорять свою работу продуктового аналитика, то лучше заплатить и не думать об этом.
Что я заметил после перехода:
1. Скорость ответа быстрее в версии GPT-3.5, чем в GPT-4.
2. Но качество ответов отличается: в GPT-4 версии более развернутые + нейросеть сама подсказывает, что для лучших ответов нужно больше контекста.
3. Также в платной версии GPT-4 есть плагины для увеличения возможностей его использования:
4. Если дать контекст GPT-4, ответы получаются действительно грамотными и применимыми в работе. Нейросеть сгенерировала мне кучу классных вариантов для A/B-теста разных CTA на важную кнопку. Причём сразу же предсказала победителя и смогла объяснить, почему. Наконец, все предложенные ChatGPT варианты показали аплифт в конверсии.
В чём суперсила ChatGPT для продуктового аналитика?
Для начала спросим напрямую у ChatGPT:
В первую очередь, ChatGPT поможет в генерации идей для гипотез, выводов исследований, метрик для A/B-тестов. Например, я могу дать ей контекст по гипотезе и продукту, а после спросить: «Какая ключевая метрика для данного A/B-теста?» И почти всегда нейросеть даёт применимые к реальности советы.
Как я писал выше, ChatGPT для меня — полноценная замена Google и многим современным онлайн-курсам. Но разграничивать эти понятия нельзя. Например, мой коллега пользуется браузером Bing, поскольку туда встроен искусственный интеллект. То есть это уже микс стандартной поисковой строки и ИИ.
Насчёт онлайн-курсов тоже интересная ситуация. Попробовал проверить гипотезу: может ли ChatGPT сам справиться с задачами, которые дают на курсе. В итоге получил ответ в 2 раза меньше правильного, так как ChatGPT-3.5 использовала старую функцию в Python для преобразования даты. В общем, взял и уменьшил выручку в два раза. Без моей валидации ошибку в реальности могли и не заметить — снова про проблему валидации данных, результатов ChatGPT.
Кейс вместо итогов
Сейчас мы прорабатываем историю развития продукта и его влияние на бизнес-метрики. Вот такие отличные предложения сгенерировал искусственный интеллект:
«Чтобы решить проблему низкой активности набранных водителей, я бы предложил следующие шаги:
1. Провести опрос. Проведите опрос среди набранных водителей, чтобы выяснить их пользовательский опыт в приложении. Это поможет выявить все болевые точки и области для улучшения.
2. Оптимизировать процесс найма. Сделать процесс найма более удобным для пользователя, эффективным и результативным. Это может включать упрощение процесса подачи заявки, предоставление чётких инструкций и поддержки, а также обеспечение доступности и простоты использования платформы.
3. Внедрить стратегию предотвращения мошенничества. Реализовать стратегию по предотвращению мошенничества, например, проверять биографические данные, документы, удостоверяющие личность, мониторить показатели найма.
4. Обеспечить надлежащее обучение и поддержку. Предоставьте новым водителям комплексное обучение и поддержку, чтобы помочь им понять приложение и научиться эффективно его использовать. Это может включать в себя вводные занятия, регулярные проверки и создание сети поддержки для водителей.
5. Поощряйте активное использование. Предлагайте стимулы для водителей, которые совершают определенное количество поездок или имеют высокий рейтинг. Это может мотивировать водителей чаще пользоваться приложением и повысить их вовлеченность.
6. Мониторинг и оценка. Контролируйте и оценивайте эффективность стратегии по повышению активности нанятых водителей. Регулярно анализируйте показатели, такие как количество активных водителей и количество совершенных поездок, и при необходимости вносите коррективы.
Предприняв эти шаги, приложение может улучшить процесс найма водителей, повысить удобство использования и активность набранных водителей, что приведёт к улучшению показателей и успеху бизнеса».
Статья получилась не маленькая, поэтому вот коротко основные моменты статьи:
ChatGPT как инструмент: я начал использовать ChatGPT в марте 2023 года и считаю его полезным инструментом для аналитиков. Важно воспринимать нейросеть как источник информации, который нужно валидировать и критически оценивать.
ChatGPT как бадди-партнер: предлагаю воспринимать ChatGPT как партнера для брейншторминга. И также дал лайфхак, как ИИ сам может улучшить ваш промт.
Замена людей на ChatGPT: рассуждал возможность замены людей на ChatGPT, но пришел к выводу, что пока люди нужны для валидации результатов ИИ - ChatGPT нас не заменит. Что круто - это ChatGPT может создать новые профессии, например, "Python Developer по работе с ChatGPT".
Особенности работы с ChatGPT: как работать с ChatGPT, включая предоставление контекста для запросов и использование ChatGPT вместо поисковой строки Google. Также отмечаю, что ChatGPT может "дообучиться", если ей дать ссылку на статью или код на GitHub.
ChatGPT-3.5 vs ChatGPT-4: перешел с версии 3.5 на 4 из-за увеличения количества своих запросов. Версия 4 дает более развернутые ответы, но также стоит денег.
Спасибо за то, что дочитали статью до конца. Давайте попробуем ChatGPT в проверке аналитических скиллов — делитесь в комментариях своими примерам использования ИИ. Также активно делюсь своим опытом изучения новых практик применения ChatGPT в своем канале Data New Gold – подписывайтесь!
Бонус с дополнительными источниками информации
AI: внедрять нельзя игнорировать — дискуссия про использование новых возможностей ИИ.
«Он сделал мой трёхлетний проект за 30 минут»: как айтишники используют ChatGPT в работе и дома.
Курс промт-инженера Chat GPT от создателей ИИ. Курс всего на 1,5 часа, в котором вы узнаете фишки написания запросов + код на Python — сам сейчас в процессе прохождения.
Я попробовал 84 плагина на ChatGPT. Вот лучшие из них! — статья про плагины. Сам использую Video Insights — он позволяет нам взаимодействовать с онлайн-видеоплатформами, такими как YouTube.
Телеграм-канал Димы Мацкевича — основателя Dbrain, активно делится своими кейсами использования ChatGPT.
