Уважаемая product manager Анастасия, возможно для Вас это будет удивительным, но
Когда пользователь открывает RuStore
он не
вводит запрос вроде «тренировки дома»
, а обливаясь потом, дико матерясь и пытаясь не промахнуться пальцем на пару пикселей, пытается коснуться крохотной кнопочки "моё" справа внизу, и таки установить прилетевшие обновления. Ему и не надо было больше ничего в 95% случаев открытия вашей приложки.
Если ему это не удалось - ему накачивается призовой пакет из кучи игрушек, приложений магазинов, букмекерских каких-то вирусов и ещё гора совершенно ненужного мусора.
Затем пользователь вздыхает, заваривает кофе, врубает 2 или 3 антивируса и начинает этот мусор поштучно устанавливать и удалять потому что возможности очистить папку "скачанное" ваш молодой и с дружными печеньками коллектив не предоставил.
К концу этого квеста, ему уже не до
«обои с кошками»
, а очень хочется доехать до "Динамо" и ласково с кем-нибудь поговорить на тему того, действительно ли наша с вами Федерация, включая вашу приложку в обязательный установочный пакет на мобильниках, ожидала увидеть результат в виде пакетного установщика игрушек и прочего непрошенного мусора.
Я привёл пример того, как маленькой манипуляцией с доведением до абсурда завязать интересную беседу :)) Мои извинения :) Но Вы то тоже упростили картину мира :))))
...
Давайте по пунктам свои мысли изложу. Начну с того, за что зацепился.
Потому что они появляются там, где разработчики отделены от пользователей пропастью непонимания.
Здесь есть целых два антипаттерна в корпортате.
Разработчики отлично слушают пользователей. И делают всё именно так, как те просят. 1.5 - 2 года. Затем меняется руководство, за ним перетряхивается средний менеджерский состав, за ними толковые линейные, и вот уже те же самые разработчики слышат от уже новых пользователей "Это колхоз ! Так делать вообще нельзя !!! Мы пришли, мы вас научим!". И так по кругу.
Разработчики отлично слушают пользователей. И клепают один за другим MVP, которые взлетают “нетольколишьвсе". В итоге тот самый "монстр" обрастает невероятным количеством артефактных клешней, выпиливать которые уже никто никогда не будет. KPI с этого нулевой, а столько MVP ещё хочется попробовать ! И модульно-сервисный подход тут не сильно спасёт. Многие MVP оставляют следы уже в ядре, в первую очередь в учёте. Их оттуда выдернуть - втрое больше времени.
Тут я с Вами реально согласен. Практика обратной связи исключительно по опросам - губительна.
Вот тут
Любое изменение — минимум полгода.
Ну Вы реально передёргиваете. Всегда есть пачка доработок, в том числе минорных, которые нормально идут мимо комитетов. Если конечно разрабов не дооптимизировали до одного на команду. И есть то, что тянется подолгу, но тут не всегда проблема в "монстре". Зачастую просто количество инициатив становится запредельным. Сбор требований - месяц ? Ок. А как часто проводятся опросы ? Как быстро приходят ответы ? Это проблема в "монстре" или перегрузе ключевых пользователей ? Их же тоже бесконечное количество не наймёшь. ФОТ - дело сложное.
Хотя безусловно чем тяжелее система как таковая, тем больше TTM.
Создайте культ карго
Ну так он непрерывен. 20 лет назад носились с ERP и "долой зоопарки", 10 лет назад обезумели с BPMS и начали тащить туда что не попадя, сейчас решили каждую кнопку на отдельный сервис повесить.
Вы кстати по-моему сказали, что это "плохо", но не описали метода борьбы с этим явлением. Мне он тоже не известен
И вот уже разработка защищает монстра. Потому что монстр — это их детище, их крепость, их зона комфорта.
Сейчас спокойный вопрос без подколок. Вы реально часто с таким сталкиваетесь ? Вот мне наоборот больше доводилось работать с ребятами, которых хлебом не корми, дай чего новое запилить
... дальше Вы чуток пошли по кругу ...
так, вот
Правило погружения, Правило быстрых изменений, Правило открытости
Согласен, но это касается только условного Цикла Деминга. Новый закон примут, или инновация какая родится - и будем сидеть со сбором требований, никуда не денемся. Потому что пользователи с этим не работают ещё и вообще не в курсе приближающегося щщчастья
Правило пользы
Нет, не каждая функция. Сканирование Кодов Маркировки "Честный Знак" никак не помогает сделать пользователю свою работу лучше. Они ему даром не сдались, это требование законодательства. Ещё примеров накидать ?
Вариант 1. Параллельная реальность
Не уверен, что параллель лучше. Мне привычнее выпиливать модулями. Заодно и обратная связь появляется сразу. Но возможно именно это Вы и имеете в виду.
Вариант 2. Революция снизу Вариант 3. Терапия для монстра
А, ну вот, да
Вариант 4. Признать поражение
Очень мало примеров мне известно. А успешных - так вообще единицы.
Главное правило: слушайте пользователей
И записывайте в блокнотик. Через 2 года придут новые - будет что им рассказать.
.....
Михаил, реально отличный труд. Спасибо Вам огромное за статью. Не со всеми Вашими доводами согласен, но реально приятно такое читать :))
Есть Ганнушкин. Это клиническая психиатрия, патологии. Область узких специалистов, которых готовят в профильных ВУЗах, и думаю, что исключительно в рамках специалитета (не бакалавриата), как и во всей медицине.
И есть Пономаренко, "7 радикалов". Это практическая психология. Уровень ну может чуть более сложный, чем гороскопы. И это не "медицинский инструмент", о чём Пономаренко в своей работе предупреждает неоднократно. И этим по сути может забавляться кто угодно. Я читал. Ну прикольно. Быстро нашёл себе и жене подходящие "акценты" и забыл об этом. Не более.
Если руководство компании словило тараканов на тему "7 радикалов" - это бзик и он пройдёт, как проходят все подобные бзики. Рефлексировать на эту тему себе дороже.
Если же там реально решили упороться в клинику, то вон рядом есть комментарий - "чтобы решение исходило от соискателя". Под это я готов подписаться.
...
Ещё б понять бы что они там имели ввиду. Терминология то одинаковая :))))
Ваш разработчик садится рядом с вашим пользователем (ну прямо с оператором в отделении Банка). А тот ему и говорит: - У меня при выдаче новой кредитной карты слишком долго проверяется кредитная история.
Довольный разработчик срочно открывает ноутбук, сносит к чертям проверку кредитной истории, деплоит это и спрашивает: - Ну теперь то твоя душенька довольна ? Всё летает !
Нормально всё, я ничего не напутал ?
... Любые совпадения случайны.
Вы слишком упростили модель отказа. Хотя безусловно на хеликоптер-вью уровне "сова-стратег" Вы правы :)))
В чём я с Вами абсолютно согласен, так это с тем, что если возникли ручные операции вне Системы - нужно вмешиваться не откладывая это на полгода
Однако же на практике значительное количество "жалоб пользователей" в корпорате идёт на функциональность, которая либо предписывается регуляторами (ну Вам ли не знать, вы нормативкой обложены хуже ритейла), либо специально внедрена, чтобы не давать им просто ошибаться или сложно фродить. Здесь не может быть плоского подхода.
Ведь если искусственный интеллект учится у интернета, то интернет, по сути, становится его учителем — а значит, от нас зависит, каким будет следующий разум, растущий в цифровом мире.
Мне одному кажется, что здесь описано средство от захвата мира ИИ-шкой ?
..
А если по теме, то принцип GIGO описан чёрт знает когда. Это новость ?
Ясно. Ссылку не смог открыть с телефона - не видел.
Ну там понято, что GPT развернулся. На практике же такой шаблон даже не знаю поможет ли - чётко заточен под задачу. Но можно сохранить и творчески переписать :))))
Для данной конкретно задачи достаточно старта "Ты - старший бизнес-аналитик на проекте "...". Твоя задача: Всё. Модель поняла кто она и её не носит по разным кластерам за "экспертизой". То есть на наоборот, группирую всё в один вектор. Меня устраивает результат
Второе
Сама по себе сторя написана может быть в общем как угодно. Но если в ней не хватает данных - я обычно просто "подкладываю" некие общие требования, релевантные для всех кейсов этого модуля.
Так у меня получается стабильнее.
Ну и к базе статьи.
Я в общем довольно часто использую LLM, но обычно лишь в качестве самопроверки "не забыл ли что-то". Редко как первоисточник
ChatGPT, Алиса и GigaChat с барского плеча предлагают сразу вывести пользователю список ВСЕХ его заказов, тем самым при наличии долгой истории покупок намертво повесив ЛК или отвалившись по timeout.
Вы не правы. Критерий отработан чётко, строго по UC. Большая история покупок - это уже другой UC и с другими ЗИ.
Однако «живой» аналитик чаще всего совместит два данных AC в одном первом, написав примерно следующее
Ну то есть Вы сознательно написали UC так, чтобы посмотреть разворачивание контекста машиной ? Не этично.
Следующее
Все ИИ, кроме Алисы, в некоторых AC фантазируют и додумывают детали, о которых не указано в исходных данных.
Вы не избавитесь от этого. Галлюцинации - базовое свойство векторного поиска, оснобенно с учетом следующего:
Важно.
Вы дико перегрузили входной промпт прилагательными. "отличными", "исключительными", не хватает разве что "божественными". Это реальный оверпромптинг.
Вы пытаетесь добиться от LLM каких-то космических компетенций, сдвигая вектора поиска в сторону экспертных комплексных решений, но ради чего ? Критериев приёмки по простенькому кейсу ? Ну не удивительно, что они начинают фантазировать и/или цеплять смежные кейсы. Вы их сами об этом попросили.
Работа в найме, особенно в низкоквалифицированном, даёт отличную возможность понять чего на самом деле стоят деньги.
Сын постарше автора, но в свои 19 лет поработал курьером “после пар" и пожил отдельно снимая квартиру. Это сильно изменило его отношение к "сидению на шее“. В том плане, что он понял насколько непросто с этого слезть. Сейчас работает в найме и рассматривает "проекты" только как дополнительный доход. Я не буду утверждать, что это единственно верный подход
Автору всё-таки стоило бы попробовать месяца два постоять за стойкой в маке (условно) и пересчитать полученные деньги на аренду квартиры, еду и одежду. Это поможет понять чем может обернуться "жизнь без гарантированного дохода". Элементарно увидеть как "заработать просто на жизнь". После этого уже принимать решение о рисках работы "не на дядю"
Характер - штука тонкая и учитываться разумеется должен. Использование для этой цели любой удобной классификации в целом осуждать нельзя.
Осуждать нужно обратное. Слепое навешивание ярлыков и приписывание конкретному человеку всех черт, присущих выбранному ярлыку. Это ошибка, которая может сильно аукнуться
Да это просто несколько статей почти одновременно вышло, вот у народа и подгорело везде успеть прокомментировать :)))
Никаких внешних факторов, способных объяснить этот феномен вроде не было.
Разве что комета вон летала, но это не доказуемо
Уважаемая product manager Анастасия, возможно для Вас это будет удивительным, но
он не
, а обливаясь потом, дико матерясь и пытаясь не промахнуться пальцем на пару пикселей, пытается коснуться крохотной кнопочки "моё" справа внизу, и таки установить прилетевшие обновления. Ему и не надо было больше ничего в 95% случаев открытия вашей приложки.
Если ему это не удалось - ему накачивается призовой пакет из кучи игрушек, приложений магазинов, букмекерских каких-то вирусов и ещё гора совершенно ненужного мусора.
Затем пользователь вздыхает, заваривает кофе, врубает 2 или 3 антивируса и начинает этот мусор поштучно устанавливать и удалять потому что возможности очистить папку "скачанное" ваш молодой и с дружными печеньками коллектив не предоставил.
К концу этого квеста, ему уже не до
, а очень хочется доехать до "Динамо" и ласково с кем-нибудь поговорить на тему того, действительно ли наша с вами Федерация, включая вашу приложку в обязательный установочный пакет на мобильниках, ожидала увидеть результат в виде пакетного установщика игрушек и прочего непрошенного мусора.
Это мне прилетело не факт, что отсюда, но скорее всего.
Рудимент не рудимент, но если вдруг решу ещё кое-что опубликовать, делать это из рекавери не комильфо.
Ладно, это лирика
Я привёл пример того, как маленькой манипуляцией с доведением до абсурда завязать интересную беседу :)) Мои извинения :) Но Вы то тоже упростили картину мира :))))
...
Давайте по пунктам свои мысли изложу. Начну с того, за что зацепился.
Здесь есть целых два антипаттерна в корпортате.
Разработчики отлично слушают пользователей. И делают всё именно так, как те просят. 1.5 - 2 года. Затем меняется руководство, за ним перетряхивается средний менеджерский состав, за ними толковые линейные, и вот уже те же самые разработчики слышат от уже новых пользователей "Это колхоз ! Так делать вообще нельзя !!! Мы пришли, мы вас научим!". И так по кругу.
Разработчики отлично слушают пользователей. И клепают один за другим MVP, которые взлетают “нетольколишьвсе". В итоге тот самый "монстр" обрастает невероятным количеством артефактных клешней, выпиливать которые уже никто никогда не будет. KPI с этого нулевой, а столько MVP ещё хочется попробовать ! И модульно-сервисный подход тут не сильно спасёт. Многие MVP оставляют следы уже в ядре, в первую очередь в учёте. Их оттуда выдернуть - втрое больше времени.
Разве незнакомо Вам такое ?
Пойдём дальше
Тут я с Вами реально согласен. Практика обратной связи исключительно по опросам - губительна.
Вот тут
Ну Вы реально передёргиваете. Всегда есть пачка доработок, в том числе минорных, которые нормально идут мимо комитетов. Если конечно разрабов не дооптимизировали до одного на команду. И есть то, что тянется подолгу, но тут не всегда проблема в "монстре". Зачастую просто количество инициатив становится запредельным. Сбор требований - месяц ? Ок. А как часто проводятся опросы ? Как быстро приходят ответы ? Это проблема в "монстре" или перегрузе ключевых пользователей ? Их же тоже бесконечное количество не наймёшь. ФОТ - дело сложное.
Хотя безусловно чем тяжелее система как таковая, тем больше TTM.
Ну так он непрерывен. 20 лет назад носились с ERP и "долой зоопарки", 10 лет назад обезумели с BPMS и начали тащить туда что не попадя, сейчас решили каждую кнопку на отдельный сервис повесить.
Вы кстати по-моему сказали, что это "плохо", но не описали метода борьбы с этим явлением. Мне он тоже не известен
Сейчас спокойный вопрос без подколок. Вы реально часто с таким сталкиваетесь ? Вот мне наоборот больше доводилось работать с ребятами, которых хлебом не корми, дай чего новое запилить
... дальше Вы чуток пошли по кругу ...
так, вот
Согласен, но это касается только условного Цикла Деминга. Новый закон примут, или инновация какая родится - и будем сидеть со сбором требований, никуда не денемся. Потому что пользователи с этим не работают ещё и вообще не в курсе приближающегося щщчастья
Нет, не каждая функция. Сканирование Кодов Маркировки "Честный Знак" никак не помогает сделать пользователю свою работу лучше. Они ему даром не сдались, это требование законодательства. Ещё примеров накидать ?
Не уверен, что параллель лучше. Мне привычнее выпиливать модулями. Заодно и обратная связь появляется сразу. Но возможно именно это Вы и имеете в виду.
А, ну вот, да
Очень мало примеров мне известно. А успешных - так вообще единицы.
И записывайте в блокнотик. Через 2 года придут новые - будет что им рассказать.
.....
Михаил, реально отличный труд. Спасибо Вам огромное за статью. Не со всеми Вашими доводами согласен, но реально приятно такое читать :))
Вы имеете в виду "BigFive" и MMPI/СМИЛ ?
Или ещё что-то уже разработано ?
Интересно
Что меня смущает - я уже написал сразу.
Есть Ганнушкин. Это клиническая психиатрия, патологии. Область узких специалистов, которых готовят в профильных ВУЗах, и думаю, что исключительно в рамках специалитета (не бакалавриата), как и во всей медицине.
И есть Пономаренко, "7 радикалов". Это практическая психология. Уровень ну может чуть более сложный, чем гороскопы. И это не "медицинский инструмент", о чём Пономаренко в своей работе предупреждает неоднократно. И этим по сути может забавляться кто угодно. Я читал. Ну прикольно. Быстро нашёл себе и жене подходящие "акценты" и забыл об этом. Не более.
Если руководство компании словило тараканов на тему "7 радикалов" - это бзик и он пройдёт, как проходят все подобные бзики. Рефлексировать на эту тему себе дороже.
Если же там реально решили упороться в клинику, то вон рядом есть комментарий - "чтобы решение исходило от соискателя". Под это я готов подписаться.
...
Ещё б понять бы что они там имели ввиду. Терминология то одинаковая :))))
Ну с теми скоростями, с которыми в модели вкачиваются террабайты - это тоже ожидаемо.
Там уже явно никто не следит за качеством.
Да и остановиться, определить критерии "качества" некогда. Инвестиции ждать не будут
Ну хорошо, Михаил.
Ваш разработчик садится рядом с вашим пользователем (ну прямо с оператором в отделении Банка). А тот ему и говорит:
- У меня при выдаче новой кредитной карты слишком долго проверяется кредитная история.
Довольный разработчик срочно открывает ноутбук, сносит к чертям проверку кредитной истории, деплоит это и спрашивает:
- Ну теперь то твоя душенька довольна ? Всё летает !
Нормально всё, я ничего не напутал ?
...
Любые совпадения случайны.
Вы слишком упростили модель отказа. Хотя безусловно на хеликоптер-вью уровне "сова-стратег" Вы правы :)))
В чём я с Вами абсолютно согласен, так это с тем, что если возникли ручные операции вне Системы - нужно вмешиваться не откладывая это на полгода
Однако же на практике значительное количество "жалоб пользователей" в корпорате идёт на функциональность, которая либо предписывается регуляторами (ну Вам ли не знать, вы нормативкой обложены хуже ритейла), либо специально внедрена, чтобы не давать им просто ошибаться или сложно фродить. Здесь не может быть плоского подхода.
Мне одному кажется, что здесь описано средство от захвата мира ИИ-шкой ?
..
А если по теме, то принцип GIGO описан чёрт знает когда. Это новость ?
Да я только за :)) В отличии от некоторых :)))
Ясно. Ссылку не смог открыть с телефона - не видел.
Ну там понято, что GPT развернулся. На практике же такой шаблон даже не знаю поможет ли - чётко заточен под задачу.
Но можно сохранить и творчески переписать :))))
Давайте начнём с конца.
Для данной конкретно задачи достаточно старта "Ты - старший бизнес-аналитик на проекте "...". Твоя задача:
Всё. Модель поняла кто она и её не носит по разным кластерам за "экспертизой". То есть на наоборот, группирую всё в один вектор. Меня устраивает результат
Второе
Сама по себе сторя написана может быть в общем как угодно. Но если в ней не хватает данных - я обычно просто "подкладываю" некие общие требования, релевантные для всех кейсов этого модуля.
Так у меня получается стабильнее.
Ну и к базе статьи.
Я в общем довольно часто использую LLM, но обычно лишь в качестве самопроверки "не забыл ли что-то". Редко как первоисточник
Николай, добрый день.
Вы подаёте ряд бизнес-правил и НФТ прямо в промпте. Неужто так делаете в реальности или это просто для примера ?
Я обычно весь контекст держку сбоку и "подкладываю"
Разумеется.
Мне нужно начать занудствовать в ответ на тему "учёбы на ошибках" ? :)
...
У меня ведь естественно не закончена аналитика по данному кейсу.
Есть ещё одна прекрасная и поучительная история. Но она уже не имеет отношения к технике, она по бизнесовой части.
И я в общем сознательно не продолжаю.
Вот здесь:
Вы не правы. Критерий отработан чётко, строго по UC. Большая история покупок - это уже другой UC и с другими ЗИ.
Ну то есть Вы сознательно написали UC так, чтобы посмотреть разворачивание контекста машиной ? Не этично.
Следующее
Вы не избавитесь от этого. Галлюцинации - базовое свойство векторного поиска, оснобенно с учетом следующего:
Важно.
Вы дико перегрузили входной промпт прилагательными. "отличными", "исключительными", не хватает разве что "божественными". Это реальный оверпромптинг.
Вы пытаетесь добиться от LLM каких-то космических компетенций, сдвигая вектора поиска в сторону экспертных комплексных решений, но ради чего ? Критериев приёмки по простенькому кейсу ? Ну не удивительно, что они начинают фантазировать и/или цеплять смежные кейсы. Вы их сами об этом попросили.
Я сейчас напишу возможно непопулярную вещь.
Работа в найме, особенно в низкоквалифицированном, даёт отличную возможность понять чего на самом деле стоят деньги.
Сын постарше автора, но в свои 19 лет поработал курьером “после пар" и пожил отдельно снимая квартиру. Это сильно изменило его отношение к "сидению на шее“. В том плане, что он понял насколько непросто с этого слезть. Сейчас работает в найме и рассматривает "проекты" только как дополнительный доход. Я не буду утверждать, что это единственно верный подход
Автору всё-таки стоило бы попробовать месяца два постоять за стойкой в маке (условно) и пересчитать полученные деньги на аренду квартиры, еду и одежду. Это поможет понять чем может обернуться "жизнь без гарантированного дохода". Элементарно увидеть как "заработать просто на жизнь". После этого уже принимать решение о рисках работы "не на дядю"
Посмотрим итоговую реализацию конечно, но на данный момент не очень верится. Именно в этом мессенджере всё как-то ... слабо
«Милые дамы, позвольте представиться — мастер спорта полковник Чингачгук».
Сижу, считаю количество никак не отвеченных уведомлений и напоминаний о записи от любимого барбершопа
Ну ничего. Перейдут наконец в Телегу. Сколько можно этим вот позорищем пользоваться
Я специально привел пример гороскопов.
Характер - штука тонкая и учитываться разумеется должен. Использование для этой цели любой удобной классификации в целом осуждать нельзя.
Осуждать нужно обратное. Слепое навешивание ярлыков и приписывание конкретному человеку всех черт, присущих выбранному ярлыку. Это ошибка, которая может сильно аукнуться