Всем привет!
Меня зовут Александр, я COO в SaaS-платформе аналитики данных. Последний год активно изучаю внедрение AI-решений в кросс-функциональные процессы. Делюсь материалами, которые помогают:

Продуктовым менеджерам — интегрировать AI без перегрузки команд;
Разработчикам — выбирать инструменты под конкретные бизнес-задачи;
Специалистам по данным — избегать ошибок в production-развертывании.

У себя в телеграм-канале делюсь сжатыми и структурированными саммери статей.

Сегодняшний перевод — The Cybernetic Teammate

Статья представляет результаты масштабного RCT-исследования с участием 776 специалистов Procter & Gamble, показывающего, как ИИ меняет динамику командной работы. Эксперимент выявил, что ИИ функционирует скорее как коллега, а не инструмент, увеличивая производительность, стирая границы экспертиз и улучшая эмоциональный опыт работников.

Ключевые инсайты:

индивидуальные работники с ИИ достигают производительности команд без ИИ
команды с ИИ создают лучшие решения
ИИ позволяет специалистам выходить за рамки своей узкой экспертизы, обеспечивая более сбалансированные решения
менее опытные сотрудники с ИИ работают на уровне опытных команд.

За последние пару лет мы узнали, что ИИ может повысить продуктивность отдельных работников интеллектуального труда, от консультантов до юристов и программистов. Но большинство интеллектуальной работы не является чисто индивидуальной деятельностью; она происходит в группах и командах. И команды — это не просто совокупность отдельных людей — они обеспечивают критически важные преимущества, которых обычно не могут достичь отдельные люди, включая более высокую производительность, обмен опытом и социальные связи.

Итак, что происходит, когда ИИ действует как член команды? Прошлым летом мы провели предварительно зарегистрированное рандомизированное контролируемое исследование с участием 776 профессионалов из Procter and Gamble, гиганта потребительских товаров, чтобы выяснить это.

Мы готовы поделиться результатами в новом рабочем документе: The Cybernetic Teammate: A Field Experiment on Generative AI Reshaping Teamwork and Expertise. Учитывая масштаб этого проекта, неудивительно, что эта статья стала результатом массивной командной работы, координируемой Digital Data Design Institute at Harvard и возглавляемой Fabrizio Dell'Acqua, Charles Ayoubi и Karim Lakhani, вместе с Hila Lifshitz, Raffaella Sadun, Lilach Mollick, мной и нашими партнерами в Procter and Gamble: Yi Han, Jeff Goldman, Hari Nair и Stewart Taub.

Авторы исследования о кибернетическом коллеге — Команда авторов исследования

Мы хотели, чтобы этот эксперимент стал проверкой использования ИИ в реальном мире, поэтому мы смогли воспроизвести процесс разработки продукта в P&G благодаря сотрудничеству и помощи компании (которая не имела контроля над результатами или данными). Для этого мы провели однодневные семинары, где профессионалы из Европы и США должны были фактически разрабатывать идеи продуктов, упаковку, стратегии розничной торговли и другие задачи для бизнес-подразделений, в которых они действительно работали, включая товары для детей, средства женской гигиены, средства для ухода за собой и средства для полости рта. Команды с лучшими идеями представляли их руководству для утверждения, так что на кону стояли реальные вещи.

В нашем эксперименте также участвовали два типа профессионалов: коммерческие эксперты и технические эксперты по исследованиям и разработкам. Они, как правило, были очень опытными, с более чем 10-летним стажем работы только в P&G. Мы случайным образом создали команды, состоящие из одного человека в каждой специальности. Половине дали возможность использовать GPT-4 или GPT-4o, а половине — нет. Мы также выбрали случайный набор специалистов обоих типов для работы в одиночку и дали половине из них доступ к ИИ. Все, кто был отнесен к условию использования ИИ, прошли обучающую сессию и получили набор промптов, которые они могли использовать или изменять. Такой дизайн позволил нам изолировать эффекты ИИ и командной работы независимо и в комбинации. Мы измеряли результаты по нескольким параметрам, включая качество решения (определяемое как минимум двумя экспертами-судьями для каждого решения), затраченное время и эмоциональные реакции участников. То, что мы обнаружили, было интересным.

ИИ повышает производительность

При работе без ИИ команды превосходили отдельных людей на значительную величину — 0,24 стандартных отклонения (что приносит облегчение каждому учителю и менеджеру, кто пропагандировал ценность командной работы). Но сюрприз пришел, когда мы посмотрели на участников, использующих ИИ. Люди, работающие с ИИ, показали результаты столь же хорошие, как и команды без ИИ, демонстрируя улучшение на 0,37 стандартных отклонения по сравнению с базовым уровнем. Это позволяет предположить, что ИИ эффективно воспроизводил преимущества наличия человека-напарника — один человек с ИИ мог сравниться с тем, что ранее требовало сотрудничества двух человек.

График показывающий сравнение производительности индивидуальной и командной работы с ИИ и без него — Результаты производительности индивидуальной и командной работы с ИИ и без него

Команды с ИИ показали лучшие общие результаты с улучшением на 0,39 стандартных отклонения, хотя разница между отдельными людьми с ИИ и командами с ИИ не была статистически значимой. Но мы обнаружили интересную закономерность при рассмотрении действительно исключительных решений, входящих в топ-10% по качеству. Команды, использующие ИИ, с гораздо большей вероятностью создавали такие высококлассные решения, что позволяет предположить, что человеческие команды, работающие над проблемой, имеют ценность, выходящую за рамки ценности работы только с ИИ.

График показывающий вероятность создания решений высшего качества — Доля решений, входящих в верхние 10% по качеству, для различных экспериментальных условий с указанием стандартных ошибок

Обе группы, использующие ИИ, также работали намного быстрее, экономя 12-16% времени, затрачиваемого группами без ИИ, и при этом создавая решения, которые были значительно длиннее и подробнее, чем у групп без ИИ.

Границы экспертизы исчезают

Без ИИ мы наблюдали четкие профессиональные разграничения в подходах людей к проблемам. Специалисты по исследованиям и разработкам (R&D) постоянно предлагали технически ориентированные решения, в то время как коммерческие специалисты предлагали идеи, ориентированные на рынок. Когда эти специалисты работали вместе в командах без ИИ, они создавали более сбалансированные решения благодаря своему межфункциональному сотрудничеству (и снова побеждает командная работа!).

Но это было еще одно место, где ИИ внес большую разницу. Когда они работали с ИИ, как специалисты по исследованиям и разработкам, так и коммерческие специалисты, в командах или при работе в одиночку, создавали сбалансированные решения, интегрирующие как технические, так и коммерческие перспективы. Различие между специалистами практически исчезло в условиях с использованием ИИ, как вы можете видеть на графике. Мы наблюдали аналогичный эффект в командах.

График показывающий как ИИ влияет на стирание границ между специалистами разных областей — Разница в генерации идей между коммерческими и техническими участниками, с использованием ИИ и без него. Синим цветом представлены коммерческие участники, а желтым — технические участники. Ось X показывает техническую природу идей, где более высокие значения соответствуют более технически-ориентированным предложениям. (а) Индивидуальная работа без ИИ: График слева показывает распределение техничности решений при работе без помощи ИИ. Видно значительное различие между коммерческими и техническими участниками. (б) Индивидуальная работа с ИИ: График справа демонстрирует, как использование ИИ влияет на техничность предлагаемых решений. Заметно, что распределения для коммерческих и технических участников становятся более схожими, что может указывать на нивелирующий эффект ИИ. Пунктирные вертикальные линии на обоих графиках отмечают средние значения для каждой группы участников.

Этот эффект был особенно выражен для сотрудников, менее знакомых с разработкой продуктов. Без ИИ эти менее опытные сотрудники показывали относительно низкие результаты даже в командах. Но с помощью ИИ они внезапно начали работать на уровне, сопоставимом с командами, включающими опытных членов. ИИ эффективно помогал людям преодолевать пробелы в функциональных знаниях, позволяя им думать и создавать за пределами их специализированной подготовки, и помогал новичкам действовать больше как эксперты.

Работа с ИИ привела к лучшему эмоциональному опыту

Особенно удивительным открытием было то, как ИИ повлиял на эмоциональный опыт работы. Технологические изменения, и особенно ИИ, часто ассоциировались со снижением удовлетворенности работой и повышенным стрессом. Но наши результаты показали обратное, по крайней мере в этом случае.

График показывающий влияние ИИ на эмоциональный опыт участников — Положительные эмоции увеличиваются, а отрицательные эмоции уменьшаются после работы с ИИ по сравнению с командами и отдельными людьми, которые не имели доступа к ИИ

Люди, использующие ИИ, сообщали о значительно более высоком уровне положительных эмоций (возбуждение, энергия и энтузиазм) по сравнению с теми, кто работал без ИИ. Они также сообщали о более низком уровне негативных эмоций, таких как тревога и разочарование. У людей, работающих с ИИ, эмоциональный опыт был сопоставим или лучше, чем у тех, кто работал в человеческих командах.

Хотя мы провели тщательное исследование, включающее предварительно зарегистрированное рандомизированное контролируемое испытание, у таких исследований всегда есть оговорки. Например, возможно, что более крупные команды показали бы совершенно иные результаты при работе с ИИ, или что работа с ИИ в течение более длительных проектов может повлиять на его ценность. Также возможно, что наши результаты представляют собой нижнюю границу: все эти эксперименты проводились с GPT-4 или GPT-4o, менее мощными моделями, чем те, что доступны сегодня; участники не имели большого опыта работы с промптами, поэтому они, возможно, не получили столько пользы; и чат-боты на самом деле не созданы для командной работы. В статье есть гораздо больше деталей обо всем этом, но, помимо ограничений, более важным вопросом может быть: почему все это имеет значение?

Почему это важно

Организации в основном рассматривали ИИ просто как еще один инструмент повышения производительности, вроде улучшенного калькулятора или электронной таблицы. Это имело смысл изначально, но стало все более ограничивающим по мере совершенствования моделей и по мере того, как недавние данные показывают, что пользователи чаще всего используют ИИ для критического мышления и решения сложных задач, а не только для рутинных задач по повышению производительности. Компании, которые сосредотачиваются исключительно на повышении эффективности от ИИ, не только обнаружат нежелание работников делиться своими открытиями в области ИИ из-за страха стать ненужными, но также упустят возможность шире взглянуть на будущее работы.

Чтобы успешно использовать ИИ, организациям необходимо изменить свои аналогии. Наши выводы предполагают, что ИИ иногда функционирует больше как коллега, чем инструмент. Хотя он не является человеком, он воспроизводит основные преимущества командной работы — улучшенную производительность, обмен опытом и положительный эмоциональный опыт. Эта перспектива коллеги должна заставить организации по-иному думать об ИИ. Это указывает на необходимость пересмотреть структуры команд, программы обучения и даже традиционные границы между специальностями. По крайней мере, с текущим набором инструментов ИИ, ИИ расширяет человеческие возможности. Он также демократизирует экспертизу, позволяя большему числу сотрудников внести значимый вклад в специализированные задачи и потенциально открывая новые карьерные пути.

Самым захватывающим выводом может быть то, что ИИ не просто автоматизирует существующие задачи, он меняет наш подход к пониманию самой работы. Будущее работы — это не просто адаптация отдельных людей к ИИ, это переосмысление организациями фундаментальной природы командной работы и самих управленческих структур. И это вызов, который потребует не только технологических решений, но и нового организационного мышления.

Как ИИ меняет динамику командной работы. Исследование 776 специалистов P&G