Я не это говорил:-) Аудит безопасности и борьбу с багами и так должны вести. А мы же обсуждаем, куда направить высовободившиеся за счет ИИ средства (но даже если не велось ранее, то рост качества и снижение рисков поднимут прибыль, просто не в моменте. Кстати, сложно, но можно качество через оценку рисков его отсутствия, особенно если уже есть исторические данные потерь из-за багов, перевести хотя бы в прогноз прибыли).
Относительно остальных Ваших размышлений - у меня ощущение, что Вы сами расчетами эффективности и роста прибыли на практике не занимались. Нет тогда смысла идти в детали, просто на верхнем уровне: "многократный рост эффективности отдельных сотрудников" при правильном менеджменте (т.е. использовании этого) вызовет рост прибыли. И она считается.
Вы не могли бы ссылки на конкретные концепции менеджмента дать в обоснование своих мыслей? Я не совсем с некоторыми согласен. Выделю две.
Если отдел выполняет на 30% больше задач с ии за тот же промежуток времени, то это уже измеримый эффект.
Верно, но только сам факт измеримости ничего не даёт в отрыве от прибыли. Если выполнение этих задач ничего не даёт, то возможно, что они и не нужны. А 30% - много, при правильном использовании они должны дать какой-то рост прибыли (хотя бы 10%) почти сразу. Так как "уменьшить найм" = высвободили бюджет (прибыль вырастет), "увеличить текущую нагрузку " = появились новые заказы, которые она покрывает, а затрат нет (прибыль растёт). И уменьшение техдолга даст эффект, просто позже (уменьшение рисков и потерь от них, рост производительности труда персонала и т.д.).
рост прибыли при использовании ИИ тоже ничего не доказывает, т.к. нужно доказать что причиной роста был именно он.
Если у Вас скачок прибыли даже на 10% будет, а остальные факторы, кроме ИИ, сильно не поменяются, то связка с ИИ почти автоматически признана будет. Если поменяются, то факторный анализ проводится (методология ЭАХД и т.д.). Так что сам по себе не доказывает, но после ряда операций влияние факторов люди оценят.
Это наклеивание ярлыков (я про шовинизм). Вы же не бабушка 80 лет, чтобы в антропоморфизм впадать, а инженер, так попробуйте пояснить, пожалуйста, как же именно технически организовано "понимание" в LLM (подскажу: никак, у него нет ни только "мотивации"/интенциональности, но и ментальных моделей, сознания и квалиа).
От того что Вы лично не видите каких-то признаков, они не исчезнут. Да и при внимательном анализе ошибок LLM при работе с ней признаки эти легко увидеть.
И каждая следующая модель не "понимает" лучше, а "запросы обрабатывает" лучше.
P.s. Я, кстати, не утверждаю, что ни один ИИ не способен будет достичь "понимания". Но точно не LLM. Это туда просто не заложено.
Сноска в ответе нейросети создаёт ощущение проверенного факта. Исследования последних двух лет показывают, что это ощущение часто обманчиво, и мой тест это подтвердил на русскоязычных вопросах.
Что значит "часто обманчиво", и зачем тут ещё тест проводить? Оно всегда должно быть обманчиво просто из-за механизма, откуда эти сноски берутся. Сноски же не сама LLM добавляет, а некий внешний блок. И информацию из сносок он подмешивает в вопрос к LLM, но использует она её или нет, остаётся на её усмотрение. И она точно по сноскам не переходит, так что проверить их правильность не может.
Но ведь с людьми же так же, нанятые сотрудники тоже не до конца понимают что от них хотят.
Это похоже, но принципиально не так же. Люди не понимают, но могут понять. LLM понять не может по дизайну. У него этой функции (понимания) нет. Зато галлюцинации есть, как неотъемлемая особенность. Это надо очень тщательно учитывать при "объяснении" LLM и при проверках результатов.
По данным «Сбера», 89% компаний с высокой зрелостью операционной модели получают измеримый результат от ИИ
Интересное слово использует Сбер - "измеримый". Остается понять, в чём он измерим? В количестве кода, написанном LLM, вероятно. Остаётся лишь догадываться, какая ценность этого измеренного показателя, так как реальную эффективность в деньгах из этого не понять. А в таком случае и рассуждения о зрелости операционной модели сводятся к корреляции, что при зрелой операционной модели люди лучше умеют придумывать красивую отчётность.
Это не так. Проводилось много таких исследований. С LLM пообщайтесь, если детали интересны. А в случае LLM это особо важно, так как и цена совершенно другая, и они заявляются не просто как "ускорение разработки".
Вопрос, на который я ответил, был "как тут эффективность оценить?" В Ваших примерах её оценить сложно. Если только не начать дома трудочасы считать для примера с пылесосом. А по IDЕ как раз можно посчитать в деньгах усреднённо. Условно: берутся две группы программистов и одна работает с IDE, другая - с блокнотом. Далее проверяется время и качество выполнения задачи, при разнице в качестве добавляется время на переделку. Полученная окончательная разница во времени в человеко-часах на выполнение задачи с одинаковым качеством умножается на стоимость этого человеко-часа. Если сильно заморочиться, можно и самому себе такой эксперимент провести.
Согласен с основными идеями автора, но несколько настораживает, что он ни слова не говорит о неустранимых галлюцинациях LLM. Возможно, он это по умолчанию включает, но на всякой случай всё же дополню ниже.
Например:
ответ нейросети я получил почти мгновенно, по сравнению с тем, сколько бы времени потратил, изучая официальные документы. И ответ был достоверен на 100%.
Это данный конкретный ответ оказался верным. Это же не поисковик, это сеть с весами. Если при этом автор проверил ссылку, которая прилагалась к ответу, и там увидел этот же ответ, то всё нормально. Если просто поверил - однажды может оказаться в неудобной ситуации, так как цифра окажется неверной. Аналогично и с выполнением работ - если LLМ ошибется в совете как что-то сделать в Google-таблице, то не страшно - не получится и можно будет у неё же уточнить. А вот если начинающий сварщик не так обойдётся с кислородным баллоном - могут быть очень неприятные проблемы.
Вы это всё делаете для себя и на дотируемом инвесторами LLМ. 1) Оценить эффективность только через деньги - сколько реальных денег Вы на этом съэкономили? Например, Вы стали теперь зарабатывать больше из-за использования Вами LLM? Или работать шесть часов в день, вместо восьми при том же доходе? Дополнительно из той же области вопросы: 2) А насколько это реально эффективно в деньгах в организации, внедряющей на проде? Нет пока ни одного известного исследования. 3) И самое главное к 1 и 2 - а насколько эффективно это останется, когда LLM прекратят быть дотационными?
Моя идея не в том. Важны же не функция/процесс, важен результат. "Симуляция" - не переназвание. "Симуляция" - мощный и доступный для простого понимания почти каждому пример. Фактически для многих он даёт возможность существенно расширить картину мира, помогая уйти от "плоского" материализма. И этот уход потенциально и породит новое в пространстве представлений.
Большая часть этюдов импрессионистов была проходной, и сегодня их никто не помнит. Музеи собирают несколько картин, выросших из тысяч дешёвых попыток.
Плохо, когда в рекламных целях люди начинают проводить неверные параллели с другими областями. Выглядит неуважительно. И к бездумному нейрослопу импрессионисты не имеют отношения.
1) Этюды - не проходные черновики. Для Моне и Писарро это было законченными произведениями. Это фиксация ускользающего момента. 2) Серийность была концепцией, а не перебором попыток. Например, "Руанский собор", "Стога" того самого Моне. Как одно и то же выглядит в разные моменты времени.
Между "забабахал шутер" и "вывели в прод огромную систему" есть огромный разрыв. Ваш пример, говорит только о давно известном факте, что LLM отлично ускоряют джунов (кем Вы в геймдеве и выступили, только это у Вас ещё и на весь Ваш опыт легло).
Чем проще задача и чем меньше цена ошибки, тем обоснованнее применение LLМ. Конечно, будет глупо не использовать его "с умом". Но статья больше про менеджеров, которые его без ума пытались использовать, а инженеров (которые часто против изменений, при этом иногда и против полезных) не слушали со словами "ну, это они как всегда".
Обратите внимание, что пока нет ни одного достоверного исследования, которое покажет не рост отдельного KPI типа "75% кода написано LLМ", а "достоверная экономия, включая цену пока не реализовавшегося риска, составляет Х миллионов долларов". Если такой видели, дайте знать, причитаю с огромным интересом.
Ни кванты-пиксели, ни объяснение атрибутов Бога не порождает новых действий в пространстве. Более того, их ложность или истинность не меняют физику мира, не дают действий после которых пространство представлений стало бы другим.
Ясно, спасибо. Подход понятен. Тогда коротко: пространство представлений может меняться и без конкретных "действий" - за счет новых аналогий, метафор, исследовательских программ и т.д. Я об этом.
P.s. Метафизические рамки вообще плохо фальсифицируются. Хотя беглый матфизик Полкинхорн даже для христианства предлагал варианты, не соглашаясь с абсолютной "тотальностью" религии.
концепция «мы живём в симуляции или концепция Демиурга» это сильный нарратив, он создаёт много вопросов, но объясняет всё через себя, не даёт новых проверяемых действий. Пространство представлений замыкается в аттракторе, который не позволяет ничего изменить. При отсутствии различимого способа опровергнуть или изменить нарратив, пространство представлений не меняется. Независимо от качества подобных нарративов, полагаю, они не помогают развитию пространства представлений.
Полагаю, помогают. И именно в развитии пространства представлений. Бесполезен этот нарратив будет, если жестко ограничивать понятие "наука". Если же рассматривать её, как систематизированное познание истины, структуры бытия и законов мироздания, то картина меняется. Например, этот нарратив убирает искусственный барьер между физикой и философией (примеры вопросов: а) квантованные неделимые частицы - пиксели нашей реальности? б) Все, что происходит в нашем мире, определяется только им, или часть событий является отображением событий в идеальном мире?). Он также "реабилитирует трансцендентное", в частности, поясняет доступным всем языком ряд атрибутов Бога (создатель компьютерной игры не живёт внутри игры, не подчиняется её законам, обладает относительно неё всеведением и всемогуществом). И т.д.
P.s. Я не обсуждаю здесь истинность религии или атеизма, тема - исключительно пространство представлений.
Относительно "размыто" (остальные выводы автора корневого комментария у меня не очень отозвались): Это, конечно, не научная статья, но более жесткое следование IMRaD помогло бы читателям. А здесь и введение и заключение достаточно "задумчиво" выглядят и не очень ясно из них, ни как всё это привязано к практике, ни к чему автор, собственно, ведёт.
нет никаких "внедряющих", которые продумывают стратегию.
Так я это имею в виду под "из-за людей, которые его бездумно внедряют". Учитывая, что нет даже ни одного исследования, которое показывает реальный экономический выигрыш от попыток широкого применения LLM, это всё вообще выглядит весьма странно. "Все побежали, и я побежал".
рабочий, но плохо масштабируемый подход
Раньше так и работали. И это было вполне масштабируемо. Просто больше надо вкладывать в обучение и больше в работу с персоналом. И стоить такие люди будут подороже. И менеджеры посильнее для этого нужны. Зато экономия на техобслуживании и рост лояльности клиентов.
А от чего же тогда "разрушаются" процессы? (не настаиваю на своём мнении, но тогда интересно понять Ваше). Сам ИИ лишь инструмент, из-за него самого ничего происходить не может в процессах. Вопрос в его неверном применении. При верном применении перестройка процессов продумывается внедряющими, они контролируемо изменяются, а у людей не возникает впечатления о их "разрушении".
Вопрос - стоит ли сейчас изучать языки программирования.
Безусловно стоит их изучать. И тем, и другим. Вопрос, скорее, на каком уровне. Я, например, знаю ассемблер. Я на нём ничего не пишу, но писать на C, а особенно искать баги, мне это помогало по сравнению с коллегами, которые его не знали, так как я понимал, "что под капотом". Сейчас мы видим, что при работе с бездумными (по факту такими, я не в уничижительном контексте) LLM фокус смещается с написания кода на его проверку и процессы вокруг написания. Её проводить, не зная языки не получится. Другое дело, что можно знать, а таем более помнить, гораздо меньше мелочей, т.е. изучать на более высоком уровне.
Равно как и вопрос, как оценивать работу, если большую её часть сделал ИИ.
По результату. Вопрос тогда не "как оценивать", а "как проверять". Возможно, надо вообще уйти от разделения на аналитика, разработчика и тестировщика и объединить функции, как когда-то и было (но это уже чистая догадка, скорее на подумать, от чего оттолкнуться).
Наивные рассуждения и поучения без обоснования в стиле: "Все учебники врут, только я знаю реальность". И, сомневаюсь, что автор лично знаком с крупными инвесторами, чтобы так уверенно рассуждать, что у них есть и чего нет. Не вижу смысла в дальнейшем обсуждении.
Я не это говорил:-)
Аудит безопасности и борьбу с багами и так должны вести. А мы же обсуждаем, куда направить высовободившиеся за счет ИИ средства (но даже если не велось ранее, то рост качества и снижение рисков поднимут прибыль, просто не в моменте. Кстати, сложно, но можно качество через оценку рисков его отсутствия, особенно если уже есть исторические данные потерь из-за багов, перевести хотя бы в прогноз прибыли).
Относительно остальных Ваших размышлений - у меня ощущение, что Вы сами расчетами эффективности и роста прибыли на практике не занимались. Нет тогда смысла идти в детали, просто на верхнем уровне: "многократный рост эффективности отдельных сотрудников" при правильном менеджменте (т.е. использовании этого) вызовет рост прибыли. И она считается.
Вы не могли бы ссылки на конкретные концепции менеджмента дать в обоснование своих мыслей? Я не совсем с некоторыми согласен. Выделю две.
Верно, но только сам факт измеримости ничего не даёт в отрыве от прибыли. Если выполнение этих задач ничего не даёт, то возможно, что они и не нужны. А 30% - много, при правильном использовании они должны дать какой-то рост прибыли (хотя бы 10%) почти сразу. Так как "уменьшить найм" = высвободили бюджет (прибыль вырастет), "увеличить текущую нагрузку " = появились новые заказы, которые она покрывает, а затрат нет (прибыль растёт). И уменьшение техдолга даст эффект, просто позже (уменьшение рисков и потерь от них, рост производительности труда персонала и т.д.).
Если у Вас скачок прибыли даже на 10% будет, а остальные факторы, кроме ИИ, сильно не поменяются, то связка с ИИ почти автоматически признана будет. Если поменяются, то факторный анализ проводится (методология ЭАХД и т.д.). Так что сам по себе не доказывает, но после ряда операций влияние факторов люди оценят.
Это наклеивание ярлыков (я про шовинизм). Вы же не бабушка 80 лет, чтобы в антропоморфизм впадать, а инженер, так попробуйте пояснить, пожалуйста, как же именно технически организовано "понимание" в LLM (подскажу: никак, у него нет ни только "мотивации"/интенциональности, но и ментальных моделей, сознания и квалиа).
От того что Вы лично не видите каких-то признаков, они не исчезнут. Да и при внимательном анализе ошибок LLM при работе с ней признаки эти легко увидеть.
И каждая следующая модель не "понимает" лучше, а "запросы обрабатывает" лучше.
P.s. Я, кстати, не утверждаю, что ни один ИИ не способен будет достичь "понимания". Но точно не LLM. Это туда просто не заложено.
Что значит "часто обманчиво", и зачем тут ещё тест проводить?
Оно всегда должно быть обманчиво просто из-за механизма, откуда эти сноски берутся.
Сноски же не сама LLM добавляет, а некий внешний блок. И информацию из сносок он подмешивает в вопрос к LLM, но использует она её или нет, остаётся на её усмотрение. И она точно по сноскам не переходит, так что проверить их правильность не может.
Это похоже, но принципиально не так же. Люди не понимают, но могут понять. LLM понять не может по дизайну. У него этой функции (понимания) нет. Зато галлюцинации есть, как неотъемлемая особенность.
Это надо очень тщательно учитывать при "объяснении" LLM и при проверках результатов.
Интересное слово использует Сбер - "измеримый". Остается понять, в чём он измерим? В количестве кода, написанном LLM, вероятно. Остаётся лишь догадываться, какая ценность этого измеренного показателя, так как реальную эффективность в деньгах из этого не понять. А в таком случае и рассуждения о зрелости операционной модели сводятся к корреляции, что при зрелой операционной модели люди лучше умеют придумывать красивую отчётность.
Это не так. Проводилось много таких исследований. С LLM пообщайтесь, если детали интересны.
А в случае LLM это особо важно, так как и цена совершенно другая, и они заявляются не просто как "ускорение разработки".
Удивительно подробный и интересный обзор. Спасибо автору.
Вопрос, на который я ответил, был "как тут эффективность оценить?"
В Ваших примерах её оценить сложно. Если только не начать дома трудочасы считать для примера с пылесосом.
А по IDЕ как раз можно посчитать в деньгах усреднённо. Условно: берутся две группы программистов и одна работает с IDE, другая - с блокнотом. Далее проверяется время и качество выполнения задачи, при разнице в качестве добавляется время на переделку. Полученная окончательная разница во времени в человеко-часах на выполнение задачи с одинаковым качеством умножается на стоимость этого человеко-часа.
Если сильно заморочиться, можно и самому себе такой эксперимент провести.
Согласен с основными идеями автора, но несколько настораживает, что он ни слова не говорит о неустранимых галлюцинациях LLM. Возможно, он это по умолчанию включает, но на всякой случай всё же дополню ниже.
Например:
Это данный конкретный ответ оказался верным. Это же не поисковик, это сеть с весами. Если при этом автор проверил ссылку, которая прилагалась к ответу, и там увидел этот же ответ, то всё нормально. Если просто поверил - однажды может оказаться в неудобной ситуации, так как цифра окажется неверной.
Аналогично и с выполнением работ - если LLМ ошибется в совете как что-то сделать в Google-таблице, то не страшно - не получится и можно будет у неё же уточнить. А вот если начинающий сварщик не так обойдётся с кислородным баллоном - могут быть очень неприятные проблемы.
Вы это всё делаете для себя и на дотируемом инвесторами LLМ.
1) Оценить эффективность только через деньги - сколько реальных денег Вы на этом съэкономили? Например, Вы стали теперь зарабатывать больше из-за использования Вами LLM? Или работать шесть часов в день, вместо восьми при том же доходе?
Дополнительно из той же области вопросы:
2) А насколько это реально эффективно в деньгах в организации, внедряющей на проде? Нет пока ни одного известного исследования.
3) И самое главное к 1 и 2 - а насколько эффективно это останется, когда LLM прекратят быть дотационными?
Моя идея не в том.
Важны же не функция/процесс, важен результат. "Симуляция" - не переназвание. "Симуляция" - мощный и доступный для простого понимания почти каждому пример. Фактически для многих он даёт возможность существенно расширить картину мира, помогая уйти от "плоского" материализма. И этот уход потенциально и породит новое в пространстве представлений.
Плохо, когда в рекламных целях люди начинают проводить неверные параллели с другими областями. Выглядит неуважительно. И к бездумному нейрослопу импрессионисты не имеют отношения.
1) Этюды - не проходные черновики. Для Моне и Писарро это было законченными произведениями. Это фиксация ускользающего момента.
2) Серийность была концепцией, а не перебором попыток. Например, "Руанский собор", "Стога" того самого Моне. Как одно и то же выглядит в разные моменты времени.
Между "забабахал шутер" и "вывели в прод огромную систему" есть огромный разрыв. Ваш пример, говорит только о давно известном факте, что LLM отлично ускоряют джунов (кем Вы в геймдеве и выступили, только это у Вас ещё и на весь Ваш опыт легло).
Чем проще задача и чем меньше цена ошибки, тем обоснованнее применение LLМ. Конечно, будет глупо не использовать его "с умом". Но статья больше про менеджеров, которые его без ума пытались использовать, а инженеров (которые часто против изменений, при этом иногда и против полезных) не слушали со словами "ну, это они как всегда".
Обратите внимание, что пока нет ни одного достоверного исследования, которое покажет не рост отдельного KPI типа "75% кода написано LLМ", а "достоверная экономия, включая цену пока не реализовавшегося риска, составляет Х миллионов долларов". Если такой видели, дайте знать, причитаю с огромным интересом.
Ясно, спасибо. Подход понятен.
Тогда коротко: пространство представлений может меняться и без конкретных "действий" - за счет новых аналогий, метафор, исследовательских программ и т.д. Я об этом.
P.s. Метафизические рамки вообще плохо фальсифицируются. Хотя беглый матфизик Полкинхорн даже для христианства предлагал варианты, не соглашаясь с абсолютной "тотальностью" религии.
Полагаю, помогают. И именно в развитии пространства представлений. Бесполезен этот нарратив будет, если жестко ограничивать понятие "наука". Если же рассматривать её, как систематизированное познание истины, структуры бытия и законов мироздания, то картина меняется.
Например, этот нарратив убирает искусственный барьер между физикой и философией (примеры вопросов: а) квантованные неделимые частицы - пиксели нашей реальности? б) Все, что происходит в нашем мире, определяется только им, или часть событий является отображением событий в идеальном мире?). Он также "реабилитирует трансцендентное", в частности, поясняет доступным всем языком ряд атрибутов Бога (создатель компьютерной игры не живёт внутри игры, не подчиняется её законам, обладает относительно неё всеведением и всемогуществом). И т.д.
P.s. Я не обсуждаю здесь истинность религии или атеизма, тема - исключительно пространство представлений.
Относительно "размыто" (остальные выводы автора корневого комментария у меня не очень отозвались):
Это, конечно, не научная статья, но более жесткое следование IMRaD помогло бы читателям. А здесь и введение и заключение достаточно "задумчиво" выглядят и не очень ясно из них, ни как всё это привязано к практике, ни к чему автор, собственно, ведёт.
Так я это имею в виду под "из-за людей, которые его бездумно внедряют".
Учитывая, что нет даже ни одного исследования, которое показывает реальный экономический выигрыш от попыток широкого применения LLM, это всё вообще выглядит весьма странно. "Все побежали, и я побежал".
Раньше так и работали. И это было вполне масштабируемо. Просто больше надо вкладывать в обучение и больше в работу с персоналом. И стоить такие люди будут подороже. И менеджеры посильнее для этого нужны. Зато экономия на техобслуживании и рост лояльности клиентов.
А от чего же тогда "разрушаются" процессы? (не настаиваю на своём мнении, но тогда интересно понять Ваше). Сам ИИ лишь инструмент, из-за него самого ничего происходить не может в процессах. Вопрос в его неверном применении. При верном применении перестройка процессов продумывается внедряющими, они контролируемо изменяются, а у людей не возникает впечатления о их "разрушении".
Безусловно стоит их изучать. И тем, и другим. Вопрос, скорее, на каком уровне. Я, например, знаю ассемблер. Я на нём ничего не пишу, но писать на C, а особенно искать баги, мне это помогало по сравнению с коллегами, которые его не знали, так как я понимал, "что под капотом".
Сейчас мы видим, что при работе с бездумными (по факту такими, я не в уничижительном контексте) LLM фокус смещается с написания кода на его проверку и процессы вокруг написания. Её проводить, не зная языки не получится. Другое дело, что можно знать, а таем более помнить, гораздо меньше мелочей, т.е. изучать на более высоком уровне.
По результату. Вопрос тогда не "как оценивать", а "как проверять". Возможно, надо вообще уйти от разделения на аналитика, разработчика и тестировщика и объединить функции, как когда-то и было (но это уже чистая догадка, скорее на подумать, от чего оттолкнуться).
Наивные рассуждения и поучения без обоснования в стиле: "Все учебники врут, только я знаю реальность". И, сомневаюсь, что автор лично знаком с крупными инвесторами, чтобы так уверенно рассуждать, что у них есть и чего нет.
Не вижу смысла в дальнейшем обсуждении.