Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 25
В чем собственно ваша новая идея? То что ЛЛМ врут и поддакивают известно давно. То что ЛЛМ не может быть крайней, а виноват всегда тот, кто использовал ЛЛМ - тоже понятно всем. На ЛЛМ в суд не подать, если что то пойдет не так, в суд подадут на человека. Вы просто перечислили симптомы которые и так понятны, а нам бы лекарство от них.
>а нам бы лекарство от них
Это не лекарство. Это для всех очевидный вывод. Причем у Вас это как то однобоко представлено. А если я не профи и нет компетенции, мне что, у ллм не спрашивать ничего? Сначала пройти обучение, получить компетенцию, затем можно и к ллм обратиться? Только если я уже получу компетенцию - зачем я пойду к ллм? Я и так уже компетентен и сам в силах решение принять. А вообще, в целом, я на другое намекал. У Вас статья ради статьи, а не ради пользы Хабру. В ней нет ничего нового и Вы не дали ни одного нового решения. То, на что вы указали как на "лекарство" - не лекарство выданное вашей статьей, это общее решение понятное и без статьи.
>если я уже получу компетенцию - зачем я пойду к ллм?
По тому, как вы задаёте вопрос, может сложиться впечатление, что вы вообще ни в чём не компетентны и рассуждаете о компетентности как о чем-то абстрактном. Потому что как раз в областях рабочей компетенции человека возможности и огромный потенциал ЛЛМ лучше всего и волны (при условии, что работа как-то связана с информацией).
По тому, как вы написали статью, а она из себя представляет список с перечислением и так всем известных фактов о ллм, может сложиться впечатление, что вы только недавно, на собственном опыте, через личную боль получили полезный инсайт (переоткрыли для себя то, что давно всем понятно) о том, где и за что ллм не может нести ответственности. И таким инсайтом не обязательно сразу идти и делиться на Хабре, потому что это лично ваше озарение, а не фундаментальное. Может даже сложиться впечатление, что ваша ллм Вам сказала что это очень важный инсайт, почти гениальный и что Вам точно надо этим инсайтом поделиться с другим. Это уровень инсайта людей, которые все еще относятся к ллм как в волшебной коробке и чего то ожидают сверх ее способностей. Те, кто отдают себе отчет, что они задают вопросы стохастической машине, генератору, никогда не будут надеется, что она выдаст ответ, который можно не проверять. Так же может сложиться впечатление, что вам еще предстоит прийти еще к двум-трем таким же фундаментальным инсайтам о ллм. Хотя скорее всего их будет больше.
переоткрыли для себя то, что давно всем понятно
Судя по комментариям многих, нихрена им не понятно. Если вообще в принципе способны понять.
Вот лично вас с большим трудом можно понять ;)
Не, посыл "Все элтонджоны, а я д'Артаньян", конечно, считывается, но нельзя ли побольше конкретики?
Можете быть уверены: если вы не разбираетесь в вопросе — модель вас обманет.
Слишком сильное утверждение. Что мешает отправить запросы различным моделям, перепроверить ответы и т.п.?
А это уже считается за попытку разобраться в вопросе — и это правильно.
Кроме того, нейросеть даже можно попросить найти экспертов в вопросе, к которым можно обратиться за советом и консультацией.
Ещё бы пару приёмов вписать:
1) вместо того чтобы спрашивать все ли верно надо запустить чистый сеанс (с отключенной памятью) и попросить найти все проблемы предложенного решения, желательно выдав его за чужое. Тогда сикофантия будет работать на повышение качества.
2) в области, где экспертизы не хватает, надо не просить решение, а просить определить к какому более широкому кругу задач относится поставленная проблема и попросить собрать SoTA в области решения задач подобного класса. И только потом уже применять наиболее релевантные методы из найденных или сразу несколько в параллель.
Увы, воркслоп процветает (и будет процветать) там, где результат работы сотрудника измеряют количеством закрытых задач и объемом сданных отчетов)
Неверное использование возможностей LLM в двух советах ниже:
Обращайтесь за советом к специалисту, если вы не являетесь экспертом в конкретной теме.
И
Работайте с нейросетью самостоятельно только там, где вы компетентны наверняка
Это зависит от ситуации и стоимости ошибки. Зачастую эксперт дороже (по деньгам, по времени, по ресурсам) обойдётся. А во многих темах и надёжных экспертов-то большого числа нет.
Если вы экспертом в теме не являетесь, надо очень внимательно перепроверять, что LLМ пишет (требовать ссылки, грузить в другие LLM, включать собственную логику и т.д.). Возможно, есть смысл финальный результат с экспертом перепроверить (см. стоимость).
Статья точно описывает проблему, но, по-моему, рецепт «обратитесь к специалисту» её не решает, а переупаковывает.
Статья исходит из того, что ИИ опасен там, где у пользователя нет экспертизы для проверки. Но у руководителя по определению нет экспертизы для проверки и самого эксперта, иначе он бы его не привлекал. Раньше руководитель опирался на косвенные признаки: репутацию, опыт, качество материалов, способность аргументировать. С приходом LLM эти признаки обесценились. Подготовить внешне профессиональный документ стало намного проще, чем проверить его состоятельность.
Представим двух консультантов. Первый использует модель как помощника и отбрасывает половину её предложений, потому что знает, почему они не сработают. Второй грамотно ведёт диалог с моделью, но предметной глубины у него нет, и он искренне считает результат качественным. На стол руководителю ложатся два почти неотличимых документа. Во втором случае экспертная «прослойка» не убрала проблему галлюцинаций и угодливости модели, а просто добавила к ней счёт за услуги и подпись, которая создаёт ощущение гарантии.
Кейс Deloitte Australia из статьи именно об этом: эксперт есть, бренд есть, внутренний контроль есть, а ошибку нашёл посторонний человек, который разбирался в теме.
Поэтому я бы заменил правило «доверяйте специалисту» на «проверяйте предпосылки как процедуру»:
— проверка ключевых фактов и допущений — стандартный шаг, а не выражение недоверия конкретному человеку;
— её глубина соразмерна цене ошибки;
— исходные предположения стратегии регулярно сверяются с фактическими результатами.
Это тоже не гарантия: независимая проверка может ошибаться. Но так мы хотя бы перестаём считать убедительность доказательством экспертизы.
косвенные признаки: репутацию, опыт, качество материалов, способность аргументировать. C приходом LLM эти признаки обесценились. Подготовить внешне профессиональный документ стало намного проще, чем проверить его состоятельность.
Репутация и опыт не может обесцениваться.
На стол руководителю ложатся два почти неотличимых документа. Во втором случае экспертная «прослойка» не убрала проблему галлюцинаций и угодливости модели, а просто добавила к ней счёт за услуги и подпись, которая создаёт ощущение гарантии.
Это та же самая проблема, только в применении к руководителю.
Без опыта он не может выбрать между грамотным и тупым сотрудником, ИИ тут ни при чем.
Говоря по-другому: "эффективный" менеджер выбирает по красоте оформления презентации, а не по содержанию.
Репутация и опыт не может обесцениваться.
Хорошо бы обоснования приводить, а не такие короткие положения. Не очень понятна Ваша идея.
Например, Иван Иванович - переводчик "средней руки" с большим опытом и хорошей репутацией. И ему за это хорошо платили. Но появился ИИ, который делает переводы так же хорошо, как Иван Иванович, да ещё и быстрее. Иван Иванович или станет гораздо менее востребован и будет получать меньше денег или будет повышать выработку. Фактически его опыт и репутация обесценились (стали представлять меньшую ценность).
Я уж не говорю про репутацию и опыт извозчика в момент активной замены гужевого транспорта на автомобили.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ИИ в работе: воркслоп и как его избежать