Вообще радуют хоть какие-то шаги в сторону от "да какая разница, как оно там внутри работает, главное работает". Все так увлеклись прогрессом, что времени толком исследовать "что же получилось", нет.
Как относиться? Как можно адекватнее. Но в первую очередь — к себе.
Я ваш текст читал, благо не Достоевский, не обольщайтесь.
Есть, понимаете, маркеры сгенерированных текстов, которые давно всем людям в теме режут глаз. Среди них размытая логика, странный выбор слов, шаблонные скучные структуры, невыразительный стиль, вычурные аналогии, путаница в лицах рассказчика, иконки эти дурацкие, и море воды. А главное, неуважение постящего их к аудитории — я вам выдам наскоро сгенерированную жвачку, а вы дискутируйте.
Небольшая часть, говорите? Может быть, скорее, процентов 60% ?
Тут думайте сами, что хуже — злоупотребление LLM, или что ваш собственный стиль так похож на типичные их шаблоны, от долгого общения с ними.
Я мог бы отдать должное остроумию образа перемещения в векторном пространстве смыслов из вашего текста, не будь он таким многословным, вычурным, и с очевидными искусственными элементами. Вы жалуетесь, что ваш текст не читают, а сами скормили статью ИИ для суммаризации.
Так не обессудьте, если вам отвечают тем же.
Пожалуйста, общайтесь:
"В тексте действительно присутствует значительное количество "воды", если под этим понимать:
Повторяющиеся мысли: Идея о том, что LLM – не личность, а инструмент, лишенный тела и сознания, повторяется несколько раз в разных формулировках.
Излишне развернутые метафоры: Некоторые метафоры ("шарик в невесомости", "щупальца", "нейросетевой пространственный карман", "кротовы норы", "транзистор-процессор", "молоток") интересны, но их объяснение и развитие занимает много места, порой дублируя друг друга в передаваемом смысле.
Лирические отступления и субъективные рефлексии: Фразы вроде "Прошли все то что на первых порах...", "В общем несмотря на неоформленность и драфтность...", "Не претендую на первую инстанцию...", "В целом расматриваемый вопрос приносит много радости и удовольствия..." не несут прямой информационной нагрузки о свойствах LLM.
Избыточная детализация примеров: Пример с Буцефалом и Аристотелем подробно разжевывается несколько раз.
Общие фразы: "Это часть из того что было подмечено."
Максимально короткая выжимка текста без потерь смысла:
LLM – это не живые существа, а логические инструменты, работающие на основе заложенных данных, а не биологических принципов; ошибочно приписывать им личность. Они могут быстро переключаться между темами ("семантическими карманами") по поверхностным ассоциациям, теряя общую смысловую линию и не всегда связывая новое со старым, что может вводить пользователя в заблуждение.
При перегрузке контекстом или недостатке данных LLM склонны к конфабуляциям (правдоподобным вымыслам, как путаница Аристотеля с Буцефалом), так как их "внимание" ограничено и они опираются на ассоциативные связи. Для борьбы с этим рекомендуется декомпозиция контекста и уточнение ролей.
LLM – это мощные, но узкоспециализированные инструменты (сравнимы с "продвинутым молотком" или транзистором, но не процессором): они хороши для своих задач (например, обучение техническим наукам, значительное ускорение получения информации и создание саммари), но не стоит ожидать от них функций, выходящих за рамки их возможностей, или требовать человеческого понимания."
Будь ваш текст каким-то таким по объёму и сути, на него бы ещё как-то хотелось отвечать.
Ну и, в заключении:
Таким образом, процент "воды" в исходном тексте, если сравнивать его с предоставленной выжимкой, составляет примерно 65-75%.
Это означает, что для передачи основного смысла текста его можно было бы сократить примерно в 3-4 раза, избавившись от избыточных словесных конструкций, повторов и слишком развернутых пояснений, не добавляющих принципиально новых смыслов по сравнению с выжимкой.
Нет, не должны. Разрушающий эффект пуль только от того, что энергия приходится в маленькую площадь. А с ног они не должны никого сбивать -- как не сбивают и стрелка.
"Цепочка рассуждений" тут, конечно помогает. Но, дала ли она правильный ответ -- 7 (если нет, спросите у неё "а почему не 7")? А так же попробуйте такое дополнение: "Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
В общем, лакуны прям зияющие в логике, довольно базовой, по моей оценке.
Ещё, хорошо потом дополнить задачу изменением условия: "Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
Качественно разносит логику даже "только что решивших" сетей в мелкий винегрет. Что, в общем, говорит нам о том, что "картина мира" у тренированных сетей если и создаётся "в голове", то крайне фрагментированная и своеобразная.
Эта задача успешно "подвешивает" всё семейство Gemini включая Pro 002 и experimental. И хотя в моих личных наблюдениях если уровень ответа ChatGPT принять за 5, то Gemini это 3, но обычно такое упорство и тупка случается только в нетривиальных задачах. Как максимум: "ой-ой, я ошибался". Интересный пример, спасибо автору.
Но, надо сказать, любим мы Gemini не за это, а за 2 млн токенов контекста.
Спасибо, это очень хорошая статья!
Решение третьей и правда, лаконичное и надёжное. Первая в этом смысле выглядит даже сложнее :)
Пришлось нажать кнопку "Я не робот" чтобы зайти на Хабр :)
Спасибо!
И написано хорошо, и информация полезная.
Да, развития организаторам хочется пожелать :)
В АИ, б!..
Интересный эксперимент, и выводы интересные.
Вообще радуют хоть какие-то шаги в сторону от "да какая разница, как оно там внутри работает, главное работает". Все так увлеклись прогрессом, что времени толком исследовать "что же получилось", нет.
Как относиться? Как можно адекватнее. Но в первую очередь — к себе.
Я ваш текст читал, благо не Достоевский, не обольщайтесь.
Есть, понимаете, маркеры сгенерированных текстов, которые давно всем людям в теме режут глаз. Среди них размытая логика, странный выбор слов, шаблонные скучные структуры, невыразительный стиль, вычурные аналогии, путаница в лицах рассказчика, иконки эти дурацкие, и море воды. А главное, неуважение постящего их к аудитории — я вам выдам наскоро сгенерированную жвачку, а вы дискутируйте.
Небольшая часть, говорите? Может быть, скорее, процентов 60% ?
Тут думайте сами, что хуже — злоупотребление LLM, или что ваш собственный стиль так похож на типичные их шаблоны, от долгого общения с ними.
Я мог бы отдать должное остроумию образа перемещения в векторном пространстве смыслов из вашего текста, не будь он таким многословным, вычурным, и с очевидными искусственными элементами. Вы жалуетесь, что ваш текст не читают, а сами скормили статью ИИ для суммаризации.
Так не обессудьте, если вам отвечают тем же.
Пожалуйста, общайтесь:
"В тексте действительно присутствует значительное количество "воды", если под этим понимать:
Повторяющиеся мысли: Идея о том, что LLM – не личность, а инструмент, лишенный тела и сознания, повторяется несколько раз в разных формулировках.
Излишне развернутые метафоры: Некоторые метафоры ("шарик в невесомости", "щупальца", "нейросетевой пространственный карман", "кротовы норы", "транзистор-процессор", "молоток") интересны, но их объяснение и развитие занимает много места, порой дублируя друг друга в передаваемом смысле.
Лирические отступления и субъективные рефлексии: Фразы вроде "Прошли все то что на первых порах...", "В общем несмотря на неоформленность и драфтность...", "Не претендую на первую инстанцию...", "В целом расматриваемый вопрос приносит много радости и удовольствия..." не несут прямой информационной нагрузки о свойствах LLM.
Избыточная детализация примеров: Пример с Буцефалом и Аристотелем подробно разжевывается несколько раз.
Общие фразы: "Это часть из того что было подмечено."
Максимально короткая выжимка текста без потерь смысла:
LLM – это не живые существа, а логические инструменты, работающие на основе заложенных данных, а не биологических принципов; ошибочно приписывать им личность. Они могут быстро переключаться между темами ("семантическими карманами") по поверхностным ассоциациям, теряя общую смысловую линию и не всегда связывая новое со старым, что может вводить пользователя в заблуждение.
При перегрузке контекстом или недостатке данных LLM склонны к конфабуляциям (правдоподобным вымыслам, как путаница Аристотеля с Буцефалом), так как их "внимание" ограничено и они опираются на ассоциативные связи. Для борьбы с этим рекомендуется декомпозиция контекста и уточнение ролей.
LLM – это мощные, но узкоспециализированные инструменты (сравнимы с "продвинутым молотком" или транзистором, но не процессором): они хороши для своих задач (например, обучение техническим наукам, значительное ускорение получения информации и создание саммари), но не стоит ожидать от них функций, выходящих за рамки их возможностей, или требовать человеческого понимания."
Будь ваш текст каким-то таким по объёму и сути, на него бы ещё как-то хотелось отвечать.
Ну и, в заключении:
И, зачем нам твоя простыня-копипаст из LLM?
Наивной нет, зато есть всё более реальная, чипы в мозг и нанороботы.
А это уже артиллерия, которая у Герберта и была.
Всё так, брат-фанат, хорошая статья!
У этого как раз будет ренессанс. Потому что человечество всё ближе к тонким манипуляциям с сознанием и мозгом, а не топорным "по площадям", как у ЛСД.
Нет, не должны. Разрушающий эффект пуль только от того, что энергия приходится в маленькую площадь. А с ног они не должны никого сбивать -- как не сбивают и стрелка.
Просто хотел отметить по-хорошему журналистский стиль изложения, с яркими попадающими оборотами. Приятно читать.
244 УК РФ Надругательство над телами умерших.
А не надо было нейросети генеративными называть, меньше было бы соблазна их в нейродегенеративных исследованиях использовать!
"Цепочка рассуждений" тут, конечно помогает. Но, дала ли она правильный ответ -- 7 (если нет, спросите у неё "а почему не 7")? А так же попробуйте такое дополнение: "Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
В общем, лакуны прям зияющие в логике, довольно базовой, по моей оценке.
Ещё, хорошо потом дополнить задачу изменением условия:
"Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
Качественно разносит логику даже "только что решивших" сетей в мелкий винегрет. Что, в общем, говорит нам о том, что "картина мира" у тренированных сетей если и создаётся "в голове", то крайне фрагментированная и своеобразная.
Есть температурная рандомизация в ответах сетей. Именно поэтому в каких-то случаях правильно, в каких-то -- нет.
Ну так вот, за час их приедет не 12.
Эта задача успешно "подвешивает" всё семейство Gemini включая Pro 002 и experimental. И хотя в моих личных наблюдениях если уровень ответа ChatGPT принять за 5, то Gemini это 3, но обычно такое упорство и тупка случается только в нетривиальных задачах. Как максимум: "ой-ой, я ошибался". Интересный пример, спасибо автору.
Но, надо сказать, любим мы Gemini не за это, а за 2 млн токенов контекста.
Будет интересно почитать впечатления :)