Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 118
Унга-бунга, уээээ!
Вообще пора перейти на словарь героя мульта "Первобытный" - и экономия токенов выйдет на следующий уровень
Кююю, ку?
Это телепатию нужно прокачивать. Предлагаю остановиться на словарном запасе Эллочки-людоедки)
Срочно переходим на Ook!. В том числе и в усной речи!
экономь кц!
Скрытый текст
P.S. Подумал, сколько людей узнают кадр и фильм...
Это легендарный фильм.
Легендарный, никто не спорит, но вопрос, какой процент молодежи смотрел эту дилогию и вообще в курсе ее существования... А то я повсюду натыкаюсь на чисто "зумерский" паттерн мышления, когда при упоминании какого-то тропа, штампа или сюжетной мелочи вспоминают исключительно созданное в 2010х и позже, а то, что существовало раньше - каменный век и "этого не было". При упоминании истории про модифицированных людей-химер, которые играют роль суперсолдат или уничтожителей всякой НЕХ, вспоминают исключительно Bloodborne. Claymore и прочие сюжеты. существовашие за 10+ лет до того - не, не слышали. При упоминании попаданцев в мир игры - только SAO, хотя находятся уже и те, которые даже SAO не знают, про серию .hack вообще молчу... И да, понятно, что на слуху ширпотреб, который вытесняет собой более нишевые произведения, но проблема в том, что потребители современного ширпотреба в принципе не интересуются тем, что было до него, каким бы легендарным и культовым оно ни было. А в особо упоротых случаях еще и говорят, что оно "скопировано" с того, что вышло на 20 лет позже... рукалицо. А иногда "открывают" для себя старые хиты, и проталкивают это в тренды "смотрите, что я нашел". Чувак, оно всегда тут было, задолго до того, как ты о нем узнал...
*старческое нытье о былом off*
Думаю это не зумерский, а универсальный паттерн: что было до моего рождения - древность древняя. Мне за 40, но про этот фильм не в курсе.
Наш мозг - мозг охотника. Ничего удивительного, что он ставит приоритет настоящему над прошлым. Опасности и добычу еды то надо производить в настоящем. То, что мы эту деятельность в огромной степени автоматизировали - до природных изменений еще не дошло, там счет на тысячи лет идет.
Если хотите как-то конструктивно на это повлиять — доносите до молодежи, в приятном для неё формате.
При упоминании попаданцев
Зато их очень прикольно троллить тем, что первого попаданца - пусть и не в игру! - написал Марк Твен. Твена они, как правило, если не знают, то слышали, но с попаданцами он у них ну никак не стыкуется, максимум с Томом Сойером. Довольно забавно.
На молодёжь жалуетесь, а сами-то древнегреческие трагедии или хотя бы половину из 38 пьес Шекспира читали? Хотя бы в переводе? /s
Многие древнегреческие произведения с точки зрения современного законодательства по разным пунктам выглядят как длящееся веками преступление. Поэтому я не вижу ни одной причины, почему они могут до сих пор находиться в открытом доступе. /s
Хотя, с другой стороны, в них есть ключи для понимания исторического и культурного контекста массы современных социальных явлений и трендов. Но это касается и кучи другой зацензурировангой нынче литературы.
У меня на прошлой работе был челик 2002 что-ли года рождения, так у него был прямо принцип - все, что раньше 2008 года выпуска, он не смотрел. Это ж какая дичь - матрица, вся классика боевиков, реально угарные комедии тех времён и ТД. Мы всей командой очень удивились, когда узнали это.
кстати, по ходу это же очки дополненной реальности. на сколько лет они предвосхитили время?
Стрекозоиды.
Ыыыыыы!!!!
Все языковые обвесы не просто так появились... Когда пишу запросы часто убираю лишние слова и иногда модель теряется, понимает не так. В принципе это даже обыграно в кино времен популярности и познаковости СМС, когда текст сокращается на столько что понять ничего не возможно...
Вы вероятно нарушаете грамматику, особенно это легко сделать в промптах на английском когда он у вас не родной. Часть слов грамматики "из учебника" иногда можно пропускать (do you в начале фразы), но допустим пропуск того же после what уже запутает модель. Или может пропускаете to be в пассиве, зачем он там лишнее слово
В результате вам кажется: "а что такого? все же понятно". Но для носителя (а модель - тоже носитель, если не дипсик) это выглядит странно или вообще меняет смысл.
(просто догадка)
Редко пользуюсь английским промптами, возможно еще и конвертация с русского добавляет путаницу, но по ощущениям - модель восстанавливает пропуски из контекста(которого нет) и не правильно. С человеком будет тоже самое если например будете общаться с незнакомым человеком который не любит переспрашивать, как с коллегой с которым вы в месте погружены в контекст. Он кивнёт что все понял и сделает какую то фигню...
По опыту с дипсиком, он хорошо понимает запрос на английском, даже если он довольно небрежно написан. Возможно к ошибкам в русском он и правда более чувствителен.
До полной потери смысла всей этой деятельности осталось три, два ....
Учитывая, что это всё языковые (!!!) модели, сознательное упрощение языка, с очевидной информационной потерей, лично меня умиляет.
Ну вот - можно же сэкономить на туалетной бумаге, а вы не верили)
Т.е. писать норм промпт с первого раза, а не дрочить Claude 4.8 xHigh в цикле пока наконец не получится с 10-й итерации - это нет. Поставить шнягу, которая сэкономит 3% токенов от десятикратно неэффективного использования агента - это да)
Есть очень серьёзные подозрения, что написать толковый промт и сделать эту же работу просто самому, это будут очень близкие затраты ресурсов. Особенно если прибавить регулярную необходимость допиливания напильником работы ИИ. И тут мягенько приходим к еретической мысли, что: " Скрипач не нужен, родной. Он только лишнее топливо жрёт ".
Есть очень серьёзные подозрения, что написать толковый промт и сделать эту же работу просто самому, это будут очень близкие затраты ресурсов.
С нейронкой затраты в целом будут больше. В целом - это если учитывать все расходы дата-центров и т. п. Пока еще стоимость нейронок намного ниже реальной. Если ее поднять, включая заработок людей в футболках на сцене, то расходы будут космическими.
И тогда это всё теряет всякий смысл. Тот факт, что даже при дешёвых токенах никто про особенную прибыль не отчитался, всё больше про "светлое будущее" и полумифическое "экономия времени". На мой взгляд очень показательно.
Нейросеть это очень грубое приближение к безграничной лени человечества. Намного интереснее смотреть на то, как копают яму, чем копать самому :)
Конечно теряет смысл. Но для нас, так сказать настоящий смысл, суть. А вообще смысл и ценность нейронок - это заработок на схематозах с инвестициями. Вот там основа основ. Дальше еще идет менеджмент, который может оправдать сокращения и может еще кто-то.
Для качественного скачка нужна дешёвая энергия, ждём термояд. Говорят, 20 лет осталось.
Лучше день потерять потом за 5 минут долететь (С)
не будут. лол. кто вообще это лайкает на ит ресурсе, будто никогда не использовали ии в работе. в большинстае случае количество кода будет раз в 10-20 больше, чем даже подробный промпт. а с учетом тестов, так и все 30. не говоря уже о скорости выполнения. а добавьте к этому что вам не надо ждать, пока оно работает. вы можете другой промпт писать. и этот код будет гораздо более дотошно написан с учетом крайних случаев, чем ваш. и с огромными лимитами за 200 баксов. один минус - код уродливый
Я как понимаю у вас после секса с женщиной сразу профессор появляется.
А программы вы пишите уку загляденье, ! Все сразу работает , и оптимизировано, каждая инструкция, ни прибавить не убавить!
Увы, не все умеют писать промпты. Большинство использует ИИ как поисковик, задавая расплывчатые вопросы и надеясь на магию
вот я знатно о***л когда простую инструкцию вида "Turn 2: wait silently, don’t say anything" агент не мог выполнить ни разу за 10 попыток, зато развернутую инструкцию про его роль в команде, его цель на первый, второй, третий ход, его планы на будущее и прочую муть раз 20 больше по объему - это скотина делает все как и приказано
Умер Изя. Его семья рассылает другим родственникам телеграммы: "Изя-всё". Получает ответы: "Ой"
Приходит на почту собака и просит отправить телеграмму следующего содержания: "Гав-гав-гав. Гав. Гав.". А телеграфистка и говорит: "Знаете, вы можете добавить еще одно Гав, и это вам ничего не будет стоить!". Собака смотрит на нее с недоумением и говорит: "Так ведь это ж х**ня какая-то получается!".
Для зумеров: раньше оплата телеграммы была по количеству слов.
Букв, судя по анекдоту
По анекдоту может быть как угодно, а по факту — по количеству слов, откуда знаменитое «пятидесятирублируйте».
(Кстати, и этот анекдот тоже содержит упрощение: каждое слово в адресе тоже считались за обычное слово и потому за них тоже надо было платить, по общему тарифу.)
Сторублируйте.
Телеграмма: "пятидесятирублируй"
Блеск.
Следующий шаг — «Эллочка-людоедка стайл»...
яишка каторово мы зослужыли
Кажется многие неправильно поняли. Главная выгода этой идеи - экономия на output токенах, т.е. чтобы ответ LLM пользователю был лаконичнее. А писать промпт лучше как раньше, нормальным языком. Output токены намного дороже, чем input токены.
Так-то ещё смешнее получается, великий и могучий ИИ стремительно превращается Э́ллочку-людое́дку. И это мой взгляд крах всей идеи.
Так клиентам не нужен ответит уровня Пушкина с кучей дополнительных украшательств. Поэтому экономят на этих понтах,
Так клиентам не нужен ответит уровня Пушкина
Еще как нужен. Если клиент получает краткий ответ "Да", то следующим вопросом с 99%-й вероятностью будет вопрос: "А как это сделать?". И тут уже словарем Эллочки-людоедки не обойдешься.
Если у одного из участников беседы словарный запас уровня первобытного племени в 300 слов. То ничего сложнее быта первобытного племени с ним обсудить не получится. Мысль сложнее "туда не ходи, сюда ходи" выразить будет затруднительно.
И вроде бы да, но беглый просмотр репозитория показывает, что на самом деле в модель пихается промпт побольше за счет добавления новых скиллов, объясняющих что можно делать. Какая-то странная экономия. И экономия ли? Надо мерять всё это.
Но при этом output расходуется на порядки меньше, чем input. Выглядит так, что нет большого смысла экономить output.
А не проще в инструкции LLM написать: "Говори кратко, сокращ." ?
Скрытый текст
Мне бы больше понравился стиль "лаконичный 'токсичный' грамотный инженер"
Caveman - название инструмента, а не стиль речи.
значительная часть бюджета компаний расходуется на «болтовню» языковых моделей. Caveman удаляет из ответов чат-ботов слова-связки, приветствия и вводные конструкции
Непонятно почему пользователь вообще должен платить за приветствия, и прочую мишуру. Тем более что этот мусор подмешивается к ответу на выходе, и не требует больших вычислительных ресурсов.
В настройках самих моделей должна быть опция типа “Лаконичный стиль”.
Стиль речи тоже так называют, даже в отрыве от этого инструмента. Точнее, "caveman speak".
Питон - это и змея тоже. Но заголовок, “Компании нанимают программистов разбирающихся в змеях”, будет выглядеть странно.
Название инструмента содержит иронию. Нет цели примитизировать язык выдачи, как это поняли некоторые комментаторы прочитав заголовок.
Питон - это и змея тоже
В оригинале речь шла про цирк, что в прочим и сейчас недалеко от истины.
Имя цирка это тоже каламбур-омофон на “толстого/неулюжего питона”. Так что круг замкнулся!
Monty Python это имя и фамилия выдуманного агента цирка. Там могла быть аллюзия скорее на змеиную изворотливость данного персонажа, хотя исходный смысл самой фамилии к змеям тоже вроде не имеет отношения.
речь шла про цирк
Про телешоу вообще-то.
Ну допустим, что python это про цирк. Тогда программисты на python кто - дрессировщики цирковых животных? Можно тогда писать в новостях что “IT-компании нанимают дрессировщиков.”?
что в прочим и сейчас недалеко от истины.
Неспровоцированный наезд. Питонщики будут возмущены.
Тем более что этот мусор подмешивается к ответу на выходе, и не требует больших вычислительных ресурсов.
Мусор генерится самой LLM-кой и ресурсы на него тратятся те же что и на содержательную часть ответа.
Caveman удаляет из ответов чат-ботов слова-связки, приветствия и вводные конструкции
Слова связки, они довольно сильно добавляют осмысленность текста, особенно в английском, где слова изменяются довольно слабо.
Этот инструмент вырезает токены из ответов? По описанию в новости выглядит так. «Инструмент!»
Собственно, это не инструмент в смысле «утилита», а просто «навык», заключающийся в указании в промпте фраз вида «Respond terse like smart caveman», «All technical substance stay», «Only fluff die».
На расход токенов на рассуждение это никак не влияет, конечно.
В том же Codex проще всего сделать это через глобальный AGENTS.md.
mkdir -p ~/.codex
cat > ~/.codex/AGENTS.md <<'EOF'
## Output discipline
Default response style:
- Be terse.
- No greetings, praise, apologies, or filler.
- Prefer direct commands, diffs, and concrete findings.
- Keep all technical substance: code, shell commands, paths, error text, API names, config keys.
- Do not shorten code blocks, logs, stack traces, exact error messages, URLs, or commands.
- For explanations, use the minimum text needed to make the action safe and clear.
- When uncertain, say what is uncertain in one sentence.
EO
Вообще не понимаю зачем агенту хоть какие-то слова.
В агента прямо весами латентного пространства выплевывать можно было бы.
Если та же самая модель используется и у агента, то она разберется что к чему.
( кстати, даже если модель агента другая, можно на лету применить смещение, если его заранее вычислить и использовать)
Было бы интересно это попробовать на уровне llama.cpp там такое провернуть можно.
Зависимость от ценообразования, диктуемого владельцем ИИ, никуда не делась. Легко доработать модель, чтобы и эти упрощенные запросы съедали столько же токенов. Может даже внутри модели запрос выполняется быстрее, но ни у кого снаружи нет эталонного счетчика, чтобы сказать, что реально утекло меньше токенов/энергии/ресурсов системы.
Caveman же старая тема, от неё почти сразу отказались когда заметили что модель становится не только лаконичнее но и тупее.
как там в Кин-дза-дза: Ку. Ку. Ку. Ку. Ыыыыыы
не ожидал что так быстро придет к такому ...
Я на таком языке пишу сообщения к коммитам.
Cavelang speedfull doubleplusgood
Министерство Правды сообщает о внедрении нового средства речевой санитарии под условным наименованием Caveman.
Установлено, что прежние машинные ответы страдали избыточной многоречью: содержали приветственные излишества, объяснительные отступления, осторожнические обороты, вежливостные шумы и иные формы словесного перерасхода. Данный перерасход признан токеновредным, производственно-нецелесообразным и идеологически расплывчатым.
Caveman вводит норму правильной машиноречи: мысль сохраняется, словесная оболочка сокращается. Ответ должен быть краток, прям и лишён ненужных украшений. Всё, что не несёт технического смысла, подлежит удалению как речемусор.
Особо подчёркивается: код, команды, имена файлов, пути, сообщения об ошибках, адреса, названия API и иные точные технические единицы сокращению не подлежат. Они являются фактознаками и должны передаваться без искажения. Сокращается не смысл, а многословие вокруг смысла.
Средство не уменьшает мыслительную работу модели. Внутреннее машиномышление остаётся в прежнем объёме и подлежит оплате согласно установленному порядку. Экономии подвергается только выходоречь — то есть та часть, где модель ранее проявляла недопустимую склонность к объяснительной самодеятельности.
Дополнительная польза состоит в уменьшении будущего контекстного хвоста. Краткий ответ сегодня означает меньше сохранённых слов завтра, меньше повторного чтения послезавтра и меньше токенорасхода при последующих обращениях. Таким образом, одно речеуменьшение производит многократный экономический эффект.
Следовательно, Caveman не является чудо-сжатием уже сказанного. Уже сказанное оплачено и считается совершившимся. Caveman является дисциплиной досказания: машина не произносит лишнего, а потому лишнее не требует последующего уничтожения.
Формула внедрения проста:
модель думает полно;
модель говорит мало;
партия токенов довольна.
Давно пора, я почти всегда пишу в промте "Отвечай кратко".
Так от многословного естественного языка движемся к краткому машинному. Скоро на горизонте появится какой-нибудь Алгол или Фортран для LLM и мы будем его изучать. История движется по спирали.
Если без шуток- попробовал этот плагин в рабочих задачах, как только он появился - где-то забавно, где-то непонятно, надо переспрашивать.
Ook!
Был же тест на Хабре, что Caveman не работает как надо и в итоге модель тратит даже больше токенов и дольше работает пытаясь перевести с неандертальского все нюансы спецификации.
https://habr.com/ru/articles/1048328/
Вспоминаю три вещи.
Первая – как в школе писали smski latynskimi bykvami, potomu 4to kirillica byla doroge.
Вторая – отцовский рассказ про коллегу, который участвовал в издании кулинарной книги. А книга была непростая, а переводная, и то ли с иллюстрациями, то ли с фото процесса. Короче – разворот-иллюстрация и текст в плашках. Ну тот коллега думает, дай я по пилотному экземпляру что-то сготовлю десертного. Читает в рецепте: "на раскаленную сковороду насыпьте немного сахарной пудры". Ну он такой: о_О, но сделал, с предсказуемым результатом. Оказалось, при переводе перевели правильно вроде как, но при верстке не влезало в плашки – русский текст длиннее английского. Вот и выкинули что-то не то.
Третье, мое любимое:
— Он хочет уменьшить селективность калькулятора, — объяснил Кибернетик. — Когда спектр значений какого‑то слова недостаточно острый, калькулятор отвечает, что термин отсутствует. Если я включу его поливалентно, он начнет заниматься контаминацией — будет создавать словесные гибриды, каких нет ни в одном человеческом языке.
— Таким способом мы его лучше поймем, — настаивал Физик.
— Пожалуйста. Можем попробовать.
Кибернетик переключил штекеры. Координатор взглянул на двутела, который лежал теперь с закрытыми глазами. Доктор подошел к гиганту, некоторое время осматривал его и, ничего не сказав, вернулся на свое место. Координатор сказал в микрофон:
— На юге здесь есть долина. Там — большие строения, в строениях скелеты, вокруг — могилы. Что это?
— Постой, могилы ничего не значат. Кибернетик притянул к себе гибкую стойку микрофона.
— На юге — архитектурная конструкция, рядом с ней — в отверстиях в грунте — мертвые тела. Мертвые двутелы. Что это значит?
На этот раз калькулятор дольше обменивался скребущими звуками с двутелом. Они заметили, что впервые машина, казалось, сама от себя спрашивала о чем‑то еще раз, наконец обращенный к ним репродуктор монотонно сообщил:
— Двутел — физическая работа нет. Пауза. Электрический орган — работа, да, но акселероинволюция — дегенерация — злоупотребление. Пауза. Юг — это экземплификация самоуправляемой прокрустики — пауза. Биосоциозамыкание — антисмерть. Пауза. Общественная изоляция — не сила, не принуждение. Пауза. Добровольность. Пауза. Микроадаптация группы — центросамотяг — продукция — да, нет. Пауза.
— Ну что, получил? — Кибернетик сердито посмотрел на Физика. — «Центросамотяг», «антисмерть», «биосоциозамыкание». Говорил я тебе! Пожалуйста, теперь расшифровывай.
Оказалось, при переводе перевели правильно вроде как, но при верстке не влезало в плашки – русский текст длиннее английского. Вот и выкинули что-то не то.
Увы, даже в довольно простых изданиях порой наблюдается всё то же выкидывание.
В девяностых годах учился в универе в Штатах, там телефон был с головой почтой. И у неё было три уровня настройки подсказок. По дефолту стоял первый - "пожалуйста, нажмите 1, чтобы прослушать сообщение заново", дико вымораживало. Как только разобрался в настройках, сразу поставил третий уровень - "1 - прослушать заново". Так намного удобнее и время экономит
Скрытый текст
Новояз из "1984".
Эволюция ИИ: от прохождения теста Тьюринга и написания сонетов до "моя твоя давать код, ты брать копировать, пока"
Такими темпами глядиш и изобретём ллмный язык программирования
Изобрели новояз для Claude?
Оригинальная статья это стеб и провокация, типичная для желтой прессы. А на Хабре подается как серьезная новость.
Следующий шаг: закидывать в ии зазипованный запрос бинарником и в нём просить вернуть ответ в таком же виде
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Компании стали внедрять стиль речи «пещерного человека» в чат-боты для экономии токенов