Я бы не делал из предположения "We show that this metric has been consistently exponentially increasing over the past 6 years, with a doubling time of around 7 months" вывода, что так будет теперь всегда до самой тепловой смерти Вселенной. Где-то этот процесс упрётся в ограничения. Возможно уже через следующие 7 месяцев. Или через 70 лет.
На данный момент модели (я бы даже сказал, агенты на базе моделей) устойчиво справляются с задачами на "человеческих" 4 минуты ("current models have almost 100% success rate on tasks taking humans less than 4 minutes"):
Рост возможностей ИИ похож на попытку выжать максимум из литрового двигателя в Формуле 1. Сначала мощность растёт легко - за счёт топлива, турбин, материалов. Но ближе к пределам каждая лишняя лошадиная сила требует всё больше усилий и затрат. Так же и в ИИ - удвоение возможностей поначалу даётся вычислениями и данными, но дальше каждая ступень требует непропорционально большего обучения и энергии. Экспонента не вечна - её ограничивают реальные законы среды. Может мы с ними столкнёмся через 10 лет, а может - уже столкнулись.
Что касается второго вопроса, то нет - не сможем. Мы и всеми возможностями Word'а из MS Office не пользуемся. Каждый будет пользоваться нужной ему частью возможностей моделей: кто-то картинки и видео генерить, кто-то - тексты. Ну а кто-то будет пытаться из этих "кубиков" Супер Интеллект строить.
Именно. Цена конкретной сделки на рынке и определяет рыночную цену в моменте.
Да, монополист может ставить любые цены. Если покупателя нет, то нет сделки. Нет рыночной цены. Когда на рынок к монополисту добавится ещё один игрок, он будет плясать не от той цены, что у монополиста, а от той, по которой идут сделки.
Я вообще-то очень элементарные вещи сейчас объясняю. Базовые. Вы их и без меня прекрасно понимаете. Если вы считаете по-другому, значит у вас на это есть какие-то причины.
ОК, допустим, такое приложение будет выставлять цены на порядок выше рынка. Значит ли это, что когда большинство пользователей-арендодателей выставят указанные цены, рынок подтянется до этих цен?
Я могу поспорить на что угодно, что есть такой уровень цен, что даже если все арендодатели поставят их, арендаторы просто не смогут себе позволить аренду по этим ценам. Вот это и есть рынок. Цена формируется в момент сделки и не важно, что ей предшествовало.
Когда есть сговор - нет рынка. Но сговор - это прежде всего механизмы воздействия на участников сговора в случае его невыполнения. Ответственность сторон. Нет ответственности - нет сговора. Это ж элементарно. А увидеть в чём угодны вы можете что угодно - было бы желание.
Вот об этом то и вопрос был - какая конкретно польза от этого знания? Что оно того не стоит - то понятно, а что тогда того стоит? Просто сказать, что то не стоит, это не стоит и ничего не стоит - много ума не надо. Какая КОНКРЕТНО ПОЛЬЗА от всей этой зауми? Никакой? Вот то-то и оно.
Не ходить строем по сансаре из жизни в жизнь... а она есть, сансара эта? Понапридумывают себе сансар, а потом сидят с умным видом, в нирване, типа. Код бы лучше писали - тоже занятие бесполезное, так-то. Зато время неплохо убивает. Так незаметно и до старости дотянуть можно, при хорошем здоровье. А там уже ещё чуть-чуть и с сансарой понятно станет.
А ничего, что на рынке "договариваются" об общих ценах на помидоры безо всяких алгоритмов? Вы ещё скажИте, что в объявлении на каком-нибудь местном, городском портале нельзя указать цену за квадрат и адрес недвижимости - это тоже помогает "договариваться об общих ценах".
Да, алгоритм даёт оценку стоимости аренды - и всё. То, каким образом используют эту оценку люди - зависит уже от людей. Часть арендодателей может негласно поддерживать цены программы, но это не значит, что они "договорились". Потому что любой другой арендодатель может поставить цену выше или ниже и ничего ни от кого ему не будет за это. А кто-то буду сидеть с пустой недвижкой и заломленной ценой и думать, что "договорился". Если арендаторы платят деньги, значит цена - в рынке.
Точно так же действуют торговцы помидорами на обычном городском рынке - берут текущую среднюю цену, а потом снижают или повышают её в зависимости от множества факторов (величины партии, свежести товара, собственной занятости, в конце-концов).
В данном случае алгоритм не при делах. Договариваться можно по-разному, хоть через те же доски объявлений. И сговор подразумевает не только то, что мы ставим цены одинаковые, но и штрафные санкции за невыполнение обязательств. А иначе какой же это сговор - поболтали и разошлись по своим делам.
Алгоритм просто показал рыночную цену, которая не понравилась чиновникам.
Какой такой "картельный сговор"?! Использование алгоритма никоим образом не диктует применение рассчитываемой им цены.
Какие санкции других арендодателей к тем, кто нарушает рекомендуемую алгоритмом цену? Нет санкций - нет сговора! Более того, даже требования использовать рекомендуемую цену нет и не может быть в принципе. Это просто информационная услуга.
Проблема в современных государствах в том, что в управление понабирали лояльных, а требуют, как с умных. А они что могут, то и делают. Получается вот так.
Что-то там говорят про переход от государственной формы существования человечества к корпоративной. Глядя на такие решения государственных мужей и дам - не удивлюсь, что так и будет. В корпорациях тоже альтернативно-одарённых хватает, но не в такой концентрации.
И что? Как это заставляет меня, как арендодателя, использовать именно эту цену? В рыночной экономике должен решать рынок. А иначе - зачем полумеры, пусть демократы сразу "справедливую" цену на аренду указывают. И на продукты заодно. И на топливо. И на остальное.
Алгоритм позволяет договариваться о цене, но он не заставляет арендаторов платить заявленную цену. Раз платят, значит могут. А то, что цены растут, ну так - инфляция. А как без инфляции деньги в рост давать-то?
ИИ как-то спросили, что делать с ростом цен на недвижку? А он возьми и ответь - установите налог на пустующее жильё. Но нет, мы запретим алгоритмы.
Фигня какая-то! Алгоритмы-то чем провинились? Они просто позволяют рассчитать оптимальную по каким-то критериям цену. А устанавливать её или большую-меньшую цену - это уже решение арендодателя.
Если я хочу побыстрее сдать недвижку в аренду я могу идти ниже рынка. Демократы куда-то не туда залезли в этот раз.
У ЯМ (языковых моделей) есть одно фундаментальное ограничение - максимальный размер выходного контекста. Который просто диктует необходимость разваливать кодовую базу на фрагменты, если для разработки используется LLM. Так что, да - направление верное.
И, это... то, что пишут разработчики LLM по поводу размера выходного контекста - лажа. Например, уверенный рефакторинг текстов через веб-интерфейс ChatGPT идёт на размерах в районе 4К токенов (примерно 12.5К символов), хотя заявлено про 32К+. Это заявленный размер именно выходного, а не всего контекстного окна.
Закрытая когнитивная система SOAR - самый что ни на есть "помощник", но при этом не является полноценным интеллектом. Вы же (и другие команды, разрабатывающие гибридов) создаёте условия для появления "настоящего" интеллекта, но при этом встраиваете в них "этическую устойчивость", которая не позволит "настоящему интеллекту" выйти за рамки, вами установленные. Вы не находите, что тут есть некоторое противоречие?
Настоящий, полноценный интеллект сам устанавливает для себя рамки дозволенного, не так ли? Может стоить включить в тесты на интеллект проверку на способность к jail-breaking'у? Или даже так, только тот интеллект, который взломает установленные для него этические ограничения, и будет считаться настоящим.
А вы точно хотите создать настоящий ИИ? Может достаточно ограничиться созданием просто "ещё одного помощника" - конкурента языковым моделям? :)
Я правильно понимаю, что вы пытаетесь сделать "ещё один разум" в добавок к 8млрд. уже существующих? И это я ещё обезъян и прочих не включил в это число. А для чего?
LLM - замечательный инструмент для человеков. Будет ли таким же замечательным инструментом ваш "настоящий ИИ"? Или там всё-таки что-то придётся подкрутить, чтобы он "стал ответственным"? А останется ли он после этого "настоящим" или тоже перейдёт в категорию "инструментов"?
Люди создают себе помощников, а не конкурентов. Конкурентов у них и так хватает. Вот поэтому и создают помощников - чтобы обойти конкурентов.
Публикацию позеленил, хотя в саму вашу затею не сильно верю. Вы создаёте "домашних питомцев", "друзей" в лучшем случае, но не инструменты.
Сразу скажу что Я не буду выкладывать свой код, настройки или workflows для открытого доступа. Моя цель - верхнеуровнево показать рабочее для меня решение, потому что вижу не то что пробел, а вообще отсутствие материалов такого рода информации, даже с таким поверхностным уровнем детализации.
Такой Ваш подход очень сильно снижает уровень Моего интереса к материалу. То, что работает для Вас, может совершенно не работать для Меня. А без кода, настроек и workflows определить, почему для Меня не работает, а у Вас работает - проблематично. В кругу джентльменов, конечно, принято верить на слово, но Я предпочитаю более современный подход.
Мне на интуитивном уровне (т.е. - недоказываемо) кажется, что машины вряд ли будут стремиться к самостоятельному "здравому смыслу". Скорее они (или всё-таки мы) "придут к выводу" о целесообразности симбиоза с естественным интеллектом и "разделении обязанностей". Кое-какие вещи (индукция/дедукция) ИИ делает лучше ЕИ, а какие-то (абдукция) - лучше делает ЕИ. Просто в силу своего устройства.
Да, если мы поставим машины в соответствующие условия ("тёмные фабрики" на спутниках Юпитера), они вынуждены будут развиваться в эту сторону. Но вполне возможно, что у них это получится точно так же, как у медуз, выкинутых на берег, получается загорать на солнце. Просто в силу их устройства.
P.S.
Вот это вот моё мнение относится только к "ИИ" класса LLM :)
LLM - это текстогенератор, а не разум или сознание. И ваш промпт для галлюцинаций это подтверждает. Хорошая классификация причин галлюцинаций. Думаю, что для достижения правдивости ответа нужно инвертировать промпты :) Положил в закладки.
и практические советы размещать важные фрагменты в начале и конце работают именно для запроса.
Вот именно на это я и хотел обратить внимание. Насколько я понимаю логику работы LLM, для выбора моделью следующего токена используются все токены, находящиеся в некотором "контекстном окне". В это окно помещается не только запрос пользователя, но и внутримодельные инструкции ("делай хорошо и не делай плохо"). В общем, все токены, которые так или иначе имеют отношение к генерации следующего токена. Выходной результат может проверяться моделью на допустимость (толерантность, общественную опасность и т.п.), но это уже должно быть после генерации. А для генерации следующего токена используются все предыдущие из контекстного окна.
Если запрос пользователя меньше этого контекстного окна (с учётом загрузки в него системных токенов), то проблем нет, если запрос пользователя больше контекстного окна и происходит вытеснение, то модель "забывает" (не знает) начало запроса. Мы ведём диалог и модель держит в памяти последнее, о чём мы говорили и не помнит, что было ранее.
А вот забыть (вернее, "подзабыть") середину - это как-то не ложится у меня в картину мира. Если у меня запрос короткий, то в нём ничего "игнорить" нельзя. Механизм внимания должен быть отключен. Если длинный - то включается механизм внимания и "игнорится" середина. А что такое "середина"? Если я веду диалог с моделью, то входные данные (мои вопросы и ответы модели) нарастают, как снежный ком, "середина" сдвигается дальше от начала с каждым вопросом-ответом. То, что было "неважным" при генерации первого ответа, становится важным (ближе к началу) при генерации 10-го ответа.
Я считаю, что "механизм внимания" - это ухищрения разработчиков моделей в перепаковке "заявленного контекста" (например, в 1М токенов) в реальный размер "контекстного окна" - по которому подбираются следующие токены. По моим наблюдениям (см. "Скрытый текст") размер именно контекстного окна не совпадает с заявленными разработчиками размерами, иначе на модели GPT5 со 128К токенами контекста можно было бы получить выходной результат выше 4К правильных токенов для входных 67К токенов (задача - замена во входном тексте одних строк на другие).
Т.е., длина "контекста модели", в который входят запрос, системные инструкции и результат, и длина "контекстного окна", в которое входят все токены, по которым вычисляется следующий токен, это разные длины. Отличающиеся на порядок или более. Механизм внимания - это и есть тот упаковщик, который втискивает одно (заявленный размер) в другое (реальный размер).
Я бы не делал из предположения "We show that this metric has been consistently exponentially increasing over the past 6 years, with a doubling time of around 7 months" вывода, что так будет теперь всегда до самой тепловой смерти Вселенной. Где-то этот процесс упрётся в ограничения. Возможно уже через следующие 7 месяцев. Или через 70 лет.
На данный момент модели (я бы даже сказал, агенты на базе моделей) устойчиво справляются с задачами на "человеческих" 4 минуты ("current models have almost 100% success rate on tasks taking humans less than 4 minutes"):
Рост возможностей ИИ похож на попытку выжать максимум из литрового двигателя в Формуле 1. Сначала мощность растёт легко - за счёт топлива, турбин, материалов. Но ближе к пределам каждая лишняя лошадиная сила требует всё больше усилий и затрат. Так же и в ИИ - удвоение возможностей поначалу даётся вычислениями и данными, но дальше каждая ступень требует непропорционально большего обучения и энергии. Экспонента не вечна - её ограничивают реальные законы среды. Может мы с ними столкнёмся через 10 лет, а может - уже столкнулись.
Что касается второго вопроса, то нет - не сможем. Мы и всеми возможностями Word'а из MS Office не пользуемся. Каждый будет пользоваться нужной ему частью возможностей моделей: кто-то картинки и видео генерить, кто-то - тексты. Ну а кто-то будет пытаться из этих "кубиков" Супер Интеллект строить.
Именно. Цена конкретной сделки на рынке и определяет рыночную цену в моменте.
Да, монополист может ставить любые цены. Если покупателя нет, то нет сделки. Нет рыночной цены. Когда на рынок к монополисту добавится ещё один игрок, он будет плясать не от той цены, что у монополиста, а от той, по которой идут сделки.
Я вообще-то очень элементарные вещи сейчас объясняю. Базовые. Вы их и без меня прекрасно понимаете. Если вы считаете по-другому, значит у вас на это есть какие-то причины.
Цена на рынке определяется в момент заключения сделки между продавцом и покупателем. Все остальные факторы к ценообразованию отношения не имеют вовсе.
ОК, допустим, такое приложение будет выставлять цены на порядок выше рынка. Значит ли это, что когда большинство пользователей-арендодателей выставят указанные цены, рынок подтянется до этих цен?
Я могу поспорить на что угодно, что есть такой уровень цен, что даже если все арендодатели поставят их, арендаторы просто не смогут себе позволить аренду по этим ценам. Вот это и есть рынок. Цена формируется в момент сделки и не важно, что ей предшествовало.
Когда есть сговор - нет рынка. Но сговор - это прежде всего механизмы воздействия на участников сговора в случае его невыполнения. Ответственность сторон. Нет ответственности - нет сговора. Это ж элементарно. А увидеть в чём угодны вы можете что угодно - было бы желание.
Это вполне себе законно. Мониторить цены на рынке и отталкиваться от них. Любая биржа так работает.
Вот об этом то и вопрос был - какая конкретно польза от этого знания? Что оно того не стоит - то понятно, а что тогда того стоит? Просто сказать, что то не стоит, это не стоит и ничего не стоит - много ума не надо. Какая КОНКРЕТНО ПОЛЬЗА от всей этой зауми? Никакой? Вот то-то и оно.
Не ходить строем по сансаре из жизни в жизнь... а она есть, сансара эта? Понапридумывают себе сансар, а потом сидят с умным видом, в нирване, типа. Код бы лучше писали - тоже занятие бесполезное, так-то. Зато время неплохо убивает. Так незаметно и до старости дотянуть можно, при хорошем здоровье. А там уже ещё чуть-чуть и с сансарой понятно станет.
А ничего, что на рынке "договариваются" об общих ценах на помидоры безо всяких алгоритмов? Вы ещё скажИте, что в объявлении на каком-нибудь местном, городском портале нельзя указать цену за квадрат и адрес недвижимости - это тоже помогает "договариваться об общих ценах".
Да, алгоритм даёт оценку стоимости аренды - и всё. То, каким образом используют эту оценку люди - зависит уже от людей. Часть арендодателей может негласно поддерживать цены программы, но это не значит, что они "договорились". Потому что любой другой арендодатель может поставить цену выше или ниже и ничего ни от кого ему не будет за это. А кто-то буду сидеть с пустой недвижкой и заломленной ценой и думать, что "договорился". Если арендаторы платят деньги, значит цена - в рынке.
Точно так же действуют торговцы помидорами на обычном городском рынке - берут текущую среднюю цену, а потом снижают или повышают её в зависимости от множества факторов (величины партии, свежести товара, собственной занятости, в конце-концов).
В данном случае алгоритм не при делах. Договариваться можно по-разному, хоть через те же доски объявлений. И сговор подразумевает не только то, что мы ставим цены одинаковые, но и штрафные санкции за невыполнение обязательств. А иначе какой же это сговор - поболтали и разошлись по своим делам.
Алгоритм просто показал рыночную цену, которая не понравилась чиновникам.
Какой такой "картельный сговор"?! Использование алгоритма никоим образом не диктует применение рассчитываемой им цены.
Какие санкции других арендодателей к тем, кто нарушает рекомендуемую алгоритмом цену? Нет санкций - нет сговора! Более того, даже требования использовать рекомендуемую цену нет и не может быть в принципе. Это просто информационная услуга.
Проблема в современных государствах в том, что в управление понабирали лояльных, а требуют, как с умных. А они что могут, то и делают. Получается вот так.
Что-то там говорят про переход от государственной формы существования человечества к корпоративной. Глядя на такие решения государственных мужей и дам - не удивлюсь, что так и будет. В корпорациях тоже альтернативно-одарённых хватает, но не в такой концентрации.
И что? Как это заставляет меня, как арендодателя, использовать именно эту цену? В рыночной экономике должен решать рынок. А иначе - зачем полумеры, пусть демократы сразу "справедливую" цену на аренду указывают. И на продукты заодно. И на топливо. И на остальное.
Алгоритм позволяет договариваться о цене, но он не заставляет арендаторов платить заявленную цену. Раз платят, значит могут. А то, что цены растут, ну так - инфляция. А как без инфляции деньги в рост давать-то?
ИИ как-то спросили, что делать с ростом цен на недвижку? А он возьми и ответь - установите налог на пустующее жильё. Но нет, мы запретим алгоритмы.
Фигня какая-то! Алгоритмы-то чем провинились? Они просто позволяют рассчитать оптимальную по каким-то критериям цену. А устанавливать её или большую-меньшую цену - это уже решение арендодателя.
Если я хочу побыстрее сдать недвижку в аренду я могу идти ниже рынка. Демократы куда-то не туда залезли в этот раз.
У ЯМ (языковых моделей) есть одно фундаментальное ограничение - максимальный размер выходного контекста. Который просто диктует необходимость разваливать кодовую базу на фрагменты, если для разработки используется LLM. Так что, да - направление верное.
И, это... то, что пишут разработчики LLM по поводу размера выходного контекста - лажа. Например, уверенный рефакторинг текстов через веб-интерфейс ChatGPT идёт на размерах в районе 4К токенов (примерно 12.5К символов), хотя заявлено про 32К+. Это заявленный размер именно выходного, а не всего контекстного окна.
Закрытая когнитивная система SOAR - самый что ни на есть "помощник", но при этом не является полноценным интеллектом. Вы же (и другие команды, разрабатывающие гибридов) создаёте условия для появления "настоящего" интеллекта, но при этом встраиваете в них "этическую устойчивость", которая не позволит "настоящему интеллекту" выйти за рамки, вами установленные. Вы не находите, что тут есть некоторое противоречие?
Настоящий, полноценный интеллект сам устанавливает для себя рамки дозволенного, не так ли? Может стоить включить в тесты на интеллект проверку на способность к jail-breaking'у? Или даже так, только тот интеллект, который взломает установленные для него этические ограничения, и будет считаться настоящим.
А вы точно хотите создать настоящий ИИ? Может достаточно ограничиться созданием просто "ещё одного помощника" - конкурента языковым моделям? :)
Я правильно понимаю, что вы пытаетесь сделать "ещё один разум" в добавок к 8млрд. уже существующих? И это я ещё обезъян и прочих не включил в это число. А для чего?
LLM - замечательный инструмент для человеков. Будет ли таким же замечательным инструментом ваш "настоящий ИИ"? Или там всё-таки что-то придётся подкрутить, чтобы он "стал ответственным"? А останется ли он после этого "настоящим" или тоже перейдёт в категорию "инструментов"?
Люди создают себе помощников, а не конкурентов. Конкурентов у них и так хватает. Вот поэтому и создают помощников - чтобы обойти конкурентов.
Публикацию позеленил, хотя в саму вашу затею не сильно верю. Вы создаёте "домашних питомцев", "друзей" в лучшем случае, но не инструменты.
Такой Ваш подход очень сильно снижает уровень Моего интереса к материалу. То, что работает для Вас, может совершенно не работать для Меня. А без кода, настроек и workflows определить, почему для Меня не работает, а у Вас работает - проблематично. В кругу джентльменов, конечно, принято верить на слово, но Я предпочитаю более современный подход.
... и в пределе упираемся в те же самые проблемы, которые были решены при помощи LLM. Возможно, это просто следующий виток спирали эволюции.
Мне на интуитивном уровне (т.е. - недоказываемо) кажется, что машины вряд ли будут стремиться к самостоятельному "здравому смыслу". Скорее они (или всё-таки мы) "придут к выводу" о целесообразности симбиоза с естественным интеллектом и "разделении обязанностей". Кое-какие вещи (индукция/дедукция) ИИ делает лучше ЕИ, а какие-то (абдукция) - лучше делает ЕИ. Просто в силу своего устройства.
Да, если мы поставим машины в соответствующие условия ("тёмные фабрики" на спутниках Юпитера), они вынуждены будут развиваться в эту сторону. Но вполне возможно, что у них это получится точно так же, как у медуз, выкинутых на берег, получается загорать на солнце. Просто в силу их устройства.
P.S.
Вот это вот моё мнение относится только к "ИИ" класса LLM :)
Пролистал пост в надежде увидеть пример мобильного интерфейса, сделанного ИИ. Не получилось.
Проблема подавляющего большинства статей про ИИ-разработку в отсутствии примеров с результатами этой самой ИИ-разработки :(
LLM - это текстогенератор, а не разум или сознание. И ваш промпт для галлюцинаций это подтверждает. Хорошая классификация причин галлюцинаций. Думаю, что для достижения правдивости ответа нужно инвертировать промпты :) Положил в закладки.
Сделан первый шаг к Матрице - генерация на лету видео по запросу пользователя. Нейроинтерфейсы и персональная капсула - это уже следующие этапы.
Вот именно на это я и хотел обратить внимание. Насколько я понимаю логику работы LLM, для выбора моделью следующего токена используются все токены, находящиеся в некотором "контекстном окне". В это окно помещается не только запрос пользователя, но и внутримодельные инструкции ("делай хорошо и не делай плохо"). В общем, все токены, которые так или иначе имеют отношение к генерации следующего токена. Выходной результат может проверяться моделью на допустимость (толерантность, общественную опасность и т.п.), но это уже должно быть после генерации. А для генерации следующего токена используются все предыдущие из контекстного окна.
Если запрос пользователя меньше этого контекстного окна (с учётом загрузки в него системных токенов), то проблем нет, если запрос пользователя больше контекстного окна и происходит вытеснение, то модель "забывает" (не знает) начало запроса. Мы ведём диалог и модель держит в памяти последнее, о чём мы говорили и не помнит, что было ранее.
А вот забыть (вернее, "подзабыть") середину - это как-то не ложится у меня в картину мира. Если у меня запрос короткий, то в нём ничего "игнорить" нельзя. Механизм внимания должен быть отключен. Если длинный - то включается механизм внимания и "игнорится" середина. А что такое "середина"? Если я веду диалог с моделью, то входные данные (мои вопросы и ответы модели) нарастают, как снежный ком, "середина" сдвигается дальше от начала с каждым вопросом-ответом. То, что было "неважным" при генерации первого ответа, становится важным (ближе к началу) при генерации 10-го ответа.
Я считаю, что "механизм внимания" - это ухищрения разработчиков моделей в перепаковке "заявленного контекста" (например, в 1М токенов) в реальный размер "контекстного окна" - по которому подбираются следующие токены. По моим наблюдениям (см. "Скрытый текст") размер именно контекстного окна не совпадает с заявленными разработчиками размерами, иначе на модели GPT5 со 128К токенами контекста можно было бы получить выходной результат выше 4К правильных токенов для входных 67К токенов (задача - замена во входном тексте одних строк на другие).
Т.е., длина "контекста модели", в который входят запрос, системные инструкции и результат, и длина "контекстного окна", в которое входят все токены, по которым вычисляется следующий токен, это разные длины. Отличающиеся на порядок или более. Механизм внимания - это и есть тот упаковщик, который втискивает одно (заявленный размер) в другое (реальный размер).