Как реализовать выборочную долговременную память в LLM-боте на Python

У LLM не может быть LTM, т.к. это фундаментальное ограничение

А вот и нет: теоретически трансформер может эффективно работать с произвольной длиной при некоторых модификациях. А значит, фундаментальных ограничений нет.

Да, стандартный трансформер страдает от затухающего внимания, и якобианы даже при нулевом входе затухают линейно всегда при росте последовательности и ограниченной норме логитов. А вот когда мы разрешим им быть произвольными, эта фундаментальная проблема исчезает. Конечно, появляется проблема в том, что трансформер не будет нормально работать вне обучаемой длины, но с точки зрения математики (собственно, что и является фундаментом) проблемы нет, так как мы можем обучать на той длине, которая при неограниченных ресурсах всегда будет равна нашей необходимой длине.

«Сбер» открыл веса GigaChat Ultra, Kandinsky 5.0 и других моделей

Не на всех, даже если отсчёт на архиве открыть, то там написано, что Common crawl, при чем только по последним годам, также книги/энциклопедии, 230 млрд токенов для кода и синтетику для математики.

Секретная формула закругленных углов Apple

Расстояние Минковского.

Какой Ai-шник нынче нужон?! / Исследование ИИ рынка труда РФ

Я вас в очередной раз прошу показать хоть какие-то результаты на простейших бенчмарках. Говорить можно что угодно, но где результат?

К примеру, если где-то используют эти архитектуры, но при этом они не покорили большую массу (так как после релиза chatgpt думаю нашлись бы те, кто бы захотел провернуть тоже самое, но с более "лучшей" архитектурой) - значит скорее всего они выгодны для узкого спектра задач, а не широкого.

Си Цзиньпин: ИИ должен быть «общественным благом». Китай готов возглавить процесс

Если я Вам дам ссылки, бенчмарки и прочее, Вы мне не будете верить - мало ли - придумал.

Как вы удобно за меня все решили.

А вообще, под эту ситуацию подходит это.

Потому что, доказательства работы LLM как хорошего инструмента в определенных областях найти легко. И я могу подкреплять ими свои слова, а вот ваши утверждения остаются просто утверждениями.

Си Цзиньпин: ИИ должен быть «общественным благом». Китай готов возглавить процесс

думаю Soar по всем параметрам "уделает" LLM.

Ключевое слово - думаю.

Я лично не против что бы там что-то уделало что-то, я хочу взглянуть, а действительно ли это так, без тестов можно говорить что угодно. А вот вы мне показалось напротив, везде принижаете LLM, хотя опять же, не нужно принижать инструмент только за то, что он способен выполнять определенные задачи, и претендует на пост будущего AGI. Доказательств того, что это невозможно - нет.

Си Цзиньпин: ИИ должен быть «общественным благом». Китай готов возглавить процесс

и давно избавилась от LLM

Вы так пишите, будто это болезнь. Если это инструмент, и он вполне неплохо работает, например проходит AIME 2025 на 100%, то в чем проблема? Если уж и критиковать, то прилагать бенчмарки чего-то другого, что бы опирается формально на что-то, иначе возникает риск предвзятости.

На неё работают лучшие инженеры и программисты

Если в openai, google или xAI занимаются LLM, то там автоматом не лучшие?

AGI к 2030-му? Почему Илон Маск не прав, а Ян ЛеКун — да, и что с этим делать нам

Ну так по их результатам он и прав:)

Градиентный спуск: как «слепой в лабиринте» находит выход в миллиардном пространстве — и почему это сердце любого ML

resp = client.chat.completions.create(
    model="gpt-5",  
    messages=[
        {"role": "user", "content": "Можно было бы и получше написать."}
    ],
)

Кто ближе к Настоящему ИИ: LLM… или те, кого мы игнорируем?

памяти нет. RAG только для "мелких" LLM;

Берём SSM, состояние и будет по сути, для модели памятью о тексте.

Кто ближе к Настоящему ИИ: LLM… или те, кого мы игнорируем?

а у LLM "вся надежда" ложится на RAG

Громкое заявление.

Кто ближе к Настоящему ИИ: LLM… или те, кого мы игнорируем?

LLM действительно "помнит" контекст, но только пока он умещается в "окно внимания". Как только контекст сдвигается, то "модель мира" исчезает.

Математически трансформеры могут обрабатывать сколько угодно длинный контекст. На практике конечно нет, но, очевидно, что и ваша модель будет упирается в физику и возможности человеческих технологий.

Кто такой Product Owner: роль, обязанности, навыки

При чем тут хабы Искусственный интеллект и машинное обучение?

16-летний подросток бросил школу и смог собрать $1 млн на стартап

Ну вдруг для инвестора это важно)

ИИ как новая промышленность: зачем миру столько электричества

Банально, что введённый текст соответствует одному единственному распределению вероятностей по токенам, уже утверждает что это функция.

ИИ как новая промышленность: зачем миру столько электричества

Нет, это в первую очередь функция.

Путь к AGI: почему одного машинного обучения недостаточно и нужны принципы психологии

А я так - мимокрокодил, который случайно в курсе зачем и для чего создана психология

Да-да

Путь к AGI: почему одного машинного обучения недостаточно и нужны принципы психологии

Ну, во-первых, его происхождение с греческого, а не латыни. Но в любом случае смысл современных терминов не обязан совпадать с древней этимологией. По этой логике атом ("неделимый") тоже "не научный", хотя физика давно изучает делимые атомы. Во-вторых, не нужно пользоваться грязными приемчиками и переводить тему в вопросы метафизики, речь шла о современной психологии.

Путь к AGI: почему одного машинного обучения недостаточно и нужны принципы психологии

Ну тогда Oxford English Dictionary дает неверное определение, а так же в American Psychological Association работают мракобесы?

Тихий апокалипсис: я устал читать сгенерированные статьи

Мне кажется лучший момент это проверка модераторами, да, ошибка первого рода будет критичной, но все таки.