Как я пытался сжимать смыслы вместо байтов

[divin_dmitry]

Не так давно, наткнулся на анност от DeepSeek по компресси конекста с помощью "context optical compression engine".
Суть этого метода заключается в том, что если текст хранить как картинку, то тот же объем информации будет занимать меньше места в контексте.
Чтобы это работало у модели, со слов разработчиков должен быть встроен OCR в visual encoder https://github.com/deepseek-ai/DeepSeek-OCR.

[Zara6502]

я вообще не понимаю ни LLM ни работу с ними, имею чисто пользовательский опыт, да и тот небольшой, но мне кажется всё очевидно было и без практических тестов чисто по своей сути.

[ihouser]

Воспользуюсь вашей аналогией с картой. Если задача проехать из точки А в Б, то человек знающий карту, сделает краткую, правильную инструкцию. Т.е. задача не восстановить карту, а добраться до Б без карты. Справится ли ИИ?

Вы дали задачу восстановить карту по нескольким точкам.

Далее, сколько раз ИИ даст правильных инструкций из ста? Если почти 100, то она способна вычленять смысл.

Другой вопрос, сможет ли ИИ сама выявить на карте ключевые точки? Если сможет, то SemanticZip будет состоять из двух шагов: создать список достопримечательностей и создать список маршрутов. Все ненужное будет потеряно.

Карту не восстановить, но задача в другом. Можно ли предположить, что вы неправильно поставили задачу, т.е. пытались восстановить карту (документ полностью) а нужен был список маршрутов (только суть)?

[Stingray42]

Это вы еще про автоэнкодер не слышали.

[neodavinchi]

Я попросил модель извлечь ядро из одного документа пять раз. Получил пять разных ядер

Ну так это процесс надо делать с нулевой "температурой креативности" в параметрах.

Если она выше нуля, это явная команда для lmm: "добавь немного креатива", а если ноль, то одинаковые запросы дадут предсказуемо одинаковый ответ.