Да, но я тут больше про бережное обращение с контекстным окном и учитывание особенностей работы. Можно сколько угодно растить мощности ради увеличения контекстного окна , но запросы будут лишь тяжелеее и нести больше дисперсии
Да нет, я просто выбрал такую стратегию и +- с околохейтерскими комментариями придерживаюсь модели вида "спасибо за мнение, очень ценно, а что думаешь вот про это, дай совет". Выглядит, да, формально
Спасибо за вопрос! Такой порядок выбран потому, что когда модель сначала видит все вводные, она может правильно “удержать их в памяти" и уже после этого применить к ним саму задачу. Если поменять местами и начать с постановки задачи, часть деталей из вводных может потеряться или быть понята не так. Так проще избежать недопонимания, и для модели, и для человека это обычно работает лучше. Формат вывода в конце да, это уже просто как дополнительная инструкция. И не стоит путать формат вывода результата и требования к решению задачи, что часто любят смешивать
Ну господа, мы с вами пониманием что на деле никакого ai пока что нет, есть ну подразвившиеся в последние годы семество LLM, не шибко далеко вперед шагнувшее от RNN
Здорово что вы это понимаете. Однако статья рассчитана на обывателя. Тут как с триединым мозгом. Нет никакого рептильного мозга, понятное дело, но гораздо проще объяснять с помощью этой, хоть и насквозь ложной концепции, некоторые абстракции о работе мозга
Я сперва вообще написал техническую статью, но потом вспомнил для кого пишу
Логично, но опять таки я постарался оставить дисклеймер что это не совсем про LLM и про память. А скорее очень витееватое и вольное толкование. Причем писал статью для друга, который далек от этого. Спасибо!
Я тоже пробовал что-то похожее, прям скидывал старый диалог целиком, но у меня обычно всё быстрее в кашу превращается. Учитывая что иногда я не мудрю с промптами и структурой. Ты говоришь у тебя Gemini держит контекст почти на мегабайт? Вау, я даже близко такого не ловил
Забавно, что у тебя модель не путается даже когда в одном файле и техвопросы и статьи, и всякая личная чепуха, и философия. У меня в эффект одинаков в любой ллмке - 10-15 сообщений и потеря контекста в том виде, в котором я ожидаю
Спасибо за такой подробный разбор, реально полезно. Да, согласен, ты правильно подметил слабые места, слабых мест изрядно, то же про контекстное окно, про абсурдность этих визуализаций, и про KV-cache тоже согласен, явно переборщил с акцентом на него, хотя он больше про ускорение, а не про память. Но все же он сильно роляет и стоит понимать что он наличествует
Вообще статья не про техническую честность, а чтобы объяснить всё чуть проще, даже если приходится немного искажать. Сам вот иногда туплю, когда пытаюсь донести сложную тему просто
Буду рад, если подскажешь, как ты бы объяснил уровни памяти и ограничения LLM человеку без техбэкграунда. Может, есть свои аналогии или просто способ, чтобы до людей доходило, но без жести и лукавства. Короче, спасибо ещё раз, если будет время поделись советом
Да, трекер многое выдает. В целом сборник из цифровых следов иногда прикольно анализировать. Но-но, mcp к джире и гитлабу дает куда лучшие результаты и сделать куда проще
Да, но я тут больше про бережное обращение с контекстным окном и учитывание особенностей работы. Можно сколько угодно растить мощности ради увеличения контекстного окна , но запросы будут лишь тяжелеее и нести больше дисперсии
Спасибо вам! А что вы для себя интересного особенно в ней нашли или нового?
Да нет, я просто выбрал такую стратегию и +- с околохейтерскими комментариями придерживаюсь модели вида "спасибо за мнение, очень ценно, а что думаешь вот про это, дай совет". Выглядит, да, формально
Поправил указанные вами, спасибо!
Пожалуйста, я рад что она вам пригодилась! Мне главное чутка приоткрыть завесу неопределенности и сподвигнуть к изучению
Спасибо за вопрос! Такой порядок выбран потому, что когда модель сначала видит все вводные, она может правильно “удержать их в памяти" и уже после этого применить к ним саму задачу. Если поменять местами и начать с постановки задачи, часть деталей из вводных может потеряться или быть понята не так. Так проще избежать недопонимания, и для модели, и для человека это обычно работает лучше. Формат вывода в конце да, это уже просто как дополнительная инструкция. И не стоит путать формат вывода результата и требования к решению задачи, что часто любят смешивать
Ну господа, мы с вами пониманием что на деле никакого ai пока что нет, есть ну подразвившиеся в последние годы семество LLM, не шибко далеко вперед шагнувшее от RNN
Здорово что вы это понимаете. Однако статья рассчитана на обывателя. Тут как с триединым мозгом. Нет никакого рептильного мозга, понятное дело, но гораздо проще объяснять с помощью этой, хоть и насквозь ложной концепции, некоторые абстракции о работе мозга
Я сперва вообще написал техническую статью, но потом вспомнил для кого пишу
Логично, но опять таки я постарался оставить дисклеймер что это не совсем про LLM и про память. А скорее очень витееватое и вольное толкование. Причем писал статью для друга, который далек от этого. Спасибо!
Я тоже пробовал что-то похожее, прям скидывал старый диалог целиком, но у меня обычно всё быстрее в кашу превращается. Учитывая что иногда я не мудрю с промптами и структурой. Ты говоришь у тебя Gemini держит контекст почти на мегабайт? Вау, я даже близко такого не ловил
Забавно, что у тебя модель не путается даже когда в одном файле и техвопросы и статьи, и всякая личная чепуха, и философия. У меня в эффект одинаков в любой ллмке - 10-15 сообщений и потеря контекста в том виде, в котором я ожидаю
Спасибо за такой подробный разбор, реально полезно. Да, согласен, ты правильно подметил слабые места, слабых мест изрядно, то же про контекстное окно, про абсурдность этих визуализаций, и про KV-cache тоже согласен, явно переборщил с акцентом на него, хотя он больше про ускорение, а не про память. Но все же он сильно роляет и стоит понимать что он наличествует
Вообще статья не про техническую честность, а чтобы объяснить всё чуть проще, даже если приходится немного искажать. Сам вот иногда туплю, когда пытаюсь донести сложную тему просто
Буду рад, если подскажешь, как ты бы объяснил уровни памяти и ограничения LLM человеку без техбэкграунда. Может, есть свои аналогии или просто способ, чтобы до людей доходило, но без жести и лукавства. Короче, спасибо ещё раз, если будет время поделись советом
Да, трекер многое выдает. В целом сборник из цифровых следов иногда прикольно анализировать. Но-но, mcp к джире и гитлабу дает куда лучшие результаты и сделать куда проще
Как скажите, спасибо за комментарий!
А что с вашей точки зрения адекватный авторский текст? Я бы очень хотел посмотреть на авторов которых вы читали, любопытно!
Могу закинуть результаты, а вы когда по времени +- проходили?
Я статью писал сам, к чему тут этот комментарий?
Спасибо за ваше мнение!
Странное утверждение. А где про это можно почитать?
К чему это?
Ага, понял, спасибо!