Да, согласен, в текущих LLM действительно есть такая проблема. Я как раз читал о ней - https://www.getpanto.ai/blogs/the-illusion-of-thinking-why-apples-findings-hold-true-for-ai-code-reviews всё сводится к тому, что для корректной проверки сложного кода LLM-ам необходим дополнительный контекст (история изменений, архитектурные документы и обсуждения команды), иначе и человек, и ИИ могут попасть в "иллюзию понимания" - видеть только "что написано", но не "зачем и почему".
Эксперимент в рамках данной публикации не проводился - статья опирается на анализ литературы и существующие исследования (например, SlimCode и др.), где показано, что минификация снижает затраты токенов и может увеличивать объём обрабатываемого кода без потери точности для LLM. Собственные тесты не проводились, так как пока отсутствуют LLM, специально обученные на минифицированном коде - было бы интересно увидеть такие работы в будущем. Все выводы статьи основаны на обзорах и публикациях других исследователей.
я думаю все дело в размере обрабатываемого контекста и стоимости обработки, с каждым днем все лучше и больше можно обработать/заместить с помощью ИИ, также не все могут работать с ИИ, уметь организовать работу ИИ, это сравнимо с умением организацией работы целого отдела...остается учиться этому и развивать ИИ
Да, согласен, в текущих LLM действительно есть такая проблема. Я как раз читал о ней - https://www.getpanto.ai/blogs/the-illusion-of-thinking-why-apples-findings-hold-true-for-ai-code-reviews всё сводится к тому, что для корректной проверки сложного кода LLM-ам необходим дополнительный контекст (история изменений, архитектурные документы и обсуждения команды), иначе и человек, и ИИ могут попасть в "иллюзию понимания" - видеть только "что написано", но не "зачем и почему".
Эксперимент в рамках данной публикации не проводился - статья опирается на анализ литературы и существующие исследования (например, SlimCode и др.), где показано, что минификация снижает затраты токенов и может увеличивать объём обрабатываемого кода без потери точности для LLM. Собственные тесты не проводились, так как пока отсутствуют LLM, специально обученные на минифицированном коде - было бы интересно увидеть такие работы в будущем. Все выводы статьи основаны на обзорах и публикациях других исследователей.
спасибо за замечание! исправил
я думаю все дело в размере обрабатываемого контекста и стоимости обработки, с каждым днем все лучше и больше можно обработать/заместить с помощью ИИ, также не все могут работать с ИИ, уметь организовать работу ИИ, это сравнимо с умением организацией работы целого отдела...остается учиться этому и развивать ИИ
Так держать - великие дела начинаются с малого!!!