Комментарии 4
Блин, почему в одну модель пытаются уместить все знания мира? ИИ до сих пор не осознаёт значение того, что он говорит, а его уже пытаются сделать сверхразумом. В человеческом мозге есть два полушария, отвечающие за разные вещи, а люди забывают об этом. Я бы предложил обучать текущую реализацию "ИИ" на конкретных областях знаний, делая модели меньше, но эффективнее. Это снизит вероятность возникновения галлюцинаций и повысит точность.
В будущем было бы неплохо обучать модель подобно самому человеку: эмулировать настоящие переживания. Ещё можно попробовать реализовать что-то вроде оптимизации строения нейронной сети: обратное распространение ошибки, но "на уровень выше"
Вы пытаетесь изобрести MoE? Уже изобрели, работает хорошо.
Но всё ещё не достаточно хорошо. И наконец то кто-то понял эту проблему с экстенсивным расширением объема данных. Если сравнивать с человеком, то он никогда за всю жизнь такое количество полезной информации не потребит (те, кто сейчас скажет про то что якобы человек чуть ли не с рождения неосознанно слышит речь, уже идут лесом, т к уже предпоследнее поколение llm имело двухстадийное обучение - просто предмказваание текста и сценарии. Т е тупого аудирования речи или случайных текстов не достаточно не для человека не для llm, что людям со сдравым смыслом было очевидно ещё до раздутия "пузыря ИИ" )
Статья интересная, вот оригинал: https://arxiv.org/pdf/2506.10943
Исследователи говорят, что, возможно, они нашли способ преодолеть «стену данных»