Для правил не до конца понимаю как это поможет без добавления их в контекст. Но думаю можно сделать открытый репо для сбора задач, которые потом пойдут в SFT модели.
Агентный режим будет в теории смотреть на все файлы проекта, + будет брать дополнительные инструкции из AGENTS.md или аналогичного файла. Размер контекстного окна тоже планируем увеличивать со временем, думаю в агентном режиме 128К получится поддержать. Но этого всего не обязательно хватит если в этом JSON какая то очень необычная логика.
Еще если этот формат JSON для UI сколь нибудь распространен, то можно что то придумать по добавлению специальной синтетики в претрейн или посттрейн, но это уже гораздо более сложная история.
Хотим агентный режим до конца этого года сделать. Про приоритет на запросы не уверен что могу что то определенное сказать, я больше про вещи связанные с ML и LLM.
Какую то поддержку MCP в плагинах IDE коллеги наверное уже скоро смогут сделать, но насколько она будет полезна - другой вопрос. Сначала логично сделать релиз агентного режима работы, что я думаю произойдет в этом году. Тогда возможно пригодится и поддержка MCP тулов.
Это совсем свежая модель, еще не успели с ней сравниться. Интересно будет посмотреть на результаты. Важный момент в том, что эта модель все же больше на чат а не комплишн задачи ориентирована.
Я думаю мы в какой то момент сделаем поддержку использования моделей по API, без плагинов. Это логичный путь развития. Плюс мы планируем некоторые модели публиковать в open-source, их можно будет развернуть на собственном железе.
Тут сложно что то кратко сказать, есть аргументы и за то что правильная конфигурация должна появится сама в процессе обучения, например, как пишет в Саттон в bitter lesson. Но, часто, на практике, специализированное решение побеждает общее.
То что плагин не умеет из чата код в файл вставлять это да, наша большая недоработка(. Но у нас тут большие планы по улучшению и доработке UI, в том числе, хотим добавить inline edits и качественную интеграцию чата с кодом. И собираемся достаточно скоро сделать в плагинах агентный режим работы с кодом.
На завершающем этапе применяется идея бустинга. Решающие деревья формируют комитет для голосования. На основании коллективного мнения создается наиболее правдоподобный ответ. Главное достоинство бустинга – это возможность при объединении множества «плохих» алгоритмов (результат которых лишь немного лучше случайного) получить сколь угодно «хороший» итоговый результат.
Возможно речь все-таки не о бустинге а о бэггинге?
Довольно забавно, что в вашем комментарии можно заменить слово китаец, на слово русский, и, он останется, во многом, верным. Тем не менее, мы находимся там где мы сейчас.
Люди, работающие с R, должны знать статистику, а люди, знающие статистику, должны знать, что то, чем вы занимаетесь в этой статье называется систематической ошибкой отбора.
Вы отобрали примеры, когда R лучше Python, проигнорировав случаи где все наоборот, и, никак не учли актуальность ваших примеров.
Приведу только один пример, который для меня является решающим в выборе R vs Python. 99% нейросетевого коммюнити использует Python, и, работая с R, исследователь оказывается в изоляции, не может использовать код из свежих (и не очень свежих) статей, и, имеет огромные проблемы при взаимодействии с коллегами.
Для правил не до конца понимаю как это поможет без добавления их в контекст. Но думаю можно сделать открытый репо для сбора задач, которые потом пойдут в SFT модели.
Агентный режим будет в теории смотреть на все файлы проекта, + будет брать дополнительные инструкции из AGENTS.md или аналогичного файла. Размер контекстного окна тоже планируем увеличивать со временем, думаю в агентном режиме 128К получится поддержать. Но этого всего не обязательно хватит если в этом JSON какая то очень необычная логика.
Еще если этот формат JSON для UI сколь нибудь распространен, то можно что то придумать по добавлению специальной синтетики в претрейн или посттрейн, но это уже гораздо более сложная история.
Хотим агентный режим до конца этого года сделать. Про приоритет на запросы не уверен что могу что то определенное сказать, я больше про вещи связанные с ML и LLM.
Какую то поддержку MCP в плагинах IDE коллеги наверное уже скоро смогут сделать, но насколько она будет полезна - другой вопрос. Сначала логично сделать релиз агентного режима работы, что я думаю произойдет в этом году. Тогда возможно пригодится и поддержка MCP тулов.
Это совсем свежая модель, еще не успели с ней сравниться. Интересно будет посмотреть на результаты. Важный момент в том, что эта модель все же больше на чат а не комплишн задачи ориентирована.
Я думаю мы в какой то момент сделаем поддержку использования моделей по API, без плагинов. Это логичный путь развития. Плюс мы планируем некоторые модели публиковать в open-source, их можно будет развернуть на собственном железе.
Тут сложно что то кратко сказать, есть аргументы и за то что правильная конфигурация должна появится сама в процессе обучения, например, как пишет в Саттон в bitter lesson. Но, часто, на практике, специализированное решение побеждает общее.
То что плагин не умеет из чата код в файл вставлять это да, наша большая недоработка(. Но у нас тут большие планы по улучшению и доработке UI, в том числе, хотим добавить inline edits и качественную интеграцию чата с кодом. И собираемся достаточно скоро сделать в плагинах агентный режим работы с кодом.
У нас сейчас чат модель поддерживает 32K на все входные токены + ответ. Пока что 38K не влезет. Планируем в будущем расширить контекст до 256K.
Из материалов на английском есть еще по теорверу очень доступный курс https://projects.iq.harvard.edu/stat110
И еще книги Kalid Azad https://betterexplained.com/ очень хорошо подходят для начального погружения в математику
Интересно, а чтобы стартовать с весов Квена, взяли его токенизатор? Или как то придумали как их использовать со своим токенизатором?
Статья очень интересная, много классных идей! Вот бы еще репорт в формате ресерч статьи.
Triton это не язык программирования, а сервер для инференса и работает он поверх CUDA
Возможно речь все-таки не о бустинге а о бэггинге?
Автопилот решил отбросить руль чтобы кожаный не мешал
Pied Piper?
Довольно забавно, что в вашем комментарии можно заменить слово китаец, на слово русский, и, он останется, во многом, верным. Тем не менее, мы находимся там где мы сейчас.
Люди, работающие с R, должны знать статистику, а люди, знающие статистику, должны знать, что то, чем вы занимаетесь в этой статье называется систематической ошибкой отбора.
Вы отобрали примеры, когда R лучше Python, проигнорировав случаи где все наоборот, и, никак не учли актуальность ваших примеров.
Приведу только один пример, который для меня является решающим в выборе R vs Python. 99% нейросетевого коммюнити использует Python, и, работая с R, исследователь оказывается в изоляции, не может использовать код из свежих (и не очень свежих) статей, и, имеет огромные проблемы при взаимодействии с коллегами.
У меня у нескольких коллег из Сбера заблочили
Так как код выложен под лицензией Apache патенты никак не ограничивают.
Contributors provide an express grant of patent rights. См. раздел 3. Grant of Patent License. в лицензии Apache.
Описанное в статье очень похоже на идеи математической вселенной Тегмарка https://en.wikipedia.org/wiki/Our_Mathematical_Universe