Под капотом оркестр моделей. Алиса AI сама анализирует запрос и подбирает модель, которая лучше решит задачу пользователя. На данный момент, более 80% запросов обрабатывают наши собственные модели семейства Alice AI, остальные направляются в сторонние модели, подходящие под ряд специализированных задач. Все они работают в собственной архитектуре (харнессе) Яндекса, которая отвечает за выполнение задач, работу модели с разными инструментами и обеспечивает безопасный контур. Все запросы обрабатываются на серверах компании.
Мы тестируем параллельно примерно все выходящие и подходящие. В разных режимах и роутингах могут работать одновременно и Deepseek, и GLM, и Qwen, и проч.
Мы выбрали архитектуру и размерности слоев в соотстветствии с внутренними замерами. Действительно, она довольно похожа на архитектуру Llama, как и многие другие трансформерные модели — если конкретная архитектура показывает SOTA качество, странно ее не использовать.
Кроме того, мы считаем, исходя из текста лицензии, что лицензия Llama распространяется на веса Llama и код, а не на архитектуру, то есть то, какой размерности матрицы и сколько слоев.
Привет, pretrain отличается от instruct версии ровно тем, что не умеет отвечать на вопросы и вести диалог, он умеет, грубо говоря, продолжать начатый текст.
Как он будет отвечать на вопросы и вести диалог, зависит от alignment, ровно того, что отличает instruct версию от pretrain.
Ну вот так, сначала варили одну, потом другую, за это время появились новые идеи и эксперименты, которые нужно проверить, прежде чем финализировать версию.
Строчки "нельзя модифицировать в любых целях" в лицензии нет.
Ограничение на использование в коммерческих целях, либо ограничение на использование для создания сервисов с аудиторией больше Х, либо ограничение на использование в незаконных/неэтичных целях есть в очень большом числе лицензий открытых моделей, и Gemma, и Llama, и у части Mistral моделей, и у Cohere, и у части Qwen моделей и так далее.
Скачивание сегодня поправим!
Это один из экспериментов коллег. Следите за новостями, скоро расскажем и про него!
Всё так, он устарел и вскоре отправится на заслуженный отдых в райских садах ИИ, отслуживших своё.
Согласен, есть проблема на этом стыке, подумаем, как лучше всего её починить.
Мда, с видео целая пачка недоработок, спасибо еще раз!
Спасибо, будем исправляться
Ого, спасибо. Так быть не должно, смотрим.
В целом, сейчас даже в Авто, если приложены не графические файлы, должен отвечать Эксперт.
Это весьма динамическая штука, мы перестраиваем этот оркестр постоянно.
В данный момент режим “эксперт” будет наиболее полезен в специализированных задачах, где:
в ответе на вопросы нужны знания в узких областях – таких, как медицина, право, финансы
нужно учесть несколько связанных условий, разобраться в противоречиях или соблюсти строгий формат ответа
ответ зависит от длинного контекста, где важна каждая деталь
случай редкий или неоднозначный, а точность критична
нужно обобщать, планировать и рассуждать, а не цитировать готовый факт
нужно работать с файлами не-графических форматов, анализируя данные
Под капотом оркестр моделей. Алиса AI сама анализирует запрос и подбирает модель, которая лучше решит задачу пользователя. На данный момент, более 80% запросов обрабатывают наши собственные модели семейства Alice AI, остальные направляются в сторонние модели, подходящие под ряд специализированных задач. Все они работают в собственной архитектуре (харнессе) Яндекса, которая отвечает за выполнение задач, работу модели с разными инструментами и обеспечивает безопасный контур. Все запросы обрабатываются на серверах компании.
Мы тестируем параллельно примерно все выходящие и подходящие. В разных режимах и роутингах могут работать одновременно и Deepseek, и GLM, и Qwen, и проч.
Ага, это оно.
Конечно. На странице модели описано, как запустить через HF Transformers https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct
Мы выбрали архитектуру и размерности слоев в соотстветствии с внутренними замерами. Действительно, она довольно похожа на архитектуру Llama, как и многие другие трансформерные модели — если конкретная архитектура показывает SOTA качество, странно ее не использовать.
Кроме того, мы считаем, исходя из текста лицензии, что лицензия Llama распространяется на веса Llama и код, а не на архитектуру, то есть то, какой размерности матрицы и сколько слоев.
Именно YandexGPT 5 Lite и выложен в опенсорс, его размер 8B.
Претрейн поверх претрейна не называется файнтьюн.
Привет, pretrain отличается от instruct версии ровно тем, что не умеет отвечать на вопросы и вести диалог, он умеет, грубо говоря, продолжать начатый текст.
Как он будет отвечать на вопросы и вести диалог, зависит от alignment, ровно того, что отличает instruct версию от pretrain.
Ну вот так, сначала варили одну, потом другую, за это время появились новые идеи и эксперименты, которые нужно проверить, прежде чем финализировать версию.
Как минимум потому что instruct пока не готов, идут эксперименты с ним.
Вы поняли неправильно, рекомендую перечитать статью.
В статье речь про две разных модели, которые сварены разным образом и выложены сегодня в разных видах — опенсорс/по API/через веб.
Желаю вам хорошего дня и отличного настроения!
Какой? Этот?
Строчки "нельзя модифицировать в любых целях" в лицензии нет.
Ограничение на использование в коммерческих целях, либо ограничение на использование для создания сервисов с аудиторией больше Х, либо ограничение на использование в незаконных/неэтичных целях есть в очень большом числе лицензий открытых моделей, и Gemma, и Llama, и у части Mistral моделей, и у Cohere, и у части Qwen моделей и так далее.