Microsoft выпустила Phi-4 — семейство компактных рассуждающих языковых моделей с открытым исходным кодом

Microsoft представила семейство компактных рассуждающих языковых моделей Phi-4.  Продвинутая версия в некоторых бенчмарках превосходит DeepSeek-R1, GPT o1 и Claude-3.7-Sonnet. Код моделей и веса доступны на Hugging Face.

В релиз вошли три языковые модели, которые разработали на основе базовой версии Phi-4:

• Phi-4-reasoning — рассуждающая языковая модель с контекстным окном в 32 тыс. токенов и 14 млрд параметров. Её обучили на датасете из «высококачественных» веб-данных и сгенерированных в GPT o3 промптах. 

• Phi-4-reasoning-plus — дообученная версия Phi-4-reasoning с сопоставимым количеством параметров и размером контекстного окна. Модель генерирует более точные ответы.

• Phi-4-mini-reasoning — небольшая рассуждающая модель, обученная на синтетических математических данных, которые сгенерировали с помощью Deepseek-R1. Размер модели всего 3,8 млрд параметров, что позволяет запускать её даже на мобильных устройствах. Например, Phi-4-mini-reasoning может стать персональным чат-ботом для изучения математики.

В качестве аппаратной платформы для файн-тюнинга версий reasoning и reasoning-plus использовали кластер из 32 видеоускорителей Nvidia H100 с 80 ГБ. Модель mini-reasoning обучали на 128 ускорителях. Сам процесс обучения занял около двух дней для каждой нейросети.

Тесты

Microsoft протестировала семейство моделей Phi-4 в различных бенчмарках, включая математические. В тестах AIME 24 и 25 Phi-4-reasoning-plus с 14 млрд параметров оказывается производительнее DeepSeek-R1 с 617 млрд параметров и MoE-архитектурой. Также модель сопоставима с o3-mini, но сильно уступает Gemini-2.5-Pro.

В бенчмарках ArenaHard, HumanEvalPlus, MMLUPro, Kitab, Toxigen Discriminative и PhiBench 2.21 модели reasoning и reasoning-plus превосходят GTP-4o, но практически во всех тестах уступают o3-mini.

Phi-4-mini-reasoning с 3,8 млрд параметров сравнили с более большими конкурентами. Модель ожидаемом уступает им, но не сильно. Например, в бенчмарке MATH-500 у нейросети от Microsoft высший балл, а в других тестах модель отстаёт от лидера на 5-10 баллов.

Примеры кода

Модели можно запускать локально (Ollama и llama.cpp) и в облаке (vLLM). Задавать вопросы можно в режиме чата или кодом с помощью библиотеки Transformers.

Пример системного промпта и пользовательского запроса для Phi-4-mini-reasoning в режиме чата:

<|system|>Your name is Phi, an AI math expert developed by Microsoft.<|end|><|user|>How to solve 3*x^2+4*x+5=1?<|end|><|assistant|>

Пример кода для отправки системного промпта и пользовательского запроса для Phi-4-reasoning-plus с помощью библиотеки Transformers:

Код

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-4-reasoning-plus")
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-4-reasoning-plus", device_map="auto", torch_dtype="auto")

messages = [
    {"role": "system", "content": "You are Phi, a language model trained by Microsoft to help users. Your role as an assistant involves thoroughly exploring questions through a systematic thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well-considered thinking process. Please structure your response into two main sections: Thought and Solution using the specified format: <think> {Thought section} </think> {Solution section}. In the Thought section, detail your reasoning process in steps. Each step should include detailed considerations such as analysing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The Solution section should be logical, accurate, and concise and detail necessary steps needed to reach the conclusion. Now, try to solve the following question through the above guidelines:"},
    {"role": "user", "content": "What is the derivative of x^2?"},
]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(
    inputs.to(model.device),
    max_new_tokens=4096,
    temperature=0.8,
    top_p=0.95,
    do_sample=True,
)
print(tokenizer.decode(outputs[0]))

Как получить доступ

Код моделей и веса доступны на портале Hugging Face:

Модель	Описание	Ссылка	Лицензия
Phi-4-reasoning	Рассуждающая модель, обученная на базе Phi-4	Hugging Face	MIT
Phi-4-reasoning-plus	Дообученная версия Phi-4-reasoning	Hugging Face
Phi-4-mini-reasoning	Компактная модель с 3,8 млрд параметров, предназначенная для решения математических задач	Hugging Face