Comments 5
Разница в количестве параметров LLM даже в 2-3-5-10 раз ничто по сравнению с качеством обучающего датасета. См. перевод важной для понимания качества и организации знаний работы: https://habr.com/ru/articles/880916/
Модели линейки "phi", которые описывает статья, известны за достаточно посредственную производительность (для своего размера) вне бенчмарков. Видимо, для них "качественные данные" это "данные, где содержатся ответы на вопросы из теста".
В остальном же, это частично верно, однако понятие "качественные данные" является крайне расплывчатым. Более того, в некоторых случаях обучение на "плохих" данных дает более высокую производительность (впрочем, такие случаи достаточно искусственные).
"...– Еще один заезд, – восклицал Ртищев, – самцы, двухлетки, не кормлены с прошлой недели, злы, как черти. Фаворит – номер третий, Абдулка"
Но будет ли она в шесть раз лучше Kimi-K2 - вот в чем вопрос...
Полагаю, как обычно появятся китайцы, которые случайно построят что-то подобное по качеству, но по цене бутерброда
Илон Маск рассказал про Grok 5