Дистилляция LLM как способ создания собственной линейки ИИ

[MaxSereda]

Я правильно понял, вы пытаетесь определить, была ли модель дистиллирована, спрашивая саму модель?

Тема интересная, но пост скорее познавательный для неспециалистов, чем исследование. И в целом, методология не выдерживает никакой критики, и вот основные ошибки:
- использование chat responses как "измерений"
- подмена понятий (prompt engineering != gradient descent)
- отсутствие статистики, контрольных групп, повторяемости
- путаница между "использует tokenizer X" и "дистиллирована из X"

А очень хотелось бы более глубоких статей на эту всё более актуальную тему...

[Kamil_GR]

Согласен. Но такая была поставлена задача. Так что кроме "chat responses" у меня ничего нет )