Comments 3
А пример будет, что такая модель может написать? Бессмысленный набор символов? Или несвязанные слова?
Доброго времени суток!
Говоря о примере, хочу отметить, что данная статья является туториалом к обучению модели GPT, поэтому задача получения ответа от модели, а также её дальнейшее переобучение с другими параметрами ложится на плечи энтузиастов-читателей данной статьи. Если желаете и Вам интересно, соберите модель у себя и опробуйте её!
Касаемо того, что модель выводит. Во время работы над данной статьёй нам удалось обучить модель, которая вполне осмысленно писала текст на английском языке. Это точно не был "бессмысленный набор символов" и "несвязанные слова". Присутствовала определенная структура предложения, характерная для английских текстов. Быть может, мы когда-нибудь затронем это в будущих статьях, посвященных ИИ.
Запустил ваш "туториал"
Как и предполагалось, такая модель не может ничего путного выдать.
После 1000 эпох аккуратность 45%
Строка на входе
From fairest creatures we desire increase,
That thereby beauty's rose might never die,
But as th
Строка на выходе
oeueaonne ehaee nhre eai a ene andee ne
aahenhahe e e ae nrh seaeue aeneehad e ea n
aaurhaneahe
Как обучают GPT