Спасибо за ответ, но загрузить весь текст за раз у меня все же не получается. Использую загрузку по 4 батча по 512 токенов:
number_batches = 4
for i in range(236):
start_batch = i*number_batches
end_batch = number_batches + i*number_batches
При этом загрузка памяти GPU составляет около 13 ГБ (из 15 возможных). Код работает, но выдает не такие хорошие ответы, как в статье. В некоторых случаях получается также, что end_index имеет меньшее значение, чем start_index. Возможно я что-то не так собрал или использую не ту версию transformers. Можно ли получить ссылку на полный код?
Добрый день, спасибо за пример решения интересной и полезной задачи! Попробовал запустить код в Colab, но на директиве outputs = model(**new_tokenized) произошел сбой с сообщением "ОЗУ полностью исчерпан". Буду с этой проблемой разбираться, но был бы благодарен за помощь в решении.
Спасибо за ответ, но загрузить весь текст за раз у меня все же не получается. Использую загрузку по 4 батча по 512 токенов:
number_batches = 4
for i in range(236):
start_batch = i*number_batches
end_batch = number_batches + i*number_batches
При этом загрузка памяти GPU составляет около 13 ГБ (из 15 возможных). Код работает, но выдает не такие хорошие ответы, как в статье. В некоторых случаях получается также, что end_index имеет меньшее значение, чем start_index. Возможно я что-то не так собрал или использую не ту версию transformers. Можно ли получить ссылку на полный код?
Добрый день, спасибо за пример решения интересной и полезной задачи! Попробовал запустить код в Colab, но на директиве outputs = model(**new_tokenized) произошел сбой с сообщением "ОЗУ полностью исчерпан". Буду с этой проблемой разбираться, но был бы благодарен за помощь в решении.