Пишем GPT в 60 строк NumPy (часть 1 из 2)

а они есть в оригинале

Тогда как отличать его от словаря (dictionary) Python?

..

ах, если бы только у этого слова был однозначный перевод на русский (словарный запас)

года в 4 человек тоже повторяет одно и то же слово пытаясь высказать мысль, тут главное читать его ответы детским голосом

И еще имейте в виду, что это gpt2, релизнутая в феврале 19 года. С тех пор модели сильно продвинулись и их ответы куда комплекснее. Но их на процессоре уже не покрутишь.

А зачем машин лернинг, ИИ, нейронные сети, "перекрестная энтропия" (хаха))) и тп для достижения такого простого результата?

С генерацией текста без смысла (генерация рефератов) прекрасно справляются алгоритмы в виде лапшичного кода, да и работают они в 1000 раз быстрее.

Может стоит сравнивать и оценивать не по учебной реализации, а по полноценной? Эта реализация на NumPy, так в реальном мире так не делают. Есть PyTorch, который оптимизирован именно под конкретные задачи, работает с GPU и так далее.

Ну и резальтат ооочень зависит от того, какой корпус использовался для обучения. Вот, из самой статьи:

Например, GPT-3 была обучена на 300 миллиардах токенов текста из Интернета и книг:

Что-то я сомневаюсь, что модель на NumPy обучалась так же.

Так что реализация из статьи годится чтобы анализировать и понять, как, в общих чертах, работают такие модели. И не более.

Дообучение возможно, но не в этом примере. Я пытаюсь понять, как его добавить, но знаний не хватает.

Целую ночь пытался разобраться в устройстве GPT и нейросетей в целом.

Целая ночь это мало. Тут на месяцы и годы счет идти должен. И попробуйте взять сети попроще. Разбираться в нейросетях по GPT это то же самое что выяснять как работает авиация по Airbus 380. В принципе, возможно, но если начать с этажерок братьев Райт, будет проще.

Я правильно понимаю, что сохранять у себя в нейронах результаты диалога они не могут?

В общем случае после внедрения модели, в процессе эксплуатации её веса не меняются.

Я думал, что они могут обучаться в процессе выполнения...

Для обучения помимо размеченных входных данных (которые не всегда есть где взять в случае пользовательского ввода) нужно еще накапливать градиенты для слоев сети. А на это нужны вычислительные ресурсы и память. Дорого выходит всегда в таком режиме работать.

Эх, не лёгок путь новичка. Прям вспоминаю, через сколько таких подводных камней прошёл.

Можно ещё добавить, что там всего одна команда:
python gpt2.py "Alan Turing theorized that computers would one day become" --n_tokens_to_generate 40 --model_size "124M" --models_dir "models"

Что делает каждый атрибут, думаю, будет понятно после прочтения статьи и описания из гита.

Только ещё нюансы, что с 3.8 может не заработать, ибо требуется версия питона, совместимая с определенной версией transformers.
Так же, может потребоваться установка Visual Studio, обычно этого требует модуль regex 2017.4.5.
Я переписал пару функций, что-бы не запускать скрипт для обработки каждого промпта, а один раз запустить, и давать запросы как к чат-боту, ибо работа на проце довольно медленна, и генерация пары предложений может занять до минуты. Я добавил генерацию не N токенов, а N предложений, что вызывает глюки ,если в выводе нет точки(она считается маркером конца предложения. Так же, я добавил корявую реализацию top-p сэмплинга (что делает вывод в ответ на один и тот же промпт разнообразным), что-бы ускорить генерацию длинных предложений, я добавил окно в 40 токенов, которое сдвигается по массиву токенов по мере их генерации. Это всё улучшения чисто пользовательские, и не затрагивают работу нейросети или модель. Вот код

debug = False
def generate(inputs, params, n_head, sentence_n):
	while True:
		logits = gpt2(inputs[-40:], **params, n_head=n_head)[-1] # model forward pass

		#Sort of top-p sampling
		s = logits.argsort()[-20:][::-1]
		slice = [x for x in s if ((1/logits[s[0]])*logits[x]>0.92)]
		next_id = np.random.choice(slice)

		# Debug output to see which token network choose
		if debug:
			print()
			for index in slice:
				if next_id == index:
					print('V', index, logits[index], encoder.decode([index]))
				else:
					print(' ', index, logits[index], encoder.decode([index]))

		#next_id = np.argmax(logits[-1])  # greedy sampling

		inputs = np.append(inputs, [next_id]) # append prediction to input
		if inputs[-1]==13:
			sentence_n-=1
		if sentence_n < 0:
			break
			
		print(encoder.decode([inputs[-1]]), end='', flush=True)
	print()

if __name__ == "__main__":
	from utils import load_encoder_hparams_and_params
	
	model_size = "1558M"
	models_dir = "models"
	
	encoder, hparams, params = load_encoder_hparams_and_params(model_size, models_dir)
	
	while True:
		prompt = input('>')
		if prompt == '':
			continue
		# encode the input string using the BPE tokenizer
		t = time.time()
		input_ids = encoder.encode(prompt)

		# make sure we are not surpassing the max sequence length of our model
		#assert len(input_ids) + n_tokens_to_generate < hparams["n_ctx"]

		# generate output ids
		output_ids = generate(input_ids, params, hparams["n_head"], 3) # Max number of sentences is 5

		# decode the ids back into a string
		encoder.decode(output_ids)
		print(time.time() - t)

Если вдруг кто знает, как файн-тюнить такую модель - прошу подсказать.