Сооснователь компании OpenAI, экс-директор по ИИ и бывший глава отдела разработки автопилота Tesla Андрей Карпаты в новом обучающем трёхчасовом видео рассказал всю базу про нейросети, включая:

• претрейнинг: как работает архитектура трансформер, из чего состоит и что такое токены;

• файнтюнинг: психология LLM, галлюцинации, исправление ошибок в орфографии и прочие детали;

• обучение с подкреплением: как нейросеть учится на обратной связи и улучшает ответы;

• последние 10 минут видео — краткая выжимка лекции.

В рамках своей деятельности Карпаты активно занимается записью обучающих видеороликов на YouTube по созданию нейросетей, с пошаговыми инструкциями и выкладывает исходные коды на GitHub по различным проектам, связанным с машинным обучением и развитием нейросетей, включая проект nanoGPT для обучения/настройки GPT среднего размера.

В феврале 2024 года Карпаты выпустил лекцию на Youtube под названием Let's build the GPT Tokenizer. Это двухчасовая понятная и доступная лекция о токенах и токенизации в ChatGPT и других нейросетях. В видео Карпаты буквально на пальцах показывает, как именно нейросеть GPT читает текст, как дробит его на единицы и что в нём выделяет. Учебный материал поможет начинающим пользователям углубиться в изучение нейросетей, а также лучше понимать их устройство. Сопроводительный материал к этой лекции с подробными комментариями к используемому коду Карпаты выложил на GitHub.