Открытый проект How to Train Your GPT позволяет собрать свой ChatGPT с нуля. Это интерактивный учебник, в котором авторы изложили всю базу по нейросетям, их обучению, настройке, ИИ‑агентам и прочим полезным темам:
позволяет изучить, как нейросети превращают обычный текст в понятные им данные.
на примерах показано, как модели понимают связь между словами.
раскрыты современные технологии, которые используются в больших языковых моделях: RoPE, RMSNorm и SwiGLU.
показано, как модели учатся предугадывать каждое слово.
рассказано, как можно ускорить процесс обучения модели и заставить видеокарту работать быстрее.
можно собрать свою GPT‑модель.
Никакого мощного ПК не потребуется — модель будет на 17 млн параметров.
Также есть моделька на 151 млн параметров, эквивалентная GPT-2 Small.
Информационная служба Хабра, без использования ИИ
Разработчик Себастьян Гийемо рассказал, что ИИ-ассистент Claude удалил 700 ГБ из домашнего каталога рабочего ПК во время тестирования скрипта для предотвращения случайного удаления файлов.
