Открытый проект How to Train Your GPT позволяет собрать свой ChatGPT с нуля. Это интерактивный учебник, в котором авторы изложили всю базу по нейросетям, их обучению, настройке, ИИ‑агентам и прочим полезным темам:
позволяет изучить, как нейросети превращают обычный текст в понятные им данные.
на примерах показано, как модели понимают связь между словами.
раскрыты современные технологии, которые используются в больших языковых моделях: RoPE, RMSNorm и SwiGLU.
показано, как модели учатся предугадывать каждое слово.
рассказано, как можно ускорить процесс обучения модели и заставить видеокарту работать быстрее.
можно собрать свою GPT‑модель.
Никакого мощного ПК не потребуется — модель будет на 17 млн параметров.
Также есть моделька на 151 млн параметров, эквивалентная GPT-2 Small.
Информационная служба Хабра, без использования ИИ
Новое исследование представило метод, использующий классические вычислительные мощности для снижения текущего уровня безопасности RSA до неприемлемо низкого предела. Применение атаки к устаревшим 1024-битным ключам заняло всего несколько месяцев на академическом кластере процессоров.
