Comments 5
Один из упомянутых им подходов — system prompt learning, где учение происходит на уровне токенов и контекстов, а не веса модели, наподобие того, как мозг обрабатывает информацию во сне.
Да, именно так мозг обрабатывает данные во сне. LOL.
Надо ему скинуть линк на лекцию про висцеральную теорию сна. Там фишка в том, что мозг во сне переключается на техобслуживание харда: печени, кишенчник, желудок и т.д.
Так что модели ночью, когда юзеры спят, должны починять кулеры, блоки питания... :)
Странная гипотеза. Сейчас люди с мёртвым мозгом месяцами живут на искусственном питании и вентиляции лёгких. И умирают из-за решения родственников. Кроме того, известно, что мозг во время сна лучше омывается лимфой.
Я бы поверил, что мозг ночью уходит на собственное тех.обслуживание как и остальной организм.
Когда долго не спишь, то не ливер отваливаться начинает, а крыша съезжать начинает в первую очередь.
А мне понравилась относительно свежая гипотеза тоже про техобслуживание, но не внешних органов, а себя любимого.
Во время сна глаза не активны, сигнал не поступает и нейроны этого неактивного отдела мозга нейропластичностью будут захвачены соседними активными отделами, что чревато потерей зрения. Поэтому сон - генерация скама для наиважнейшего зрительного отдела будто от глаз, чтоб не отдыхал.
Если я правильно поняла , то он рекомендует использовать промт . Промт ограничен размером , а также страдает забывчивостью,если инструкция длинна , поэтому мне честно говоря хочется дообучать модели , чтобы не выскакивали неожиданно старые ошибки.
Бывший исследователь OpenAI раскритиковал RL как основу тренировки LLM