Независимый разработчик Айк Григорян создал языковую модель TimeCapsuleLLM, обученную исключительно на британских текстах 1800–1875 годов. Цель проекта — получить ИИ без современных предубеждений: модель буквально не знает ничего о событиях после викторианской эпохи. Код и веса моделей выложены на Hugging Face.
Автор называет свой подход Selective Temporal Training: вместо файн-тюнинга существующих моделей он обучает нейросеть с нуля на строго отобранном историческом корпусе. Логика простая — если взять GPT-4 и дообучить на старых текстах, современные знания никуда не денутся. А вот модель, которая никогда не видела ничего новее 1875 года, не сможет даже случайно упомянуть интернет или Илона Маска.
Датасет последней версии — 90 ГБ и 136 000 документов: книги, газеты, юридические бумаги, опубликованные в Лондоне XIX века. Источники — публичный домен, в основном Internet Archive. Ранние версии обучались на RTX 4060 с 187 МБ текстов, старшие потребовали аренды A100.
Главное доказательство того, что подход работает, — эксперимент с моделью v1 на 700 млн параметров. На промпт "It was the year of our Lord 1834" она выдала текст о протестах на улицах Лондона и лорде Пальмерстоне. Автор проверил — в 1834 году действительно прошли массовые выступления против Закона о бедных. Модель не галлюцинировала, а воспроизвела реальный исторический контекст из своего корпуса.
Проект пока экспериментальный: ранние версии выдавали бессвязные фразы, в последних встречаются артефакты OCR вроде Digitized by Google. Но сама идея открывает интересные перспективы — от инструментов для писателей исторической прозы до исследований того, как именно современные данные влияют на "мышление" языковых моделей.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
