Опубликовано большое интервью с Лукашем Кайзером — соавтором знаменитой статьи Attention is All You Need и ведущим исследователем OpenAI — в котором он рассказал, как видит будущее искусственного интеллекта. Он считает, что в ближайшие годы окончательно закрепится переход от простых "продолжателей текста" к рассуждающим моделям, которые в OpenAI начались с версии o1 (к ним относятся и текущие GPT-5 Thinking и GPT-5 Pro). Несмотря на текущие успехи, Лукаш считает, что рассуждающие ИИ находятся в самом начале пути.
По его словам, в то время как новые данные для обучения обычных моделей практически иссякли, рассуждающие модели продолжают повышать качество за счет обучения с подкреплением. Другим перспективным направлением он считает параллельное рассуждение, когда под капотом условной "GPT" работают несколько моделей сразу, каждая прорабатывает свою гипотезу, из которых затем сшивается финальный ответ.
Важным направлением Лукаш считает борьбу с галлюцинациями - для этого модели должны научиться перепроверять свои ответы и говорить "не знаю". А вот мультимодальность он считает необходимой только там, где нужно понимание физического мира (например, робототехника). Но для математики и программирования значительная часть «мира» уже содержится в тексте — поэтому ставка на рассуждение и инструменты выглядит естественным продолжением курса OpenAI.
Лукаш не верит в очередную "зиму ИИ", а ожидает в ближайшие 1-2 года следующий заметный рывок. При этом главные узкие места — не идеи, а вычисления и энергия. В интервью много говорится о том, что крупные переобучения «с нуля» теперь реже, а основной прирост даёт улучшение процедур размышления и тренировки.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
