Ноам Шазир — вице-президент Google по инженерии и один из руководителей разработки Gemini — объявил об уходе из компании в OpenAI. Решение он озвучил постом в X: "Я рад сообщить, что присоединяюсь к OpenAI". Громким этот переход делает не сам факт смены работодателя, а его цена: Шазир уходит меньше чем через два года после того, как Google заплатила около $2,7 млрд, чтобы его вернуть.

Шазир — фигура, которую сложно переоценить. Он один из восьми авторов статьи 2017 года "Attention Is All You Need", представившей архитектуру трансформера — фундамент, на котором построены практически все современные большие языковые модели, от GPT до самой Gemini. Причем в той работе он не рядовой соавтор: именно Шазир спроектировал ключевые компоненты (multi-head attention, residual-архитектуру) и написал первую рабочую реализацию, обошедшую тогдашние лучшие результаты.

Трансформер — даже не вершина его списка. На разработках Шазира во многом стоит вся современная индустрия:

  • Mixture-of-Experts (2016) — разреженные модели, где для каждого запроса активируется лишь часть сети; сегодня на этом подходе построено большинство флагманских моделей.

  • multi-query attention (2019) — прием, резко удешевивший инференс больших моделей.

  • Mesh-TensorFlow — первая практичная система для обучения гигантских трансформеров на суперкомпьютерах.

В Google Шазир пришел еще в 2000 году. В 2021-м он в первый раз покинул компанию: руководство отказалось публично выпускать его чат-бота Meena, сославшись на риски. Вместе с коллегой Даниэлем де Фрейтасом он основал стартап Character.AI, в котором пользователь мог создать себе виртуального собеседника. Стартап вырос в оценке до $1 млрд и собрал более 20 млн пользователей в месяц. В августе 2024-го Google вернула обоих — формально через лицензию на технологии Character.AI на сумму около $2,7 млрд, по сути же это был выкуп команды. Шазир стал со-руководителем Gemini.

Интересно, что трансформер Шазир придумал внутри Google, но компания годами осторожничала с запуском продуктов на его основе. Темпом воспользовалась OpenAI: именно она построила на трансформере ChatGPT и обогнала Google в гонке, которую та фактически начала. Теперь автор той самой архитектуры уходит работать к конкуренту, превратившему его идею в главный продукт эпохи.

Уход вписывается в обострившуюся войну за таланты между ведущими лабораториями и происходит на фоне подготовки OpenAI к IPO — в начале месяца компания конфиденциально подала заявку на размещение. Google ограничилась сухим комментарием: "Мы благодарны Ноаму за значимый вклад". Конкретную роль Шазира в OpenAI пока не назвали — это, вероятно, прояснится в ближайшие недели.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.