Абсолютно все нейросети, которые нас окружают, обучены с помощью одного и того же алгоритма – алгоритма обратного распространения ошибки (англ. back-propagation). Его изобрели еще в 80-х годах прошлого века ученые Дэвид Румельхарт, Джеффри Хинтон (ныне нобелевский лауреат) и Рональд Уильямс.

Идея back-propagation в том, что мы сначала «прогоняем» входные данные вперёд по сети (forward pass), получаем предсказания и вычисляем их ошибку, а затем прогоняем сигнал ошибки назад по сети (backward pass), чтобы вычислить градиенты и обновить веса. Это работает хорошо и надежно, но есть нюансы, из-за которых ученые уже много лет пытаются найти этому подходу альтернативу.

Даниэль Кокотаджило работал в OpenAI с 2022 по 2024 на позиции Governance Researcher (исследователь по вопросам управления). Он занимался изучением и разработкой стратегий регулирования ИИ. Однако в 2024 он со скандалом покинул компанию и основал собственную лабораторию AI Futures Project, вместе с исследователями которой и выпустил на днях свою громкую работу AI 2027.

Вот этот документ. В нем больше 70 страниц, на которых изложен основанный на научных статья и текущих трендах прогноз того, как будет выглядеть мир с ИИ в последующие несколько лет. К слову, это не первое предсказание, которое Даниэль давал об искусственном интеллекте. В первый раз он написал подобную работу в 2021, и пока что оказывался необыкновенно прав. 

Исследователи из университета Сан-Диего опубликовали статью, в которой впервые эмпирически доказали устойчивое прохождение ИИ-системой классического теста Тьюринга: Win Rate новой модели OpenAI GPT-4.5 составил 73%.

Может показаться, что тест Тьюринга в наше время устарел, и языковые модели уже давно его "победили". Поэтому сразу сделаем важную оговорку: статьи с некоторыми замерами способностей ИИ на тесте Тьюринга действительно выходили уже много раз. Но, во-первых, если модели и выбивали результат выше 50%, он все еще был нестабилен и близок к случайному угадыванию. И, во-вторых, часто в этих работах рассматривался не оригинальный трехсторонний вариант испытания, а какие-то упрощенные суррогаты.

Сусанна Хейккиля из Университета Йювяскюля в Финляндии совершила настоящий прорыв в топологии: она решила задачу классификации квазирегулярно эллиптических 4-многообразий. Над этой проблемой ученые трудились еще с 1981 года, когда ее сформулировал советско-французский математик Михаил Громов. Но самое интересное, что на решение задачи ученую вдохновило... вязание. Но обо всем по порядку.

Оригинальный вопрос Громова звучал так: обязательно ли существование квазирегулярного отображения следует из того, что целевое пространство односвязно, то есть имеет тривиальную фундаментальную группу и не имеет топологических препятствий? Ответа на него не было до недавнего времени, и единственное, что удалось ученым до Сусанны за 40 лет – это найти один контрпример.

В то же время исследование девушки не просто отвечает на вопрос Громова, но и дополняет его, потому что результат может быть использован для полноценной классификации замкнутых односвязных четырехмерных многообразий, для которых существует квазирегулярное отображение из евклидова пространства.

В 2012 году трое энтузиастов и ныне мэтров ИИ — Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон — создали модель, глобально изменившую мир компьютерного зрения и положившую начало новой эпохе Deep Learning'а. Ее обучили на двух видеокартах прямо в спальне Крижевского, и в честь него она получила имя AlexNet.

В последствие архитектура AlexNet стала настолько значимой, что оригинальная статья о ней – «ImageNet Classification with Deep Convolutional Neural Networks» – входит в список самых цитируемых работ за всю историю науки. За эти годы невероятное количество исследователей воссоздавали код AlexNet по тексту работы, но исходный код самих авторов так и не был опубликован. До этого дня.

Сегодня, спустя почти 13 лет, Google, которые на данный момент владеют правами на AlexNet, наконец открыли миру оригинальный код нейросети. И не просто открыли, а отдали его прямиком в музей в качестве настоящего исторического экспоната.

Исследователи из Стэнфорда выпустили статью про то, как обучили модель играть в Among Us, при этом не используя вообще никаких размеченных людьми данных. Вместо этого они применяли только обучение с подкреплением и несколько этапов файнтюнинга, в ходе которых агенты учились общаться, убеждать, лгать или предсказывать предателя (импостера).

Поведение получившихся ИИ-игроков очень напоминает поведение человека: они манипулируют соперниками, врут (правда иногда без повода) и генерируют ложные обвинения. В полностью симуляционных играх их процент победы составляет 56%, а в играх против людей – примерно 45. Да, люди все еще сильнее, но учитывая, что игра требует от игроков сложной социальной стратегии, это удивительный результат. Поехали разбираться, как ученые этого добились.

Да, это тот самый агент, о котором так много писали в СМИ, и которого так долго ждали все любители ИИ. Это система, которая может самостоятельно управлять компьютером, выполнять сложные задачи и взаимодействовать с браузером. Например, с помощью Operator можно заказать доставку, спланировать путешествие, забронировать столик и так далее.

Конечно, это все еще не уровень человека, но уже очень значимое достижение. Агент уже доступен пользователям по подписке Pro (200$/месяц), позже обещают раскатить на плюс-юзеров.

Вчера, 20 января, китайская лаборатория DeepSeek сделала нам всем настоящий подарок, открыв доступ к новой reasoning-модели R1, которая уже штурмует вершины ML-бенчмарков.

R1 – не просто еще одна рассуждающая модель: это первая бесплатная моделька с открытыми весами, которая добивается таких результатов. На математическом бенчмарке AIME 2024 она достигает 79.8%, обогнав даже обновленную версию o1 с ее 79.2%, не говоря уже об o1-mini (63.6%). В кодинге R1 тоже хороша. Например, на Codeforces ее результат – 96.3%, что практически недостижимо для большинства людей.

Моделью уже можно воспользоваться в чате chat.deepseek.com/. Доступно 50 сообщений в день, VPN не требуется. И самое прекрасное: кроме весов и кода DeepSeek выложили замечательный тех.отчет, в котором подробно описали, как им удалось обучить такую мощную модель. Сейчас мы разберем его по полочкам.

Все современные LLM построены на архитектуре трансформера. GPT-4o от OpenAI, Gemini от Google, Claude Sonet от Anthropic, Grok от xAI... перечислять можно долго. Трансформер – действительно очень мощная архитектура (и кстати тоже была придумала в Google), но и в ней есть свои недостатки.

В частности, трансформеры очень прожорливы и забывчивы: чем больше последовательности, которые они обрабатывают, тем больше ресурсов для этого требуется, и тем больше ошибок они допускают. Это одна из основных проблем сегодняшнего ИИ, потому что такое поведение сильно ограничивает способность модели работать, например, с большой базой данных, или с большим кодовым проектом, или с последовательностями геномов.

В своей новой статье Google предложили элегантное решение: их Titan легко масштабируется на последовательности 2+ млн токенов, при этом не теряя в точности (трансформеры обычно начинают проседать уже после отметки 4096, то есть в 500 раз меньше). Сейчас разберемся, как ученым это удалось.

4D – это тот же 3D, только с динамикой, то есть в движении. Почему это такой важный релиз, а не очередной ИИ-генератор игр? Потому что Genesis без потери точности и детализации работает в 10–80 раз быстрее существующих GPU-ускоренных физических симуляторов (Isaac Gym или MJX)! Именно такие движки сегодня используют, чтобы обучать роботов, и Genesis тоже предназначен именно для этого. Чтобы обучить одного агента ходить, в Genesis достаточно всего 26 секунд на одной видеокарте RTX 4090, а в реальном мире на это ушло бы 430,000 раз больше времени и куда больше ресурсов. 

Сегодня ночью в своем блоге Google объявила о том, что выпускает свой новый лучший квантовый чип Willow. И этот чип (приготовьтесь) в септилион раз быстрее самого быстрого из существующих сегодня суперкомпьютера: он всего за 300 секунд выполнил вычислительную задачу, на которую у "соперника" бы ушло 10,000,000,000,000,000,000,000,000 лет. Только представьте, что это значит для того же машинного обучения и ИИ! К тому же, это первый в истории случай, когда у кого-то получилось создать логические кубиты, перформящие ниже границы Quantum Error Correction.

Вчера вечером OpenAI наконец представили полную версию своей первой ризонинг-модели o1. Саму модель анонсировали еще в сентябре, но до вчерашнего вечера пользователям были доступны только версии o1-mini и o1-preview, которые могли работать только с текстом. Теперь можно подавать на вход еще и изображения, а еще модель на 30% быстрее o1-preview и более стабильна. 

Исследователи из Transluce – только что анонсированной некоммерческой ИИ лаборатории – создали инструмент Monitor, который поможет людям наблюдать, понимать и управлять внутренними вычислениями языковых моделей. В ходе экспериментов ученые рассмотрели несколько известных задач, в которых LLM традиционно ошибаются, и выяснили, с чем могут быть связаны такие галлюцинации.

LLM – черный ящик. Мы можем наблюдать только входы и выходы модели, но отследить ее "мысли", то есть проанализировать глубокие процессы активации миллиардов нейронов – довольно нетривиальная задача. Над этой проблемой в последнее время активно работают многие ML-исследователи: статьи на тему интерпретируемости выходят чуть ли не каждую неделю. Мы часто пишем о них в нашем тг-канале Data Secrets: вот, например, разбор статьи от Anthropic про то, почему все-таки так сложно понимать нейросети, вот обзор метода интерпретации "мыслей" LLM от Ильи Суцкевера и OpenAI, а вот – большой карточный пост про то, как думает Claude 3 Sonnet. В общем, если хотите быть в тренде ИИ-ресерча и индустрии – welcome!

Monitor – это еще одна попытка научиться понимать, как большие языковые модели обдумывают свои ответы. Как и предыдущие решения от OpenAI и Anthropic, инструмент основан на архитектуре SAE, то есть на разреженных автоенкодерах, которые распутывают активации LLM и достают из них так называемые интерпретируемые "фичи" (подробнее про то, как устроены такие автоенкодеры, – здесь). Фичи можно воспринимать, как темы, концепции или кластеры. В интерфейсе Monitor можно в реальном времени наблюдать, нейроны каких групп активируются при ответе на конкретный вопрос сильнее всего.

Токен Goatseus Maximus (GOAT) стал одним из наиболее быстрорастущих мемкоинов октября 2024 и вторым по капитализации активом, запущенным на pump.fun. Но самое интересное в этой монете и ее взрывном росте – это то, что криптовалюту якобы создал ИИ.

История началась с того, что всем известная OpenAI подала в суд на некую компанию Open AI по делу за украденный товарный знак. Кажется, рядовое разбирательство, но все не так-то просто: внутри оказался скрыт целый детектив.

Swarm — экспериментальный фреймворк, предназначенный для организации ИИ-сетей агентов, которые способны общаться между собой, сотрудничать и решать сложные задачи автономно. Концепция таких мультиагентных систем отнюдь не нова, но Swarm – практически первое в своем роде решение, которое позволит по-настоящему широкому кругу разработчиков прикоснуться к их созданию. Библиотека, к слову, использует только верхнеуровневые абстракции, так что ей может пользоваться даже человек, который не разбирается во внутреннем устройстве LLM и машинном обучении в целом.

Компания Meta известна своими опенсорс LLM моделями: каждый раз их релизы производят фурор в ИИ-сообществе, обгоняя на бенчмарках передовые закрытые модели вроде GPT от OpenAI или Gemini от Google. Вот и в этот раз Meta "навела шороху", без предупреждений и анонсов выпустив свою первую мультимодальную LLM Llama 3.2.

Программа OpenAI Academy ориентирована в первую очередь на регионы с низким и средним уровнем дохода и развивающиеся страны, где доступ к технологиям часто ограничен.

Название конкурса заслуживает отдельного внимания. Он называется буквально "Последний экзамен человечества":  Humanity’s Last Exam. Ученые из CAIS и ScaleAI запустили его, чтобы собрать самый большой и сложный набор вопросов, которые поставят в тупик современные LLM. Предложить вопрос может каждый, и если его примут, то автор получит от 500 до 5000 долларов, а также соавторство в статье про получившийся бенчмарк. Всего исследователи планируют собрать не менее тысячи вопросов, и уже получили часть из них от ученых из университетов MIT, UC Berkeley и Stanford.

NVLM 1.0 (NVIDIA Vision Language Model) – это семейство открытых мультимодальных LLM, состоящее из моделей NVLM-D (Decoder-only Model), NVLM-X (X-attention Model) и NVLM-H (Hybrid Model) на 34B и 72B. Модели особенно хорошо показывают себя на визуальных задачах. Например, на бенчмарке OCRBench, который проверяет способность модели считывать текст с картинки, NVLM-D обогнала даже GPT-4o – последнюю мультимодальную модель от OpenAI. А еще модель понимает мемы, разбирает человеческий почерк и хорошо отвечает на вопросы, чувствительные к точному местоположению чего-либо на картинке.