На обложке к статье (см. картинку ниже) наглядно показана главная уязвимость современных генеративных моделей. Chat GPT понимает, что ваза разбивается на осколки, но не имеет причинно‑следственной модели мира. Он не знает законов физики (ваза при падении на подушке не разобьется), поэтому на втором кадре ваза все‑таки разбивается, а подушки исчезают. Обычный ИИ лишь угадывает пиксели, но не понимает причин и следствий.

Ученые в развитии ИИ добились успехов в таких областях, как предсказание в пространствах больших размерностей, обучение с подкреплением. Модели находят применение в разных областях: от медицины до исследования космоса. Значит ли это, что мы движемся в правильном направлении? Что еще можно будет в будущем добавить к этому списку?

Ведущие исследователи приходят к мнению, что масштабирования недостаточно для понимания полной картины мира, нужны новые идеи:

Just scaling is not enough... We need new ideas for the next jump. (Ilya Sutskever, Co‑Founder and Chief Scientist at Safe Superintelligence Inc)

и проблема не в данных:

Data is not more than the picture from the reality you are sampling from. Reality is messed up. (Elias Bareinboim, associate professor in the Department of Computer Science and the director of the Causal Artificial Intelligence)
перевод: Данные — это не более чем снимок реальности, из которой вы берёте выборку. Реальность сложна.

Elias Bareinboim считает, что на текущем этапе ИИ столкнулся со следующими трудностями:

низкой объяснительной способностью и плохой обобщаемостью;
несправедливым и неэтичным принятием решений;
недостаточной управляемостью (черный ящик).

Все, что нам нужно — это машина, способная учиться на опыте (Алан Тьюринг)

Существует 3 способа получения опыта: пассивное наблюдение, физическое взаимодействие и симуляция, так Elias Bareinboim объясняет цитату Тьюринга. Это приводит нас к теории Pearl Causal Hierarchy (PCH), которую можно кратко представить в виде таблицы:

Согласно Elias Bareinboim, 99% датасетов относятся к распределению первого типа схемы. Также особые случаи попадают во второй тип (например, с помощью АВ‑тестов). Третий — пока не доступен (если у нас нет машины времени). Очевидно, что использование всех трех слоев даст более детализированную информацию. Но как работает большинство существующих моделей? Мы обучаем их на на первом типе, который мы «видим», чтобы они предсказывали то, что мы «не видим» (см. схему ниже). Что мы можем ожидать от распределений, которые мы «не видим»?

На примере сравнения двух классификаторов: можем ли мы «открыть» их и попытаться объяснить, почему они предсказывают именно таким образом? Представим, что мы покрасили цифры в разные цвета и насыщенность цвета возрастает с ростом числа. На вход подается картинка и классификатор должен выдать цифру. Сравним два классификатора: standard (опирается на цвет больше, чем на форму, и обучался на данных, где цвет коррелирует с цифрой) и robust (полагается только на форму и обучался на данных, где связь цвета и формы разрушена).

Заметим, что модель, обученная смотреть на цвета, провалилась при смещении распределения цветов, в отличие от устойчивой. Если мы сравним эти два классификатора с помощью методов SHAP (из теории игр, оценивает вклад каждого признака (пикселя) в предсказание модели, L1 на графике) и counterfactual Shapley values (новый метод, отвечающий на вопрос «какие пиксели нужно изменить, чтобы модель изменила своё решение?», L3 на графике).

Из графиков видно, что предложенный авторами метод лучше объясняет предсказания в стандартных условиях и обладает гораздо большей робастностью по сравнению с классическим SHAP, который не смог различить два классификатора.

В заключение хочется сказать, что помимо гонки за точностью предсказания (угадывание распределения) стоит обратить внимание на интерпретируемость результата. Это улучшит качество проверки корректности и даст нам большее понимание нашего мира. Отказ от использования причинно‑следственной связи ограничивает восприятие модели и лишает ее ценной информации для построения предсказаний. Может, помимо «сухих» цифр стоит добавлять в датасеты и некоторые связи, тем самым предоставляя ИИ для обучения полную картину мира?

Кот, ваза и три уровня причинности: что ИИ пока не умеет