Отличный пример, спасибо! В этом и заключается основная проблема сравнения — Gemini, скорее всего, просто 'выучил' эту загадку на своих обучающих данных (в интернете разборов этой картинки — море). Намеренно были выбраны загадки, которые активно гуляют по сети, но в отличие от Gemini, Qwen и Grok, видимо, по ним не обучались — поэтому их ответы были полны забавных галлюцинаций.
Согласна с вами, интересное замечание. Если обрезать стены и оставить кота, модель выдает: "a cat is walking up the stairs". (Если сильнее обрезать лестницу, то нейросеть посчитает, что кот переходит мост)
Да, вы правы — здесь я неудачно сформулировала. По тепловой карте основной объект внимания как раз проходит по центральному силуэту, который можно интерпретировать как лицо/бородатый силуэт. Яркие пятна слева — это скорее отдельные участки внимания модели, а не то, что она «выбрала левую сторону» как главный объект. Спасибо, поправлю описание.
Согласна с Вами. Запустила метод Монте-Карло (10 000 итераций) для проверки нулевой гипотезы: модель статистически значимо ошибается или нестабильна, «не выучила» функцию с заданной точностью, и получила следующий результат:
Средний MSE Лосс: 0.001528
95% Доверительный интервал для лосса: [0.001527, 0.001529]
то есть: на любых новых случайных наборах точек внутри отрезка [-1, 1] модель ведет себя предсказуемо и стабильно. Эффекта «зазубривания» отдельных точек (переобучения) нет. Хотя по моему мнению, выучить полностью не получится из-за бесконечной структуры фрактала, получится только аппроксимировать.
Отличный пример, спасибо! В этом и заключается основная проблема сравнения — Gemini, скорее всего, просто 'выучил' эту загадку на своих обучающих данных (в интернете разборов этой картинки — море). Намеренно были выбраны загадки, которые активно гуляют по сети, но в отличие от Gemini, Qwen и Grok, видимо, по ним не обучались — поэтому их ответы были полны забавных галлюцинаций.
Добавила в начало про кота)
еще с Nano Banana забавно вышло
Картинка впервые появилась в 2015 году здесь: https://9gag.com/gag/azEP79x?utm_source=copy_link&utm_medium=post_share
Не уверена, что это нейросеть)
Согласна с вами, интересное замечание. Если обрезать стены и оставить кота, модель выдает: "a cat is walking up the stairs". (Если сильнее обрезать лестницу, то нейросеть посчитает, что кот переходит мост)
Да, вы правы — здесь я неудачно сформулировала. По тепловой карте основной объект внимания как раз проходит по центральному силуэту, который можно интерпретировать как лицо/бородатый силуэт. Яркие пятна слева — это скорее отдельные участки внимания модели, а не то, что она «выбрала левую сторону» как главный объект. Спасибо, поправлю описание.
Согласна с Вами. Запустила метод Монте-Карло (10 000 итераций) для проверки нулевой гипотезы: модель статистически значимо ошибается или нестабильна, «не выучила» функцию с заданной точностью, и получила следующий результат:
Средний MSE Лосс: 0.001528
95% Доверительный интервал для лосса: [0.001527, 0.001529]
то есть: на любых новых случайных наборах точек внутри отрезка
[-1, 1]модель ведет себя предсказуемо и стабильно. Эффекта «зазубривания» отдельных точек (переобучения) нет.Хотя по моему мнению, выучить полностью не получится из-за бесконечной структуры фрактала, получится только аппроксимировать.