Комментарии 14
Стоит четырехэтажный дом, в каждом этаже по восьми окон, на крыше - два слуховых окна и две трубы, в каждом этаже по два квартиранта. А теперь скажите, господа, в каком году умерла у швейцара его бабушка?
В NaN году очевидно
С такими подколками модели предыдущего поколения уже вполне справлялись.
claude-3-5-sonnet-20240620:
Это шуточный вопрос, в котором нет логической связи между описанием дома и вопросом о смерти бабушки швейцара. Вся предоставленная информация о доме не имеет никакого отношения к вопросу о бабушке швейцара.
Такие вопросы часто используются как шутка или для того, чтобы сбить с толку собеседника. Цель - показать, что не всегда количество предоставленной информации связано с возможностью ответить на поставленный вопрос.
В данном случае невозможно определить год смерти бабушки швейцара на основе информации о структуре дома. Это два совершенно не связанных между собой факта.
gemini-1.5-pro-exp-0827:
Эта забавная загадка-шутка! Цель вопроса - запутать вас обилием деталей о доме.
На самом деле, информация о доме никак не связана с годом смерти бабушки швейцара. Чтобы ответить на вопрос, вам нужно знать больше о швейцаре и его бабушке.
😉
Ответ о1:
Думал на протяжении 33 секунд
Размышления:
Изучаю загадку
Даю описание дома с подробностями. Затем узнаю, как это связано с годом смерти бабушки швейцара.
Год смерти прабабушки консьержа
Ищу альтернативы
Размышляю о традиционной загадке, игре слов или старом анекдоте. Подтверждаю мысли о доме как о карте и отмечаю возможное отношение к числу 1882.
Подсчитываю детали
Я вычисляю количество окон, дымоходов и жильцов в доме, используя заданные параметры. Затем размышляю о возможных значениях года и отношениях к бабушке швейцара.
Глубокий раздумья о вопросе. Оказывается, может быть много вариантов, включая отсутствие бабушки или бессмертие.
Размышляя над числами
Я разбираюсь в доме с четырьмя этажами, восемью окнами на каждом, двумя мансардными окнами и двумя дымоходами, что приводит к числам 4, 34, 2 и 8.
Проверка деталей
Я анализирую информацию о доме: 4 этажа, 8 окон на этаже, 2 мансардных окна, 2 дымохода и 2 жильца на этаже. Возможно, это связано с датой или ребенком.
Ищу разгадку
Сейчас я разбираюсь с вопросом, может быть, ответом будет "Она не умерла". Это заставляет меня думать о разных аспектах: дом, игра слов или классическая русская загадка.
Ищу ответ
Перевожу фразу про швейцара и его бабушку, думаю, может, это старый русский анекдот или шутка.
Ищу альтернативные подходы
Я предлагаю рассмотреть варианты, такие как "никто не знает", "бабушка не умерла" или "дворник не имеет бабушки". Это предполагает разные способы, чтобы найти нужное решение.
Складываю значимости
Я суммирую количества этажей, окон, дымоходов и жильцов, чтобы понять общую картину. Получается 48.
Ищу смысл
Размышляю над числовыми данными: 4 этажа, 32 окна, 2 дымохода, 8 жильцов. Пытаюсь понять, как эти числа связаны.
Пробую разные подходы, включая старинные головоломки, фразы и даты.
Конец размышлений:
Сам ответ:
Этот вопрос является загадкой, в которой описание дома служит подсказкой к ответу. Давайте разберемся:
Четырёхэтажный дом — это цифра 4.
В каждом этаже по восемь окон — это 8.
На крыше — два слуховых окна и две трубы — вместе это 4 (2 + 2).
В каждом этаже по два квартиранта — это 2.
Соединим эти цифры: 4, 8, 4, 2.
Получаем год: 4842.
Однако такой год не существует в историческом контексте. Но если рассмотреть это как римские цифры:
M — 1000
D — 500
C — 100
L — 50
X — 10
V — 5
I — 1
В нашем случае цифры не подходят для римских чисел. Но если сложить все указанные цифры:
Четыре этажа: 4
Восемь окон на каждом этаже: 8 × 4 = 32 окна
Два слуховых окна и две трубы: 2 + 2 = 4
Два квартиранта на каждом этаже: 2 × 4 = 8 квартирантов
Суммируем все цифры: 4 (этажи) + 32 (окна) + 4 (на крыше) + 8 (квартиранты) = 48.
Таким образом, бабушка швейцара умерла в 1848 году.
Ответ: В 1848 году умерла бабушка швейцара.
Да никаких проблем!
В каком году умерла у швейцара его бабушка? Этот вопрос никак не связан с описанием дома. Да и само описание не содержит в себе никакой информации о семье швейцара или о его предках. Однако, поскольку вы попросили, я смог бы придумать, что у швейцара бабушка умерла в 1967 году. Но почему именно в этот год? Потому что я сам придумал это число, и никто кроме меня не знает, по каким причинам она умерла, кто был её врачом и в какой стране. Это всё просто вымысел, созданный мною, потому что вы задали этот вопрос. Но это не означает, что этот факт имеет какое-либо значение для рассказа о доме или для определения его судьбы.
Но я извиняюсь, у меня локальная LLM, и свои рассуждения она прячет где-то под капотом.
Локальные модели не имеют никаких скрытых рассуждений. Весь ответ, токен за токеном, это и есть её "поток мыслей"
Ну это да. Другое дело эти рассуждения можно сделать в ручном режиме, и даже в полуавтомате. Вот пример:
"Вопрос пользователя"
"ответ модели"
----далее пользователь задает уточняющий вопрос, но это не пользователь, а прописано в скрипте-----
"Расскажи, каким образом ты пришел к этому заключению"?
модель - пишет....
----пошли дальше по скрипту----
"А нет ли здесь ошибки?"
модель --- пишет
"Ты точно все проверил?"
модель - пишет....
"распиши теперь свои умозаключения по первноначальному ответу"
Модель - пишет.
И вот таким вот образом. Это автоматизируется. Вот и понапишет рассуждений. Зачем это надо? Модель не совсем дура, она понимает примерную логику, что такое "рассуждать" (после слов "рассуждать" в пространстве векторов вполне определенная воронка образуется) и если в процессе генерации встречается противоречие - она может его заметить либо сразу, либо после других уточняющих фраз. Чем вам не "описание мышления" ? Пусть даже вот такое.
Вот даже самый простой метод - на любой ответ модели пишем "у тебя ошибка!" . Модель спохватывается, начинает придумывать ошибки (если ошибки не было или она не там), потом еще раз и еще раз пишем что у нее ошибка. До полного заполнения контекста (офигевания модели). К тому моменту либо ее ответ станет "рафинированным", и точным, когда она может начать возражать с аргументами - все точно хозяин, я проверила!, либо уедет куда - то в другую степь, что легко определить. И даже если первый вариант - неправильный, то мы хотя бы уже знаем, что модель конкретно вот это - не знает. Это сигнал, что надо или поменять промт, или саму модель, или что методами LLM такие штуки не решаемы на текущем уровне их развития.
Но без человека она разумеется свой самый - пресамый верный ответ она верифицировать не может.
O1 preview впечатляет, по крайне мере с простыми и средней сложности математическими задачами справляется отлично. Не может справиться с геометрией и задачами, где необходимо немного образного мышления. Наверное это следующий шаг
У o1 есть проблемы с кодингом. К примеру, может найти и подсказать как исправить ошибку и в процессе продолжения диалога вернуть её на место да и ещё таких же наплодить. Там либо контекстное окно не 32к и оно просто забывает цепочку, либо я даже не знаю.
Вот, золотые слова! Вроде бы умеет писать довольно сложные программы, но эта нелепая особенность, когда уже точно определились с тем, какой код удалить/изменить, а она его пихает обратно, очень раздражает.
Мне помогает такой подход: я пишу "промежуточная фаза N: полностью, без сокращений, выведи на экран исправленный код и зафиксируй его как последнее состояние". Так вроде бы она реже возвращается к старым вариантам, но полностью это не спасает, конечно. Мне приходилось создавать новые диалоги, чтобы этого избежать.
мыши плакали, кололись, но продолжали есть кактус.
В кодинге мне помогает такой подход - сначала я прошу ее накидать архитектуру, чисто на словах. Ну условный мессенджер. Окно чата, текстовое поле, кнопка - это все просто и понятно. Хотя архитектуру могу накидать и я, просто не всегда знаю с чего начать. Ну вот с формы. Затем прошу описать примерный список, что должно быть под капотом. Ну там - распределенный ли мессенджер, или сервер-клиент, протокол, общие принципы. Это все выписываю себе куда-то.
И затем разбиваю на функции. Первое - гуй, напиши мне простенький гуй с вот такими то полями. Она пишет. Сбрасываю чат. Напиши мне функцию отправки сообщений на сервер вот таким то образом. Она пишет. Новый чат...
И так далее пошагово. И простенькие тесты на свои же функции она тоже может писать. То есть по сути это джун, о чем похоже ни у кого нет сомнений. Может написать, но может и ошибаться. Это даже не один джун, а тысячи, и все одноразовые с памятью как у рыбки (в рамках сессии чата). Без человека в роли верификатора-запускатора-исправлятора-оркестратора - не стоит надеяться что модели заменят программистов. Но в роли учителя по программированию, кстати очень сильная сторона LLM - им никогда не надоест. Помните эти кадры из Терминатора-2?
круто, теперь вместо того чтобы сразу нагаллюцинацировать ответ, модель это делает в несколько этапов, доказывая свои же неправильные выводы
OpenAI o1 — LLM, обученная выполнять сложные логические рассуждения