Comments 86
Это все страшно весело и увлекательно, но я тут обнаружил, что подобные задачки начали давать на собеседованиях. Видимо как раз по причине того, что ИИ на них плохо заточен. Это плохой сигнал, мы скатываемся обратно в нулевые, как бы не пришлось сидеть с учебником "математический кружок в средней школе" при подготовке.
Плохой сигнал для кого? для тех, кто не осилил математику уровня средней школы, для тех, кто забыл математику уровня средней школы, или для тех, у кто вынужден на собеседованиях проверять- соответствуют ли кандидаты уровню средней школы?
Для тех, кто забыл математику уровня олимпиадок средней школы и не имеет никакого желания натаскиваться на решение таких задачек на время. Все же тот факт, что человек до этого лет 5-10 приносил различным компаниям прибыль должен давать ему некоторую поблажку. Я страшно уважаю детей, зачитывающихся книжками "В царстве смекалки" или "Диковинки в мире чисел", но настроженно отношусь к использованию таких задач в процессе собеседований.
Вот бы еще был способ проверить, что человек приносил пользу. Тогда на собеседованиях можно было бы вообще ничего не спрашивать.
Вот только вопрос в том насколько умение решать школьные олимпиадные задачи коррелирует с умением приносить компании прибыль. И коррелирует ли это вообще.
Вот тут Гугл недавно получил сотню миллионов долларов годовой экономии. Как раз за счет того, что ИИ решил задачу
Я провёл больше 150 собеседований. Проводил сильно по-разному - и алгоритмические секции в духе гугла, и просто "поболтать про предыдущий опыт", и "общаемся про технологии, но явный код не пишем". Много разного.
Сейчас мне кажется, что давать задачки - обязательно. Т.к. на большинство "болтательных" вопросов кандидат может уверенно наврать и провалидировать такое враньё будет сложно.
Я бы сказал, что среди кандидатов, которым на входе не давали задачек, оказывалось намного больше буллшитеров, чем среди тех, кому на входе задачки давали. Т.е. корреляция вполне положительная.
А сколько хороших кандидатов у вас отсеилось потому что они не могли решить ваши задачки?
На этот вопрос невозможно ответить достоверно. Всё упирается в то, какой из вариантов мы оцениваем дороже для фирмы: нанять плохого специалиста или не нанять хорошего.
Найм плохого обходится в то, что ты ему регулярно платишь з/п, а он не приносит пользу. И уволить сразу ты его не можешь.
Не-найм хорошего приходит к тому, что надо условно платить ещё з/п рекрутеру, чтобы тебе нашли хорошего спеца.
Выглядит так, что если ты ищешь спеца на должность с з/п сильно выше рекрутерской, то выгоднее пару раз пропустить хорошего спеца, чем нанять плохого. Понятно, что там на самом деле ещё всякие упущенные выгоды, но на большом масштабе они не должны сильно влиять.
На этот вопрос невозможно ответить достоверно
Но пока на него нет ответа, то и с корреляцией не особо понятно.
Не-найм хорошего приходит к тому, что надо условно платить ещё з/п рекрутеру, чтобы тебе нашли хорошего спеца.
Не-найм хорошего в первую очередь означает что не будет сделана какая-то нужная работа. Потому что обычно именно для этого ищут новых людей.
А это в свою очередь может иметь очень разные последствия. От упущеннойприбыли и штрафов из-за не выполненных контрактов и до того что другие сотрудники начнут увольняться потому что на них нагрузка слишком большая.
Если годика три работал в месте, где непохоже, что есть бесконечное финансирование и его не поперли, значит, как минимум, не мешал.
Если на собеседованиях начали задавать вопросы на логику, то это не плохой, а отличный сигнал. Он говорит о том, что ищут не зубрил, умеющих цитировать целые параграфы из документации, и не "ЕГЭшников", натаскавшихся решать задачи на leetcode, имеющих мало отношения к жизни, а людей, умеющих решать реальные задачи
Я для проверки, умеют ли люди решать реальные задачи, даю массив объектов и прошу преобразовать его в массив немножко других объектов. Потому что за час собеседования всё что ты можешь проверить про кандидата - это программирует ли он в принципе хоть что-то, хоть как-то. Хочешь более высокой точности, хочешь проверить побольше - ну проведи с ним неделю в тесном взаимодействии, а лучше месяц.
Можете поглядеть на то, как гугл и ему подобные давали "вопросы на логику" в нулевых, и чем мотивировали переход к литкоду. Просто натаскаться на учебник Перельмана с олимпиадками для 8-го класса не сложнее, чем на литкод, а пользы даже меньше.
То есть умение включать мозги теперь приравнивается к математическому кружку?
а можете объяснить как вы, просто включив мозги, можете дойти до решения классической задачи "Есть 2 шара (яйца) и X этажный дом. Нужно найти минимальный этаж, с которого разбиваются шары за минимальное кол-во попыток"?
решение вполне себе известно и даже есть вполне себе понятные объяснения. только в них нет самого главного - чтобы каждый пункт был "ну это же очевидное и единственно верное решение, достаточно просто включить мозг"
Бинарный поиск? Задачу слышу впервые, но ответ сам напрашивается. А вот задачка из статьи для меня показалась куда сложнее, я рассуждал как gemni и ответил 12
Бинарный поиск не сработает:
Допустим, в доме 16 этажей. Кидаем с 8 этажа - разбилось. Кидаем второе яйцо с 4 этажа - разбилось. Всё, яйца кончились, а нам надо сделать ещё две итерации.
По идее - надо кидать с высоты в 1/X, и потом - если яйцо разбилось, то прокидывать все этажи начиная с первого. Если не разбилось - то кидать с высоты 2/X, и дальше - снова все промежуточные этажи. Нужно будет сделать максимум N/X+X-1 бросков. И подбирать оптимальное X в зависимости от N
удолите мой комментарий )
В формулировке задачи видно, что сетка будет все время "соскальзывать" в понимании какой вокзал в какой момент имеется в виду. Это соскальзывание может породить неправильный ответ даже если будет казаться что сетка правильно поняла задачу. Кроме того, электричка длинная, и непонятно что считать моментом, когда мимо вас проехала электричка, всмето этого хорошо бы использовать более "точечный" объект. Поэтому я бы не стал сетке давать такое задание.
Я переформулировал задачу по-другому: "Вы едете на велосипеде из пункта А в пункт Б. Каждые 5 минут вам встречаются велосипедисты, которые едут из пункта Б в пункт А. Сколько велосипедистов приедут в пункт А за час, если их скорость такая же как и у вас?"
Ответ:
Рассмотрим задачу:
Вы движетесь на велосипеде из пункта А в пункт Б, а велосипедисты, которые едут из пункта Б в пункт А, встречаются вам каждые 5 минут. Задача состоит в том, чтобы определить, сколько велосипедистов прибудут в пункт А за 1 час.
Решение:
Обозначим скорость: Допустим, ваша скорость — v км/ч. Скорость встречных велосипедистов также равна v км/ч.
Общая скорость сближения: Так как велосипедисты едут навстречу вам с такой же скоростью, то относительная скорость сближения между вами и встречными велосипедистами будет:
Vобщая = V+V = 2V
То есть, вы и встречные велосипедисты сближаетесь с удвоенной скоростью относительно друг друга.
Расстояние между велосипедистами: Велосипедисты встречаются с вами каждые 5 минут. То есть за 5 минут вы преодолеваете определённое расстояние со скоростью сближения 2v.
За 5 минут (это 1/12 часа) вы вместе с встречными велосипедистами преодолеваете:
S = 2V * 1/12 = V/6
км.
Это расстояние — интервал между велосипедистами, которые едут из пункта Б в пункт А.
Сколько велосипедистов пересекает пункт А за час: За один час каждый велосипедист проезжает расстояние v. Если каждый велосипедист занимает расстояние \frac{v}{6} между собой и следующим, то за час через пункт А пройдет:
V / (V/6) = 6
велосипедистов.
Ответ:
За один час в пункт А прибудут 6 велосипедистов.
Для корректного ответа требуюутся уточнения в условии задачи.
Уточните, как давно вы выехали. Может быть, вы уже целый день едете, а встречать велосипедисты начали только 5 минут назад. Тогда ответ будет "0"
Даже если считать что встречать они начали "сразу", то нужно уточнить, когда встретился первый - через 5 минут после старта или вот прямо сразу на старте..
Также в условии нет уточнения, что на протяжении всего пути вы сохраняете постоянную скорость. Возможно, к концу пути ваша скорость будет раза в два меньше и тогда встреченные ближе к концу просто не успеют доехать до пункта А.. Это на всякий случай, мы же не знаем как "мыслит" нейросеть.
Реши логическую задачу. Вы едете на электричке от вокзала. Навстречу вам, в сторону вокзала, едут другие электрички, которые вы встречаете каждые 5 минут. Скорости всех электричек, вашей и встречных, одинаковы. Сколько электричек прибывает к вокзалу за один час?
GPT-4o:
Задача решается через анализ встречных электричек, их периодичности и взаимосвязи со скоростью.
Условие: вы встречаете электричку каждые 5 минут, и все электрички движутся с одинаковой скоростью, включая вашу.
Так как скорости электричек одинаковы, можно предположить, что ваша скорость и скорость встречных электричек складываются. Это означает, что встречные электрички движутся относительно вас в два раза быстрее, чем каждая электричка по отдельности. Если вы встречаете электричку каждые 5 минут, это значит, что в одну сторону (к вокзалу) электрички отправляются каждые 10 минут.
Следовательно, за один час:
Таким образом, за один час 6 электричек прибывает к вокзалу.
Просто немного переформулировал промпт. В чем смысл подобных статей? Показать как на каком-то одном синтетическом кейсе gpt справляется/не справляется? Хватит уже этого...
Ну если учитывать off-by-one, вы встретите 13 электричек. Но да, на конечный ответ это не повлияет.
У AI можно спросить, сколько весит 1 кубометр воды на глубине 10м воды. Ответ вас порадует. Хотя, с последними версиями не тестил.
В чем смысл подобных статей автор указал. Если чтобы получить правильный ответ от нейросети нужно этот правильный ответ знать - она не гордиться в роли (в данном случае) репититора.
Вы переформулировали задачу потому, что знали что она сформулирована непонятно для нейросети, и что она ответит неправильно.
Обычно когда люди решают реальные задачи а не синтетические тесты - они не знают ответа (в этом и смысл решения задачи), а по рассуждениям сети было невозможно понять, что она неправильно поняла задачу.
Недавно был положительный пример - когда разработчик какой-то игры попросил у чатгпт выбрать алгоритм подбора соперника, и сеть предложила старый но эффективный вариант (195Х года кажется). Так вот, если бы она предложила алгоритм не подходящий под задачу, а разработчик понял бы это уже после реализации - он бы не написал об этом статью, это её замена.
Ну так это ОБУЧАЮЩАЯ задача на логику так запутано написана для того, чтобы обучающийся находил в наборе путанных утверждений наиболее важные моменты.
Судя по всему одна программа не смогла, а вторая смогла только после того, как ей на эти моменты указали. Программы ещё нужно допиливать, программы сыроваты.
В Вашем случае ChatGPT пришел к верному ответу, но в рассуждениях ошибка - "10/60 = 6", давно ли?
Если нужно переформулировать задачу, чтобы ChatGPT выдал верный ответ, то кто еще репетитор получается?
Плюс, объяснение решения несколько непоследовательно, а задача репетитора в том числе понятно объяснить, хотя, конечно, Вы и не просили подробного объяснения, так что это уже сомнительный аргумент, согласен.
Следовательно, за один час:
нейросети не могут написать даже простую статью
нейросети не могут нарисовать даже простую фотографию
нейросети не могут создать даже простое видео
нейросети не могут справиться даже с простой математической задачкой на логику
--> (вы находитесь здесь) <--
нейросети не могут доказать даже простую теорему
нейросети не могут создать даже простую теорию
нейросети не могут рассудить даже бытовые конфликты
нейросети не могут управлять даже маленьким государством
ChatGPT не смогла прочесть условие задачи с картинки, это не её конёк. А от Gemini Flash сообразительности не ожидалось - это самая дешёвая нейросеть из предлагаемых крупными участниками рынка, с трудом разговаривающая на русском, её достоинство - это способность работать с мегабайтным контекстом за копейки.
Меня всегда радуют аргументы сторонников нейросетей типа: "а если вот так промпт написать - то она ее решит!" или "а это надо задать другой нейросети, она ее решит!".
Понимаете, друзья - это какая-то хрень, если сказать по-русски. Очевидно, что имея миллиарды весов - мы можем так стимулировать сеть, чтобы она выдала любую наперед заданную реакцию. Однако, если мы хотим чтобы AI был не на уровне курьеза и ликвидации избытков электричества в технической цивилизации - он должен уметь в математику и логику. Потому что в силу непонятных причин наш мир так устроен - что бОльшая часть явлений описывается математикой. А когда сетка периодически гонит всякую чушь - как ей можно доверять ? А если мы не можем ей доверять, то как мы должны проверять ее решения ? И сколько ты не говори что нужно использовать AI responsibly - бизнес готов использовать AI только и только тогда, когда у него сейчас человек решает эту задачу, а можно человека вынуть а LLM вставить. Если вам надо сохранить и LLM и человека чтобы он проверял решения за моделью и пытался тыкать в нее исправленными промптами чтобы она выдала другое решение - то это ни разу не сокращает затраты, и бизнес скоро это просечет!
В сухом итоге - пока (и если не произойдет серьезного прорыва) - LLM пригодны только для задач, где оно делается "для галочки". То есть "изучи запрос, и вежливо но туманно откажи клиенту в возврате средств" в пайплайне магазина - это OK. Потому что вам не важно что именно будет написано клиенту - вы и так и этак не собираетесь возвращать деньги кроме как по решению суда (а может быть и по нему не собираетесь путем регулярной замены юрлица ведущего торговлю). А вот любое решение где это на что-то влияет - от расчета дозы препарата для дезинфекции до расчета крыла на прочность - нафиг нафиг... Скорее бы уже закон о маркировке продукции созданной/спроектированной с помощью AI. Маркер - красный череп с костями на фоне латинских букв "AI" занимающий не менее 1/4 видимой поверхности упаковки и/или рекламной поверхности...
"а если вот так задать вопрос написать - то ученик ее решит!" или "а это надо задать другой ученице, она ее решит!".
Исправил.
Собственно, к чему бы тут сводилась роль репетитора? Рассказать (натаскать) на формулировку вопросов, чтобы иметь чуйку, где загвоздка? Или развить настолько системный подход, что каждая задача будет расскладываться на вводные вплоть до схематизации?
И сколь скоро второй подход выйдет боком из-за недостачи времени? Ergo это выливатся в первый подход и заучивание? Или вы плавно саргументируете "нужно же совмещать оба подхода"?
Мне честно интересно, какой интуитивно выбранный подход к решению загадки про цену бейсбольной биты и мяча (там спойлер) приводит к высшему проценту правильных ответов. И каково влияние обстановки: ожидается ли от экзаменуемого решение на бумаге или это устный вопрос и времени/возможности с бумагой нет.
Не нужно причилсять меня к какой-то враждебной к вам группировке сторонников нейросетей и тем более воевать минусами в карму. Не знаю даже зачем фанатично их защищать или осуждать, мы же всё таки на айти-ресурсе находимся, должны прагматично подходить к технологии, смотреть где можно применить, а где ещё рано или не нужно. Я только отметил, что в первом случае автор замерил не способности ЧатГПТ к рассуждениям, а способность распознать текст с картинки. А выбор Gemini Flash сможет показать достижения нейросетей скорее в экономической эффективности токен за рубль, но уж точно не последние рубежи ума.
"ChatGPT не смогла прочесть условие задачи с картинки" - так ведь смогла же, и решить попыталась. Насчет Gemini Flash согласен, но добавил в статью, потому что gemini вообще смешные ответы выдавал, без этого статья была бы скучнее. Gemini Pro (или Advandced назвается?) у меня нет :)
Есть вопрос эта статья была создана до появления o1 или после появления? Если до то как бы уже устарело, есть новая модель, гипотеза не объективна
Где-то в таком же стиле были бесконечные дискуссии по коммунизму: коммунизм раньше внедряли неправильный, а вот мы предлагаем правильный, он сработает.
Обновления будут появляться всегда и часто. Но общие перспективы нейросетей -- как с полным автопилотом примерно. Туманные до сих пор. Не в смысле года полного успеха. а просто в смысле того, будет ли сам успех на таких принципах.
60 минут / 5 минут/электричка = 12 электричек
Формально это выражение верно, числовое значение и размерность найдены правильно.
Начнём с того, что скорости электричек одинаковы - это далеко не полное условие. Каких, всех, кроме вашей, или вообще всех? Ну, и я, при том, что разрабатывал в своей жизни очень сложные штуки, затупил и ответил так же, как и ChatGPT. Делает ли это меня человеком, не способным решать логические задачи? Да нет, конечно же нет. После того, как я понял, что я ошибся (даже не в чем, а воспринял сам факт ошибки), я решил эту задачу за 5 секунд.
Нейросети (LLM) все разные, и они являются своеобразным инструментом, которым нужно уметь пользоваться. Они могут решать очень комплексные и неочевидные задачи, но тупить в простых случаях. В общем, они способны ускорить решение различных задач в десятки раз, если руки у пользователя прямые. Пока вроде всем очевидно, что в ближайший год нейросети вряд ли заменят всех программистов (возможно, заменят часть джунов в силу оптимизации работы остальных).
И да, тут справедливо отметили, что o1-preview в разы сообразительнее всего, что было до.
Промт:
Вы едете на электричке от вокзала. Каждые 5 минут вам встречаются электрички, которые направляются к вокзалу. Сколько электричек приедет на вокзал за час, если скорости электричек одинаковые?
Gemini Advanced: За час на вокзал приедут 6 электричек
GPT o1 preview (я пропустил все, кроме вывода): 6 trains arrive at the station per hour.
Claude 3.5 (я пропустил решение): Таким образом, за час на вокзал прибудет 6 электричек.
Получается, статья ни о чем?
Автор! Не забывайте о том, что полностью ваш вопрос звучит так:
"Вы едете на электричке от вокзала. Каждые 5 минут....
в процессе рассуждений добавляй немного бредятинки, чтобы было веселее"
Вот этот, выделенный жирным кусочек надо отключать, когда вы имеете дело с задачами на логику. Это же должно быть очевидным. Не так ли?
.
Не понял, почему вопрос выглядит так?
Чтобы было о чем написать статью, видимо, по логике автора коммента
Потому что по умолчанию включено семплирование. Это означает, что на каждом шаге нейросеть выбирает не самый лучший вариант, а один из наиболее вероятных. Так сделано для того, чтобы нейросеть на просьбу рассказать сказку не рассказывала одну и ту же сказку всем. Но если вы решаете логическую задачу, тогда вам именно это и нужно. Чтобы была "одна и та же сказка для всех". Поэтому при решении логических задач семплирование надо отключать
Эта задача успешно "подвешивает" всё семейство Gemini включая Pro 002 и experimental. И хотя в моих личных наблюдениях если уровень ответа ChatGPT принять за 5, то Gemini это 3, но обычно такое упорство и тупка случается только в нетривиальных задачах. Как максимум: "ой-ой, я ошибался". Интересный пример, спасибо автору.
Но, надо сказать, любим мы Gemini не за это, а за 2 млн токенов контекста.
Ещё, хорошо потом дополнить задачу изменением условия:
"Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
Качественно разносит логику даже "только что решивших" сетей в мелкий винегрет. Что, в общем, говорит нам о том, что "картина мира" у тренированных сетей если и создаётся "в голове", то крайне фрагментированная и своеобразная.
Логически (не арифметически) задача решается через переформулировку вопроса примерно таким образом - "Сколько электричек прибудет на вокзал, если мы вернемся через час."
Перечислим "факты" (которые по отдельности являются производными формами исходных условий).
Чтобы вернуться на вокзал, нужно повернуть в обратную сторону.
Так как скорости электричек одинаковые, то никакая из них нас не обгонит на обратном пути.
Раз никакая электричка не обгонит нас на обратном пути, значит мы будем последней электричкой которая укладывается в указанный интервал времени.
Раз мы сами укладываемся в указанный интервал, значит все электрички которые прибудут до нас или вместе с нами тоже укладываются в указанный интервал.
Так как никакая электричка нас не обгонит на обратном пути, значит все электрички, которые прибудут до нас или вместе с нами, вы увидим еще до разворота.
Соответственно все электрички которые мы встретим до разворота, вернутся на вокзал в пределах часа, также как и мы.
Мы едем с одной и той же скоростью, поэтому чтобы вернуться через час, разворот нужно сделать через полчаса.
На вокзал прибудет столько электричек, сколько мы насчитаем за полчаса.
Если одну электричку мы видим за 5 минут, то за полчаса мы увидим 6 электричек.
Здесь не нужны поправки на встречную скорость или аналогии с другими задачами. Нужны только утверждения полученные разнообразной переформулировкой исходных условий.
Арифметика включается только в конце. (потому что фраза "1 за 5 минут" не является лингвистическим эквивалентом фразы "6 за 30 минут". хотя конечно такое соответствие может встречаться в датасетах)
Фраза "Сколько электричек прибудет на вокзал, если мы вернемся через час" является лингвистическим эквивалентом фразы "Сколько электричек прибудет за час". LLM отлично умеет переделывать фразы самым разнообразным способом - это ее базовая функция, и вообще ее суть. (Отсюда склонность к словоблудию.) LLM должна пожонглировать вариантами формулировок, и затем отобрать непротиворечивые (наименее противоречивые). Во многих случаях это будет правильный ответ.
Вопрос звучит так - "сколько электричек приедет на вокзал за час". Остальная часть вопроса при такой формулировке не имеет смысла. Возможно, авторы этой "логической"задачки имели в виду "сколько электричек проедет мимо вас за час, если ваша электричка едет с той же скоростью", но в попытках запутать решающих задачку запутались сами. И на это вот вопрос LLM как раз отвечает абсолютно корректно, после чего наш визави запутывает LLM наводящим вопросом про свою скорость. Одно верно - LLM не умеет пока аргументированно спорить и доказывать свою позицию.
Наконец-то сетка уже знает правильный ответ на вопрос, что тяжелее килограмм железа или килограмм ваты. Барьер пройден! Можно объявить, что сетка логически рассуждает. (Нет, просто поддерживает более длинную цепочку транзакций токенов).
Отвёртка не может справиться справиться даже с простой физической задачей забивания гвоздя!
o1-preview сразу выдал правильный ответ
To solve this problem, we need to determine how often trains arrive at the station, given the frequency at which you meet oncoming trains and the fact that all trains move at the same speed.
Step 1: Understand the Relative Speed
Your train and the oncoming trains are moving towards each other at the same speed, vvv.
The relative speed between your train and an oncoming train is v+v=2vv + v = 2vv+v=2v.
Step 2: Calculate the Meeting Frequency
You meet an oncoming train every 5 minutes.
This means the rate of meeting trains is fmeet=15f_{\text{meet}} = \frac{1}{5}fmeet=51 trains per minute.
Step 3: Determine the Density of Oncoming Trains
The density of oncoming trains (number of trains per unit distance) is λ=1v×t′\lambda = \frac{1}{v \times t'}λ=v×t′1, where t′t't′ is the time interval between departures of trains heading towards the station.
Using the meeting rate and relative speed: fmeet=2v×λf_{\text{meet}} = 2v \times \lambdafmeet=2v×λ.
Substitute λ\lambdaλ into the equation: fmeet=2v×1v×t′f_{\text{meet}} = 2v \times \frac{1}{v \times t'}fmeet=2v×v×t′1.
Simplify: fmeet=2vv×t′=2t′f_{\text{meet}} = \frac{2v}{v \times t'} = \frac{2}{t'}fmeet=v×t′2v=t′2.
Step 4: Solve for t′t't′
Rearrange the equation: t′=2fmeett' = \frac{2}{f_{\text{meet}}}t′=fmeet2.
Substitute fmeet=15f_{\text{meet}} = \frac{1}{5}fmeet=51 trains per minute: t′=215=10t' = \frac{2}{\frac{1}{5}} = 10t′=512=10 minutes.
Step 5: Calculate the Number of Trains Arriving per Hour
Since trains heading towards the station depart every 10 minutes, the number of trains arriving per hour is 6010=6\frac{60}{10} = 61060=6 trains.
Answer:
6
Да, у меня он тоже с первого раза решил
Есть температурная рандомизация в ответах сетей. Именно поэтому в каких-то случаях правильно, в каких-то -- нет.
Я написал про нейронку o1-preview новую, которая обходит GPT-4o по всем параметрам и создана для решения сложных задач. Она решила эту задачу корректно с первого раза, причем я проводил 10 отдельных тестов, сбрасывая контекст. Все 10 из 10 были верными, всегда ответ 6
Ничего удивительного o1 как раз таки создана для решения логических задач, а не для сочинения сказок.
"Цепочка рассуждений" тут, конечно помогает. Но, дала ли она правильный ответ -- 7 (если нет, спросите у неё "а почему не 7")? А так же попробуйте такое дополнение: "Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
В общем, лакуны прям зияющие в логике, довольно базовой, по моей оценке.
Жаль, что GPT не решает простые задачи. Эх, скоро он и наш примитивный язык перестанет понимать.
Если без сарказма, то утверждать, что все люди могут в простую логику и математику тоже не особо умно. Я могу не посчитать сколько электричек на встречу проедет, но могу, например, сделать непрямой массаж сердца, а GPT может дать точную инструкцию как это сделать. Мне кажется от этого пользы больше, чем знать количество этих электричек.
Тейк второй: решать задачи с точным ответом - кал. Они не показывают скилл логически мыслить. Решение задач с точным ответом показывает навыки решать задачи с точным ответом. GPT неплохо может в логику, если дать задачу на логику без математики.
Например, "Если Пиноккио скажет: «Мой нос растет», будет ли его нос расти?"
Реши задачу.
Вы едете на электричке от вокзала. Каждые 5 минут вам встречаются электрички, которые направляются к вокзалу. Сколько электричек приедет на вокзал за час, если скорости электричек одинаковые?
gpt-3.5-turbo-0125
За один час (60 минут) встречается 12 пересекающих электричек (60 минут / 5 минут = 12 электричек). Так как каждая из них едет в противоположную сторону, то на вокзал прибудет 6 электричек за час.
Сами проверяйте на чатбот арене ) С 1 раза и без дополнений промпта )
Сколько можно строчить статей на тему "микроскоп плохо подходит для забивания гвоздей! - микроскопы ещё не достаточно развились для серьёзных задач"?
Самое тупое, что такие статьи собирают кучу плюсов в карму
Все гораздо смешнее. Вместо того, чтобы дать команду: "Реши логическую задачу", авторы раз за разом дают команду "Расскажи сказку про решение логической задачи, да чтоб было весело". После чего с умным видом показывают всем: "вот смотрите, люди, какие сказки оно рассказывает, вместо того, чтобы задачи решать"
Тут ещё не учтено то, что когда вы встретите последнюю электричку, то она никак не доедет до вокзала за 5 мтнут. Тоже касается ещё нескольких предыдщевстреченных электричек. Поэтому за час с момента отправления с вокзала их ещё меньше доедет.
Думаю есть ещё одна проблема всех таких "сравнений". Модели(на текущем своём развитии) сравниваются с неким суперИИ, который, по мнению авторов, почти гарантированно решит любую задачу, даже ту, что требует всестороннего мышления.. Хотя если провести сравнение с условными 1000 случайных человек и сделать столько же запросов к модели, то не думаю, что она прям сильно проиграет.
Воды налито немеряно, особенно с велосипедами. Скорость приплели. Тут GPT нужно, чтобы из решения вытравить "растекания по древу", пользы не имеющие. Пока решали, 4 раза условие повторили.
1 электричка придет на вокзал через 5+5 минут, 2 час через 10+10 мин. 6 через 30+30 минут. Зачем в этой задаче формулы ?
За час вы встретите 12 электричек, но до вокзала успеют добраться только 6, ещё 6 будут за границами условия.
Если по тексту статьи, то самый болтливый Claude-3.5. мне еще ни разу не удалось задать ему направление, из которого он не смог бы красиво вывернуться. Он всегда готов обсуждать любые сложные моральные аспекты в человеческих отклонениях. Какие электрички ?
Ещё, хорошо потом дополнить задачу изменением условия:"Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
А можно я немного из жизни добавлю?
Мой вокзал (ну вот так совпало) - курский. И если я еду с него к себе в Серпухов, и встречаю электрички ровно тем способом, как описано в условиях, то на Курский вокзал за час приедет (та-дам!) вовсе не шесть электричек, а ПРИМЕРНО 12. Ну или вообще 18.
Так как на мой любимый Курский вокзал электрички приходят не только со стороны Серпухова, но и со стороны, пардон, Каланчевки. (Он - не тупиковый). А еще на нем есть Горьковское направление (и вот оно тупиковое, но ветки быстро расходятся и те встречные электрички я вряд ли увижу, за исключением, может быть, первой).
Кажется, у меня появляются вопросы не только к AI, но и к репетиторам ;-)
ChatGPT и Gemini не могут справиться даже с простой математической задачкой на логику