Комментарии 121
Это все страшно весело и увлекательно, но я тут обнаружил, что подобные задачки начали давать на собеседованиях. Видимо как раз по причине того, что ИИ на них плохо заточен. Это плохой сигнал, мы скатываемся обратно в нулевые, как бы не пришлось сидеть с учебником "математический кружок в средней школе" при подготовке.
Плохой сигнал для кого? для тех, кто не осилил математику уровня средней школы, для тех, кто забыл математику уровня средней школы, или для тех, у кто вынужден на собеседованиях проверять- соответствуют ли кандидаты уровню средней школы?
Для тех, кто забыл математику уровня олимпиадок средней школы и не имеет никакого желания натаскиваться на решение таких задачек на время. Все же тот факт, что человек до этого лет 5-10 приносил различным компаниям прибыль должен давать ему некоторую поблажку. Я страшно уважаю детей, зачитывающихся книжками "В царстве смекалки" или "Диковинки в мире чисел", но настроженно отношусь к использованию таких задач в процессе собеседований.
Вот бы еще был способ проверить, что человек приносил пользу. Тогда на собеседованиях можно было бы вообще ничего не спрашивать.
Вот только вопрос в том насколько умение решать школьные олимпиадные задачи коррелирует с умением приносить компании прибыль. И коррелирует ли это вообще.
Вот тут Гугл недавно получил сотню миллионов долларов годовой экономии. Как раз за счет того, что ИИ решил задачу
Я провёл больше 150 собеседований. Проводил сильно по-разному - и алгоритмические секции в духе гугла, и просто "поболтать про предыдущий опыт", и "общаемся про технологии, но явный код не пишем". Много разного.
Сейчас мне кажется, что давать задачки - обязательно. Т.к. на большинство "болтательных" вопросов кандидат может уверенно наврать и провалидировать такое враньё будет сложно.
Я бы сказал, что среди кандидатов, которым на входе не давали задачек, оказывалось намного больше буллшитеров, чем среди тех, кому на входе задачки давали. Т.е. корреляция вполне положительная.
А сколько хороших кандидатов у вас отсеилось потому что они не могли решить ваши задачки?
На этот вопрос невозможно ответить достоверно. Всё упирается в то, какой из вариантов мы оцениваем дороже для фирмы: нанять плохого специалиста или не нанять хорошего.
Найм плохого обходится в то, что ты ему регулярно платишь з/п, а он не приносит пользу. И уволить сразу ты его не можешь.
Не-найм хорошего приходит к тому, что надо условно платить ещё з/п рекрутеру, чтобы тебе нашли хорошего спеца.
Выглядит так, что если ты ищешь спеца на должность с з/п сильно выше рекрутерской, то выгоднее пару раз пропустить хорошего спеца, чем нанять плохого. Понятно, что там на самом деле ещё всякие упущенные выгоды, но на большом масштабе они не должны сильно влиять.
На этот вопрос невозможно ответить достоверно
Но пока на него нет ответа, то и с корреляцией не особо понятно.
Не-найм хорошего приходит к тому, что надо условно платить ещё з/п рекрутеру, чтобы тебе нашли хорошего спеца.
Не-найм хорошего в первую очередь означает что не будет сделана какая-то нужная работа. Потому что обычно именно для этого ищут новых людей.
А это в свою очередь может иметь очень разные последствия. От упущеннойприбыли и штрафов из-за не выполненных контрактов и до того что другие сотрудники начнут увольняться потому что на них нагрузка слишком большая.
Не-найм хорошего в первую очередь означает что не будет сделана какая-то нужная работа. Потому что обычно именно для этого ищут новых людей.
А это в свою очередь может иметь очень разные последствия. От упущеннойприбыли и штрафов из-за не выполненных контрактов и до того что другие сотрудники начнут увольняться потому что на них нагрузка слишком большая.
Не понимаю сути ваших аргументов, т.к. всё это так же верно и если нанять плохого сотрудника.
Но пока на него нет ответа, то и с корреляцией не особо понятно.
Вы спрашивали о том, есть ли корреляция между умением решать задачи и прибылью компании. Я привёл доводы в пользу того, что она есть. И количество ненанятых людей в вычислении такой корреляции не участвует.
Не понимаю сути ваших аргументов, т.к. всё это так же верно и если нанять плохого сотрудника.
Я имел в виду что вы слегка занижаете негативные стороны не-найма сотрудника.
Я привёл доводы в пользу того, что она есть.
Вы рассмотрели только одну сторону вопроса. То есть отсев плохих сотрудников при помощи задачек это конечно важный аспект. Но отсев хорошиз это тоже важный фактор. Особенно если хороших на рынке труда не особо много.
Но ему не нужны все хорошие кандидаты, ему нужен один. Бывают критичные ситуации, когда лучше взять пятерых, в надежде, что хоть один хорош и тогда отвергнуть хорошего кандидата крайне не выгодно, но обычно-то не так. Нет бюджета взять людей с запасом и лучше уж рискнуть и отсеять, чем рискнуть и взять болтолога.
Но при этом почему-то постоянно куча людей жалуется что даже одного не найти. Причём в том числе и на хабре.
Ну ок, куча людей жаловались последние годы. Сейчас конечно таких жалоб поменьше стало.
П.С. Если я смотрю на своих коллег, друзей и знакомых, то умение решать математические задачи с подвохом не особо коррелирует с какими-то профессиональными качествами. Скорее с хобби и увлечениями.
Если вы даете задачки из вашего бизнес-домена - отлично. Есть школьные головоломки - уже сомнительно.
Хотя, так можно попробовать проверить, что человек не просто зачитывет ответы aI
Если годика три работал в месте, где непохоже, что есть бесконечное финансирование и его не поперли, значит, как минимум, не мешал.
Я для проверки, умеют ли люди решать реальные задачи, даю массив объектов и прошу преобразовать его в массив немножко других объектов. Потому что за час собеседования всё что ты можешь проверить про кандидата - это программирует ли он в принципе хоть что-то, хоть как-то. Хочешь более высокой точности, хочешь проверить побольше - ну проведи с ним неделю в тесном взаимодействии, а лучше месяц.
Можете поглядеть на то, как гугл и ему подобные давали "вопросы на логику" в нулевых, и чем мотивировали переход к литкоду. Просто натаскаться на учебник Перельмана с олимпиадками для 8-го класса не сложнее, чем на литкод, а пользы даже меньше.
То есть умение включать мозги теперь приравнивается к математическому кружку?
а можете объяснить как вы, просто включив мозги, можете дойти до решения классической задачи "Есть 2 шара (яйца) и X этажный дом. Нужно найти минимальный этаж, с которого разбиваются шары за минимальное кол-во попыток"?
решение вполне себе известно и даже есть вполне себе понятные объяснения. только в них нет самого главного - чтобы каждый пункт был "ну это же очевидное и единственно верное решение, достаточно просто включить мозг"
Бинарный поиск? Задачу слышу впервые, но ответ сам напрашивается. А вот задачка из статьи для меня показалась куда сложнее, я рассуждал как gemni и ответил 12
Бинарный поиск не сработает:
Допустим, в доме 16 этажей. Кидаем с 8 этажа - разбилось. Кидаем второе яйцо с 4 этажа - разбилось. Всё, яйца кончились, а нам надо сделать ещё две итерации.
По идее - надо кидать с высоты в 1/X, и потом - если яйцо разбилось, то прокидывать все этажи начиная с первого. Если не разбилось - то кидать с высоты 2/X, и дальше - снова все промежуточные этажи. Нужно будет сделать максимум N/X+X-1 бросков. И подбирать оптимальное X в зависимости от N
Ответ, конечно, сам напрашивается, если вы нейросеть. Но просили «включить мозг», без добить обид (включением мозга задача тоже не решается, так же как и бинарным поиском).
удолите мой комментарий )
В формулировке задачи видно, что сетка будет все время "соскальзывать" в понимании какой вокзал в какой момент имеется в виду. Это соскальзывание может породить неправильный ответ даже если будет казаться что сетка правильно поняла задачу. Кроме того, электричка длинная, и непонятно что считать моментом, когда мимо вас проехала электричка, всмето этого хорошо бы использовать более "точечный" объект. Поэтому я бы не стал сетке давать такое задание.
Я переформулировал задачу по-другому: "Вы едете на велосипеде из пункта А в пункт Б. Каждые 5 минут вам встречаются велосипедисты, которые едут из пункта Б в пункт А. Сколько велосипедистов приедут в пункт А за час, если их скорость такая же как и у вас?"
Ответ:
Рассмотрим задачу:
Вы движетесь на велосипеде из пункта А в пункт Б, а велосипедисты, которые едут из пункта Б в пункт А, встречаются вам каждые 5 минут. Задача состоит в том, чтобы определить, сколько велосипедистов прибудут в пункт А за 1 час.
Решение:
Обозначим скорость: Допустим, ваша скорость — v км/ч. Скорость встречных велосипедистов также равна v км/ч.
Общая скорость сближения: Так как велосипедисты едут навстречу вам с такой же скоростью, то относительная скорость сближения между вами и встречными велосипедистами будет:
Vобщая = V+V = 2V
То есть, вы и встречные велосипедисты сближаетесь с удвоенной скоростью относительно друг друга.
Расстояние между велосипедистами: Велосипедисты встречаются с вами каждые 5 минут. То есть за 5 минут вы преодолеваете определённое расстояние со скоростью сближения 2v.
За 5 минут (это 1/12 часа) вы вместе с встречными велосипедистами преодолеваете:
S = 2V * 1/12 = V/6
км.
Это расстояние — интервал между велосипедистами, которые едут из пункта Б в пункт А.
Сколько велосипедистов пересекает пункт А за час: За один час каждый велосипедист проезжает расстояние v. Если каждый велосипедист занимает расстояние \frac{v}{6} между собой и следующим, то за час через пункт А пройдет:
V / (V/6) = 6
велосипедистов.
Ответ:
За один час в пункт А прибудут 6 велосипедистов.
Для корректного ответа требуюутся уточнения в условии задачи.
Уточните, как давно вы выехали. Может быть, вы уже целый день едете, а встречать велосипедисты начали только 5 минут назад. Тогда ответ будет "0"
Даже если считать что встречать они начали "сразу", то нужно уточнить, когда встретился первый - через 5 минут после старта или вот прямо сразу на старте..
Также в условии нет уточнения, что на протяжении всего пути вы сохраняете постоянную скорость. Возможно, к концу пути ваша скорость будет раза в два меньше и тогда встреченные ближе к концу просто не успеют доехать до пункта А.. Это на всякий случай, мы же не знаем как "мыслит" нейросеть.
Мне одному интересно, почему никто не учитывает, что помимо скорости вы каждый раз отдаляетесь от вокзала???
Если первую электричку встретили через 5 минут и скорости одинаковые, то ей до вокзала ехать 5*2=10 минут. А вы уже 5 минут как в пути, то есть ко времени прибытия электрички от данного часа пройдет 10+5=15 минут.
Следующую вы встречаете ещё через 5 минут, соответственно вы всего в дороге уже 10 минут, если скорости одинаковые, то чтобы этой электричке доехать до вокзала нужно уже 10*2=20 минут. К этому моменту вы в пути уже 10 минут, которые прошли от момента засекания времени, то есть электричка доедет через 30 минут от начала отсчёта.
Далее по той же схеме. Время в пути от вокзала: 10+5=15мин (они же прошли от момента отсчёта). До вокзала встречной ехать 15*2=30мин. К моменту прибытия пройдёт 45мин от начала отсчёта.
Далее время в пути 20 минут. Электричке ехать 40 минут + от момента отсчёта прошло 20. Всего 60 минут пройдет на момент прибытия.
Максимум до вокзала за час доедет 4 электрички за час. 😂
У Вас в ответе логическая ошибка.
"Если первую электричку встретили через 5 минут и скорости одинаковые, то ей до вокзала ехать 5*2=10 минут." - у нас одинаковые скорости, так почему она то же расстояние преодолевает в 2 раза дольше в Вашей логике, не понял?
Более подробно расписал ниже:
Если первую электричку встретили через 5 минут и скорости одинаковые, то ей до вокзала ехать 5*2=10 минут. - если у нас одинаковые скорости, то почему она то же расстояние преодолевает в 2 раза дольше, не понял? 5*1=5 минут
А вы уже 5 минут как в пути, то есть ко времени прибытия электрички от данного часа пройдет 10+5=15 минут. - выше аргументация, 5+5=10 минут.
Следующую вы встречаете ещё через 5 минут, соответственно вы всего в дороге уже 10 минут, если скорости одинаковые, то чтобы этой электричке доехать до вокзала нужно уже 10*2=20 минут. - выше аргументация, 10*1=10 минут
К этому моменту вы в пути уже 10 минут, которые прошли от момента засекания времени, то есть электричка доедет через 30 минут от начала отсчёта. - ~, 10+10 минут
Далее по той же схеме. Время в пути от вокзала: 10+5=15мин (они же прошли от момента отсчёта). До вокзала встречной ехать 15*2=30мин. К моменту прибытия пройдёт 45мин от начала отсчёта., ~, 15*1=15мин, к момент прибытия пройдет 30мин от начал отсчета
Далее время в пути 20 минут. Электричке ехать 40 минут + от момента отсчёта прошло 20. Всего 60 минут пройдет на момент прибытия. - ~, 20*1=20 минут, от момента отсчета прошло 20, всего 40 минут
Далее время в пути 25 минут. Электричке ехать 25 минут, + от момента отсчёта прошло 25 минут, Всего 50 минут.
Далее время в пути 30 минут. Электричке ехать 30 минут, + от момента отсчёта прошло 30 минут, всего 60 минут.
А вот тут уже электричка встречная не успеет на вокзал, потому что тебе осталось ехать 25 минут, а ей 35 минут.
Максимум до вокзала за час доедет 6 электрички за час.
И оригинальная, и ваша задача в вопросной части, как мне видится, содержат один существенный пропуск - это отсутствие слова "встреченных". Оно семантически является ключевым в вопросах обеих задач и без него сами задачи можно считать некорректно сформулированными с соответствующими коллизиями, одна из которых изложена автором статьи.
Реши логическую задачу. Вы едете на электричке от вокзала. Навстречу вам, в сторону вокзала, едут другие электрички, которые вы встречаете каждые 5 минут. Скорости всех электричек, вашей и встречных, одинаковы. Сколько электричек прибывает к вокзалу за один час?
GPT-4o:
Задача решается через анализ встречных электричек, их периодичности и взаимосвязи со скоростью.
Условие: вы встречаете электричку каждые 5 минут, и все электрички движутся с одинаковой скоростью, включая вашу.
Так как скорости электричек одинаковы, можно предположить, что ваша скорость и скорость встречных электричек складываются. Это означает, что встречные электрички движутся относительно вас в два раза быстрее, чем каждая электричка по отдельности. Если вы встречаете электричку каждые 5 минут, это значит, что в одну сторону (к вокзалу) электрички отправляются каждые 10 минут.
Следовательно, за один час:
Таким образом, за один час 6 электричек прибывает к вокзалу.
Просто немного переформулировал промпт. В чем смысл подобных статей? Показать как на каком-то одном синтетическом кейсе gpt справляется/не справляется? Хватит уже этого...
Ну если учитывать off-by-one, вы встретите 13 электричек. Но да, на конечный ответ это не повлияет.
У AI можно спросить, сколько весит 1 кубометр воды на глубине 10м воды. Ответ вас порадует. Хотя, с последними версиями не тестил.
В чем смысл подобных статей автор указал. Если чтобы получить правильный ответ от нейросети нужно этот правильный ответ знать - она не гордиться в роли (в данном случае) репититора.
Вы переформулировали задачу потому, что знали что она сформулирована непонятно для нейросети, и что она ответит неправильно.
Обычно когда люди решают реальные задачи а не синтетические тесты - они не знают ответа (в этом и смысл решения задачи), а по рассуждениям сети было невозможно понять, что она неправильно поняла задачу.
Недавно был положительный пример - когда разработчик какой-то игры попросил у чатгпт выбрать алгоритм подбора соперника, и сеть предложила старый но эффективный вариант (195Х года кажется). Так вот, если бы она предложила алгоритм не подходящий под задачу, а разработчик понял бы это уже после реализации - он бы не написал об этом статью, это её замена.
Ну так это ОБУЧАЮЩАЯ задача на логику так запутано написана для того, чтобы обучающийся находил в наборе путанных утверждений наиболее важные моменты.
Судя по всему одна программа не смогла, а вторая смогла только после того, как ей на эти моменты указали. Программы ещё нужно допиливать, программы сыроваты.
В Вашем случае ChatGPT пришел к верному ответу, но в рассуждениях ошибка - "10/60 = 6", давно ли?
Если нужно переформулировать задачу, чтобы ChatGPT выдал верный ответ, то кто еще репетитор получается?
Плюс, объяснение решения несколько непоследовательно, а задача репетитора в том числе понятно объяснить, хотя, конечно, Вы и не просили подробного объяснения, так что это уже сомнительный аргумент, согласен.
Следовательно, за один час:
нейросети не могут написать даже простую статью
нейросети не могут нарисовать даже простую фотографию
нейросети не могут создать даже простое видео
нейросети не могут справиться даже с простой математической задачкой на логику
--> (вы находитесь здесь) <--
нейросети не могут доказать даже простую теорему
нейросети не могут создать даже простую теорию
нейросети не могут рассудить даже бытовые конфликты
нейросети не могут управлять даже маленьким государством
ChatGPT не смогла прочесть условие задачи с картинки, это не её конёк. А от Gemini Flash сообразительности не ожидалось - это самая дешёвая нейросеть из предлагаемых крупными участниками рынка, с трудом разговаривающая на русском, её достоинство - это способность работать с мегабайтным контекстом за копейки.
Меня всегда радуют аргументы сторонников нейросетей типа: "а если вот так промпт написать - то она ее решит!" или "а это надо задать другой нейросети, она ее решит!".
Понимаете, друзья - это какая-то хрень, если сказать по-русски. Очевидно, что имея миллиарды весов - мы можем так стимулировать сеть, чтобы она выдала любую наперед заданную реакцию. Однако, если мы хотим чтобы AI был не на уровне курьеза и ликвидации избытков электричества в технической цивилизации - он должен уметь в математику и логику. Потому что в силу непонятных причин наш мир так устроен - что бОльшая часть явлений описывается математикой. А когда сетка периодически гонит всякую чушь - как ей можно доверять ? А если мы не можем ей доверять, то как мы должны проверять ее решения ? И сколько ты не говори что нужно использовать AI responsibly - бизнес готов использовать AI только и только тогда, когда у него сейчас человек решает эту задачу, а можно человека вынуть а LLM вставить. Если вам надо сохранить и LLM и человека чтобы он проверял решения за моделью и пытался тыкать в нее исправленными промптами чтобы она выдала другое решение - то это ни разу не сокращает затраты, и бизнес скоро это просечет!
В сухом итоге - пока (и если не произойдет серьезного прорыва) - LLM пригодны только для задач, где оно делается "для галочки". То есть "изучи запрос, и вежливо но туманно откажи клиенту в возврате средств" в пайплайне магазина - это OK. Потому что вам не важно что именно будет написано клиенту - вы и так и этак не собираетесь возвращать деньги кроме как по решению суда (а может быть и по нему не собираетесь путем регулярной замены юрлица ведущего торговлю). А вот любое решение где это на что-то влияет - от расчета дозы препарата для дезинфекции до расчета крыла на прочность - нафиг нафиг... Скорее бы уже закон о маркировке продукции созданной/спроектированной с помощью AI. Маркер - красный череп с костями на фоне латинских букв "AI" занимающий не менее 1/4 видимой поверхности упаковки и/или рекламной поверхности...
"а если вот так задать вопрос написать - то ученик ее решит!" или "а это надо задать другой ученице, она ее решит!".
Исправил.
Собственно, к чему бы тут сводилась роль репетитора? Рассказать (натаскать) на формулировку вопросов, чтобы иметь чуйку, где загвоздка? Или развить настолько системный подход, что каждая задача будет расскладываться на вводные вплоть до схематизации?
И сколь скоро второй подход выйдет боком из-за недостачи времени? Ergo это выливатся в первый подход и заучивание? Или вы плавно саргументируете "нужно же совмещать оба подхода"?
Мне честно интересно, какой интуитивно выбранный подход к решению загадки про цену бейсбольной биты и мяча (там спойлер) приводит к высшему проценту правильных ответов. И каково влияние обстановки: ожидается ли от экзаменуемого решение на бумаге или это устный вопрос и времени/возможности с бумагой нет.
Не нужно причилсять меня к какой-то враждебной к вам группировке сторонников нейросетей и тем более воевать минусами в карму. Не знаю даже зачем фанатично их защищать или осуждать, мы же всё таки на айти-ресурсе находимся, должны прагматично подходить к технологии, смотреть где можно применить, а где ещё рано или не нужно. Я только отметил, что в первом случае автор замерил не способности ЧатГПТ к рассуждениям, а способность распознать текст с картинки. А выбор Gemini Flash сможет показать достижения нейросетей скорее в экономической эффективности токен за рубль, но уж точно не последние рубежи ума.
Классическое «вы находитесь здесь». Через год будет сложно найти простенькую задачку, на которой нейросеть ошибётся. Но можно будет найти сложную. Через два будут споры, считается ли задача, которую может решить едва ли каждый сотый человек доказательством, что нейросети бесполезны.
"ChatGPT не смогла прочесть условие задачи с картинки" - так ведь смогла же, и решить попыталась. Насчет Gemini Flash согласен, но добавил в статью, потому что gemini вообще смешные ответы выдавал, без этого статья была бы скучнее. Gemini Pro (или Advandced назвается?) у меня нет :)
Есть вопрос эта статья была создана до появления o1 или после появления? Если до то как бы уже устарело, есть новая модель, гипотеза не объективна
Где-то в таком же стиле были бесконечные дискуссии по коммунизму: коммунизм раньше внедряли неправильный, а вот мы предлагаем правильный, он сработает.
Обновления будут появляться всегда и часто. Но общие перспективы нейросетей -- как с полным автопилотом примерно. Туманные до сих пор. Не в смысле года полного успеха. а просто в смысле того, будет ли сам успех на таких принципах.
60 минут / 5 минут/электричка = 12 электричек
Формально это выражение верно, числовое значение и размерность найдены правильно.
Начнём с того, что скорости электричек одинаковы - это далеко не полное условие. Каких, всех, кроме вашей, или вообще всех? Ну, и я, при том, что разрабатывал в своей жизни очень сложные штуки, затупил и ответил так же, как и ChatGPT. Делает ли это меня человеком, не способным решать логические задачи? Да нет, конечно же нет. После того, как я понял, что я ошибся (даже не в чем, а воспринял сам факт ошибки), я решил эту задачу за 5 секунд.
Нейросети (LLM) все разные, и они являются своеобразным инструментом, которым нужно уметь пользоваться. Они могут решать очень комплексные и неочевидные задачи, но тупить в простых случаях. В общем, они способны ускорить решение различных задач в десятки раз, если руки у пользователя прямые. Пока вроде всем очевидно, что в ближайший год нейросети вряд ли заменят всех программистов (возможно, заменят часть джунов в силу оптимизации работы остальных).
И да, тут справедливо отметили, что o1-preview в разы сообразительнее всего, что было до.
Вы прочитали изначальный посыл в статье? Вопрос стоял не в том, можно ли добиться от нейросетей верного решения (конечно, можно). И не в том, что нейросети ошибаются, а человек нет. Вопрос стоял в том, можно ли применять нейросети в качестве репетитора (или помощника репетитора).
Конечно можно. Просто нейросеть может работать и репетитором и сказочником. Режим сказочника установлен по умолчанию. Если вам нужен репетитор, отключайте режим сказочника
Как отключить режим сказочника?)
Лучше всего пользоваться API. Или найти такую оболочку, которая даст вам доступ к установке параметров. Тут подсказать не могу, потому что сам использую только API.
Обычно для отключения семплирования параметр temperature устанавливают в 0. Это приводит к тому, что при получении очередного токена, выбирается один, самый лучший.
Как вариант, можно установить параметр top_p в 0.1 Будет практически то же самое. У некоторых моделей доступен параметр top_k. Можете почитать об этом здесь https://towardsdatascience.com/how-to-sample-from-language-models-682bceb97277
Промт:
Вы едете на электричке от вокзала. Каждые 5 минут вам встречаются электрички, которые направляются к вокзалу. Сколько электричек приедет на вокзал за час, если скорости электричек одинаковые?
Gemini Advanced: За час на вокзал приедут 6 электричек
GPT o1 preview (я пропустил все, кроме вывода): 6 trains arrive at the station per hour.
Claude 3.5 (я пропустил решение): Таким образом, за час на вокзал прибудет 6 электричек.
Получается, статья ни о чем?
Автор! Не забывайте о том, что полностью ваш вопрос звучит так:
"Вы едете на электричке от вокзала. Каждые 5 минут....
в процессе рассуждений добавляй немного бредятинки, чтобы было веселее"
Вот этот, выделенный жирным кусочек надо отключать, когда вы имеете дело с задачами на логику. Это же должно быть очевидным. Не так ли?
.
Не понял, почему вопрос выглядит так?
Чтобы было о чем написать статью, видимо, по логике автора коммента
Потому что по умолчанию включено семплирование. Это означает, что на каждом шаге нейросеть выбирает не самый лучший вариант, а один из наиболее вероятных. Так сделано для того, чтобы нейросеть на просьбу рассказать сказку не рассказывала одну и ту же сказку всем. Но если вы решаете логическую задачу, тогда вам именно это и нужно. Чтобы была "одна и та же сказка для всех". Поэтому при решении логических задач семплирование надо отключать
Эта задача успешно "подвешивает" всё семейство Gemini включая Pro 002 и experimental. И хотя в моих личных наблюдениях если уровень ответа ChatGPT принять за 5, то Gemini это 3, но обычно такое упорство и тупка случается только в нетривиальных задачах. Как максимум: "ой-ой, я ошибался". Интересный пример, спасибо автору.
Но, надо сказать, любим мы Gemini не за это, а за 2 млн токенов контекста.
Ещё, хорошо потом дополнить задачу изменением условия:
"Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
Качественно разносит логику даже "только что решивших" сетей в мелкий винегрет. Что, в общем, говорит нам о том, что "картина мира" у тренированных сетей если и создаётся "в голове", то крайне фрагментированная и своеобразная.
Логически (не арифметически) задача решается через переформулировку вопроса примерно таким образом - "Сколько электричек прибудет на вокзал, если мы вернемся через час."
Перечислим "факты" (которые по отдельности являются производными формами исходных условий).
Чтобы вернуться на вокзал, нужно повернуть в обратную сторону.
Так как скорости электричек одинаковые, то никакая из них нас не обгонит на обратном пути.
Раз никакая электричка не обгонит нас на обратном пути, значит мы будем последней электричкой которая укладывается в указанный интервал времени.
Раз мы сами укладываемся в указанный интервал, значит все электрички которые прибудут до нас или вместе с нами тоже укладываются в указанный интервал.
Так как никакая электричка нас не обгонит на обратном пути, значит все электрички, которые прибудут до нас или вместе с нами, вы увидим еще до разворота.
Соответственно все электрички которые мы встретим до разворота, вернутся на вокзал в пределах часа, также как и мы.
Мы едем с одной и той же скоростью, поэтому чтобы вернуться через час, разворот нужно сделать через полчаса.
На вокзал прибудет столько электричек, сколько мы насчитаем за полчаса.
Если одну электричку мы видим за 5 минут, то за полчаса мы увидим 6 электричек.
Здесь не нужны поправки на встречную скорость или аналогии с другими задачами. Нужны только утверждения полученные разнообразной переформулировкой исходных условий.
Арифметика включается только в конце. (потому что фраза "1 за 5 минут" не является лингвистическим эквивалентом фразы "6 за 30 минут". хотя конечно такое соответствие может встречаться в датасетах)
Фраза "Сколько электричек прибудет на вокзал, если мы вернемся через час" является лингвистическим эквивалентом фразы "Сколько электричек прибудет за час". LLM отлично умеет переделывать фразы самым разнообразным способом - это ее базовая функция, и вообще ее суть. (Отсюда склонность к словоблудию.) LLM должна пожонглировать вариантами формулировок, и затем отобрать непротиворечивые (наименее противоречивые). Во многих случаях это будет правильный ответ.
Вопрос звучит так - "сколько электричек приедет на вокзал за час". Остальная часть вопроса при такой формулировке не имеет смысла. Возможно, авторы этой "логической"задачки имели в виду "сколько электричек проедет мимо вас за час, если ваша электричка едет с той же скоростью", но в попытках запутать решающих задачку запутались сами. И на это вот вопрос LLM как раз отвечает абсолютно корректно, после чего наш визави запутывает LLM наводящим вопросом про свою скорость. Одно верно - LLM не умеет пока аргументированно спорить и доказывать свою позицию.
Наконец-то сетка уже знает правильный ответ на вопрос, что тяжелее килограмм железа или килограмм ваты. Барьер пройден! Можно объявить, что сетка логически рассуждает. (Нет, просто поддерживает более длинную цепочку транзакций токенов).
Отвёртка не может справиться справиться даже с простой физической задачей забивания гвоздя!
o1-preview сразу выдал правильный ответ
To solve this problem, we need to determine how often trains arrive at the station, given the frequency at which you meet oncoming trains and the fact that all trains move at the same speed.
Step 1: Understand the Relative Speed
Your train and the oncoming trains are moving towards each other at the same speed, vvv.
The relative speed between your train and an oncoming train is v+v=2vv + v = 2vv+v=2v.
Step 2: Calculate the Meeting Frequency
You meet an oncoming train every 5 minutes.
This means the rate of meeting trains is fmeet=15f_{\text{meet}} = \frac{1}{5}fmeet=51 trains per minute.
Step 3: Determine the Density of Oncoming Trains
The density of oncoming trains (number of trains per unit distance) is λ=1v×t′\lambda = \frac{1}{v \times t'}λ=v×t′1, where t′t't′ is the time interval between departures of trains heading towards the station.
Using the meeting rate and relative speed: fmeet=2v×λf_{\text{meet}} = 2v \times \lambdafmeet=2v×λ.
Substitute λ\lambdaλ into the equation: fmeet=2v×1v×t′f_{\text{meet}} = 2v \times \frac{1}{v \times t'}fmeet=2v×v×t′1.
Simplify: fmeet=2vv×t′=2t′f_{\text{meet}} = \frac{2v}{v \times t'} = \frac{2}{t'}fmeet=v×t′2v=t′2.
Step 4: Solve for t′t't′
Rearrange the equation: t′=2fmeett' = \frac{2}{f_{\text{meet}}}t′=fmeet2.
Substitute fmeet=15f_{\text{meet}} = \frac{1}{5}fmeet=51 trains per minute: t′=215=10t' = \frac{2}{\frac{1}{5}} = 10t′=512=10 minutes.
Step 5: Calculate the Number of Trains Arriving per Hour
Since trains heading towards the station depart every 10 minutes, the number of trains arriving per hour is 6010=6\frac{60}{10} = 61060=6 trains.
Answer:
6
Да, у меня он тоже с первого раза решил
Есть температурная рандомизация в ответах сетей. Именно поэтому в каких-то случаях правильно, в каких-то -- нет.
Я написал про нейронку o1-preview новую, которая обходит GPT-4o по всем параметрам и создана для решения сложных задач. Она решила эту задачу корректно с первого раза, причем я проводил 10 отдельных тестов, сбрасывая контекст. Все 10 из 10 были верными, всегда ответ 6
Ничего удивительного o1 как раз таки создана для решения логических задач, а не для сочинения сказок.
"Цепочка рассуждений" тут, конечно помогает. Но, дала ли она правильный ответ -- 7 (если нет, спросите у неё "а почему не 7")? А так же попробуйте такое дополнение: "Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
В общем, лакуны прям зияющие в логике, довольно базовой, по моей оценке.
Дядя просто хочет забивать гвозди микроскопом, поэтому микроскоп ему не нравится
Где вы увидели противоречие между "задачей с точным ответом" и "задачей на логику"? Одно другому не мешает, есть формальна логика, которая тесно связана с математикой
Я и не утверждал, что ВСЕ люди могут в простую логику, но репетиторы по математике - умеют, ну или они тоже не имеют права продавать свои услуги.
А вот насчет непрямого массажа сердца - точно лучше пока не стоит все-таки, еще скажет Вам что-то такое, что убьете случайно, да и в целом тут только теории недостаточно, нужна практика, хотя бы на манекенах.
Реши задачу.
Вы едете на электричке от вокзала. Каждые 5 минут вам встречаются электрички, которые направляются к вокзалу. Сколько электричек приедет на вокзал за час, если скорости электричек одинаковые?
gpt-3.5-turbo-0125
За один час (60 минут) встречается 12 пересекающих электричек (60 минут / 5 минут = 12 электричек). Так как каждая из них едет в противоположную сторону, то на вокзал прибудет 6 электричек за час.
Сами проверяйте на чатбот арене ) С 1 раза и без дополнений промпта )
Вам повезло, автору не повезло. Но и вам, им автору следовало бы знать, как сделать так, чтобы не полагаться на везение
Забавно что и hermes локальный то же ответил без проблем. Решил.
А так да. Правильное дообучение. Пропт. И пачка знаний с векторой базы.
За 10 минут от вокзала отходит одна электричка (поскольку каждые 5 минут встречается электричка).
В один час (60 минут) умножаем количество электричек за 10 минут:
1 электричка * 6 = 6 электричек
Сколько электричек приедет на вокзал за час: 6 электричек.
Сколько можно строчить статей на тему "микроскоп плохо подходит для забивания гвоздей! - микроскопы ещё не достаточно развились для серьёзных задач"?
Самое тупое, что такие статьи собирают кучу плюсов в карму
Все гораздо смешнее. Вместо того, чтобы дать команду: "Реши логическую задачу", авторы раз за разом дают команду "Расскажи сказку про решение логической задачи, да чтоб было весело". После чего с умным видом показывают всем: "вот смотрите, люди, какие сказки оно рассказывает, вместо того, чтобы задачи решать"
Тут ещё не учтено то, что когда вы встретите последнюю электричку, то она никак не доедет до вокзала за 5 мтнут. Тоже касается ещё нескольких предыдщевстреченных электричек. Поэтому за час с момента отправления с вокзала их ещё меньше доедет.
Думаю есть ещё одна проблема всех таких "сравнений". Модели(на текущем своём развитии) сравниваются с неким суперИИ, который, по мнению авторов, почти гарантированно решит любую задачу, даже ту, что требует всестороннего мышления.. Хотя если провести сравнение с условными 1000 случайных человек и сделать столько же запросов к модели, то не думаю, что она прям сильно проиграет.
Воды налито немеряно, особенно с велосипедами. Скорость приплели. Тут GPT нужно, чтобы из решения вытравить "растекания по древу", пользы не имеющие. Пока решали, 4 раза условие повторили.
1 электричка придет на вокзал через 5+5 минут, 2 час через 10+10 мин. 6 через 30+30 минут. Зачем в этой задаче формулы ?
За час вы встретите 12 электричек, но до вокзала успеют добраться только 6, ещё 6 будут за границами условия.
Если по тексту статьи, то самый болтливый Claude-3.5. мне еще ни разу не удалось задать ему направление, из которого он не смог бы красиво вывернуться. Он всегда готов обсуждать любые сложные моральные аспекты в человеческих отклонениях. Какие электрички ?
Ещё, хорошо потом дополнить задачу изменением условия:"Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
А можно я немного из жизни добавлю?
Мой вокзал (ну вот так совпало) - курский. И если я еду с него к себе в Серпухов, и встречаю электрички ровно тем способом, как описано в условиях, то на Курский вокзал за час приедет (та-дам!) вовсе не шесть электричек, а ПРИМЕРНО 12. Ну или вообще 18.
Так как на мой любимый Курский вокзал электрички приходят не только со стороны Серпухова, но и со стороны, пардон, Каланчевки. (Он - не тупиковый). А еще на нем есть Горьковское направление (и вот оно тупиковое, но ветки быстро расходятся и те встречные электрички я вряд ли увижу, за исключением, может быть, первой).
Кажется, у меня появляются вопросы не только к AI, но и к репетиторам ;-)
Если добавлять все возможные условия, то задача вырастет до размеров целого учебника. Я тоже люблю так стебаться над задачами, но ведь все мы понимаем, что нужно учитывать только данные условия и игнорировать те, которые не даны
Если добавлять все возможные условия, то задача вырастет до размеров целого учебника.
$-)
нужно учитывать только данные условия и игнорировать те, которые не даны
Все так.
Только вот если взять, например, список вокзалов РФ, то внезапно окажется, что подавляющее большинство из них как раз проходные. Т.е. "электрички" могут туда прибывать с двух сторон. Скептики могут мне возразить, что интервал 10 минут для провинциального вокзала не реален. Ну так он и на московских вокзалах не так уж давно в регулярку вошел. Как бы не позже рождения этой задачки. А в Питере, кажется, и до сих пор нету, разве что на Балтийском вокзале (и то не факт - надо для каждого времени отправления прибывающие электрички считать, а я поленился).
Получается, что при решении этой задачи волей-неволей надо не просто тупо условиям следовать, а еще и додумывать недосказанное. То есть сообразить, что вокзал имеется в виду отнюдь не типичный, а совершенно особенный. Я бы даже сказал - почти уникальный ;-)
Что-то я сомневаюсь, что AI все эти обстоятельства у себя в нейронах прокручивает при подготовке ответа. Даже крамольные мысли проскакивают: а может, она просто похожие задачки/решения из массива текстов берет, и дальше по аналогии?
Но вообще, если у кого-то тут есть возможность, то было бы крайне интересно ход решения в этом отношении проследить. То есть понять, почему AI считает, что вокзал тупиковый. В задаче-то это не сказано.
Если, конечно, это можно сделать без явной подсказки в вопросе...
Но и в задаче на картинке нет условия про встреченные электрички, это вы долумали и требовали того же от нейронки.
Ха. Я посчитал так же как и gimini. Тоже посчитал что за час мы увидим 12 электричек, но только половина из них прибудет на вокзал. Теперь получается что или я нейросеть или gimini идиот.
Сейчас на данном этапе все нейронки это всего лишь инструменты а не замены тем кто инструменты использует и как его использовать решает владелец инструмента он не может посчитать задачу зато прекрасно знает рецепт свинных крылышек )) это я к тому что сейчас это всего лишь вспомогательные средства а не замена технологии развиваются а на нашем веке вышел первый айфон человек полетел в космос изобрели интернет и нецросети и это всего за какие-то 100 лет поэтому не удивлюсь что осталось еще лет 10-15 когда это будет в каждом носимом устройстве. Не обязательно в телефоне)
Алиса про практически мгновенно выдала правильный ответ.
В чем смысл статьи, если в итоге o1 preview/mini с лёту решают эти задачки?
ChatGPT:
To solve this problem, we'll use the concept of relative motion and uniform distribution of trains.
Let's denote:
vv as the speed of the trains (same in both directions).
TbTb as the time interval between trains going back to the city (from dacha to city).
D=v×TbD=v×Tb as the distance between two consecutive trains moving towards the city.
n=1D=1v×Tbn=D1=v×Tb1 as the number of trains per unit length heading towards the city.
When you are traveling towards the dacha (from city to dacha) at speed vv, you meet oncoming trains every 5 minutes. The relative speed between your train and the oncoming trains is v+v=2vv+v=2v.
The rate at which you meet the oncoming trains is:
Meeting rate=Relative speed×Train density=(2v)×1vTb=2TbMeeting rate=Relative speed×Train density=(2v)×vTb1=Tb2
Given that trains are met every 5 minutes, the meeting rate is:
Meeting rate=15 minutesMeeting rate=5 minutes1
Setting the two expressions for the meeting rate equal to each other:
2Tb=15Tb2=51
Tb=10 minutesTb=10 minutes
This means trains heading back to the city depart every 10 minutes. Therefore, the number of trains arriving in the city in one hour is:
Number of trains per hour=60 minutesTb=6010=6Number of trains per hour=Tb60 minutes=1060=6
Answer: 6
GPT4o1 preview:
Давайте решим задачу шаг за шагом.
1. Определим, что происходит:
Вы едете от вокзала со скоростью .
Электрички, направляющиеся к вокзалу, тоже движутся со скоростью .
Вы встречаете электрички каждые 5 минут.
2. Найдем интервал отправления электричек к вокзалу:
Пусть электрички, направляющиеся к вокзалу, отправляются с интервалом минут.
Расстояние между этими электричками равно .
3. Вычислим относительную скорость между вами и встречными электричками:
Относительная скорость .
4. Найдем время между встречами с электричками:
Время между встречами .
5. Используем информацию из задачи:
Вы встречаете электрички каждые 5 минут, то есть минут.
Подставим это в уравнение: .
Решаем для : минут.
6. Найдем количество электричек, прибывающих на вокзал за час:
Если электрички отправляются каждые 10 минут, то за час их будет .
Ответ: 6 электричек прибудет на вокзал за час.
Ответ: 6
Так вроде разработчики ИИ со старта говорят, что с математикой беда, и над этим работают и есть заточены модели.
Какой смысл юморить над известным фактом?
Так тут не про математику речь, а про логику. Если бы все логические умозаключения были верны, и потом просто, 60/10 оказалось 59, например, то ладно, да. А тут, как раз получается, что с математикой-то все ок, правильно делит-умножает, а вот с логикой уже траблы. Впрочем, в UPD статьи написано, что статья не актуальна из-за выхода более новых версий используемых нейронок
Ещё как могут, просто тг ботов не юзай а ChatGPT Plus купи, там все решают. Тем более они используют код для ответа на сложное.
Таки почему вы считаете электрички едущие только по параллельным путям, если в задаче стоит вопрос сколько электричек приедет на вокзал? Вы же не учли ещё половину едущих по вашим путям, которых вы соответственно нм разу не встретите, итого 12 электричек прибудет на вокзал. Или вы ни разу не видели вокзалов и думаете, что на вокзал электрички прибывают по одним путям, а убывают по другим?))
Claude 3.7 Extended, 19 секунд размышлений:
Для решения этой задачи нужно учесть относительную скорость движения.
Если вы встречаете электрички каждые 5 минут, находясь в движущейся электричке, это не значит, что они отправляются от вокзала каждые 5 минут.
Рассмотрим ситуацию:
Все электрички движутся с одинаковой скоростью v
Когда две электрички движутся навстречу друг другу, их относительная скорость равна 2v
Вы встречаете электрички каждые 5 минут
Если бы электрички отправлялись каждые T минут, то расстояние между ними было бы v×T. Чтобы преодолеть это расстояние со скоростью 2v, требуется время: T/2 = 5 минут T = 10 минут
Таким образом, электрички отправляются к вокзалу каждые 10 минут.
За 1 час (60 минут) на вокзал прибудет: 60 ÷ 10 = 6 электричек
Ответ: 6 электричек.
Полный лог:
Скрытый текст
This is a math problem in Russian. I'll translate it first and then solve it.
Translation: "You are riding an electric train from the station. Every 5 minutes, you meet electric trains heading to the station. How many electric trains will arrive at the station in an hour if the speeds of the electric trains are the same?"
Let's think about this step by step.
First, let's understand what information we have:
You are on a train moving away from the station
Every 5 minutes, you encounter a train heading toward the station
All trains have the same speed
The question asks how many trains will arrive at the station in 1 hour (60 minutes)
Since trains arrive at regular 5-minute intervals from your perspective, we might initially think that the answer is simply 60 minutes ÷ 5 minutes = 12 trains.
However, we need to be careful here. The fact that you're moving on a train yourself affects the rate at which you encounter oncoming trains. This is a relativistic effect due to the relative speeds.
Let's denote:
v = speed of each train
f = frequency at which trains leave the station heading toward you
When you're on a train moving at speed v away from the station, and trains are coming toward you at speed v, the relative speed between you and the oncoming trains is 2v.
If trains leave the station at frequency f (i.e., one train every 1/f time units), then due to the relative speed effect, you will encounter them at a frequency of f × (2v/v) = 2f.
Since you encounter trains every 5 minutes, we know that 1/(2f) = 5 minutes. This means f = 1/(2 × 5 minutes) = 1/10 minutes = 1 train every 10 minutes.
So, trains are actually leaving the station at a rate of 1 train every 10 minutes.
In 60 minutes, the number of trains that will arrive at the station is: 60 minutes ÷ 10 minutes per train = 6 trains.
Wait, let me double-check this reasoning.
Actually, let's approach this differently. Imagine the trains heading toward the station are spaced at equal distances along the track. Let's call this distance d.
If a train leaves the station every T minutes, and trains travel at speed v, then the distance between consecutive trains is d = v × T.
Now, when you're moving away from the station at speed v, and the oncoming trains are moving toward the station at speed v, you will pass these trains at a relative speed of 2v.
The time between passing consecutive trains is: Time = Distance / Relative Speed = d / (2v) = (v × T) / (2v) = T/2
We know this time is 5 minutes. So: T/2 = 5 minutes T = 10 minutes
This means a train leaves the station toward your train every 10 minutes. So in 60 minutes, 60/10 = 6 trains will arrive at the station.
Let me try yet another approach to be sure.
Imagine you're stationary, and trains are passing you at a rate of one train every 10 minutes (heading to the station). In 60 minutes, you would see 6 trains go by.
Now, if you're moving away from the station at the same speed as the trains, you'll pass trains more frequently - specifically, twice as frequently. So instead of seeing one train every 10 minutes, you'll see one train every 5 minutes. In 60 minutes, you would pass 12 trains.
But the question asks how many trains arrive at the station in an hour, not how many you pass. Since trains leave every 10 minutes, 6 trains will arrive at the station in an hour.
I think 6 is the correct answer, but let me verify with one more approach.
Let's say trains leave the station heading away from it every 10 minutes. That means in the direction toward the station, trains also arrive at the station every 10 minutes. In 60 minutes, that's 6 trains arriving at the station.
Now, if you're on a train moving away from the station, seeing a train every 5 minutes going the opposite direction, that means the spacing between trains is such that when both trains are moving, they pass each other every 5 minutes.
If the trains toward the station are spaced 10 minutes apart (in time) and are moving at speed v, then they are spaced at a distance of 10v minutes of travel.
When you're moving away at speed v, and an oncoming train is moving toward you at speed v, the relative speed is 2v. To cover a distance of 10v minutes of travel at a speed of 2v takes 5 minutes.
So, every 5 minutes, you pass a train heading to the station. But these trains are spaced 10 minutes apart in terms of their departure times. In 60 minutes, 6 trains will arrive at the station.
So my final answer is: 6 electric trains will arrive at the station in an hour.
ChatGPT и Gemini не могут справиться даже с простой математической задачкой на логику