Ахиллесова пята ИИ: простая задача, обнажившая слабости всех языковых моделей

Очень просто. Исследователи попросили ИИ поразвлекать их, давая не скучные правильные ответы, а веселые ответы с бредятинкой. Единственное что их отчасти извиняет, это то, что они не отключили сэмплирование просто по незнанию

Ахиллесова пята ИИ: простая задача, обнажившая слабости всех языковых моделей

Надо не настаивать, а понимать, что ты делаешь: развлекаешься или делом занимаешься. Если занимаешься делом, и дело подразумевает точность, нужно устанавливать соответствующий режим. Развлекательные установки, которые стоят по умолчанию у большинства пользователей тут не годятся. Все просто. И, в то же время, удивительно, почему до людей это с таким трудом доходит

Ахиллесова пята ИИ: простая задача, обнажившая слабости всех языковых моделей

Действительно задумаешься )))

Ахиллесова пята ИИ: простая задача, обнажившая слабости всех языковых моделей

О чем? Ребята попросили ИИ: решай задачки, только на каждом шаге добавляй немножко бреда в рассуждения. Если бы они не просили добавить бреда, правильным был бы каждый первый ответ

Ахиллесова пята ИИ: простая задача, обнажившая слабости всех языковых моделей

Статья не старая (июнь), а просто детсадовского уровня. Авторы не разобрались в деталях, как работают языковые модели. Просто скопировали чей-то код. И стали проводить "исследование". Их "результаты" не имеют никакой ценности.

Можете сами открыть их код и убедиться, что он неприменим к данной ситуации

Ахиллесова пята ИИ: простая задача, обнажившая слабости всех языковых моделей

Мощность того, что "заперто в черепушке" в тысячу раз превышает мощность лучшего на сегодня суперкомпьютера. А потребляет энергии... ну вы поняли

Ахиллесова пята ИИ: простая задача, обнажившая слабости всех языковых моделей

Не поленился. Залез по ссылке, которую дают авторы оригинальной статьи на Гит.

Да, действительно:

          for model in models:
                for trial in range(n_trials):
                    messages = [{ "content": prompt,"role": "user"}]
                    response = together.Complete.create(
                      prompt = prompt, 
                      model = model, 
                      temperature=0.7,
                      top_p=0.7,    
                      top_k=50,
                      repetition_penalty=1,
                    )
                    model_response = prompt + response['choices'][0]['text']

Температура 0.7

Сам факт меня не сильно удивил. Я также, как и вы сразу подозревал что-то подобное.

Удивительно другое. Статья не где-нибудь, а в Arxiv.

[2406.02061] Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models (arxiv.org)

Как могут так позориться люди с академическими статусами! Куда катится мир!

Мечты о звездах: зачем куда-то лететь, когда есть телескопы?

Ну вы даете! Где вы увидели "совсем без гравитации"?

• Ребята, жить при температуре 40 по Цельсию можно, но вредно. Лучше перебраться в место, где 24

• Не, не, не. Мы пробовали -273. Ничего хорошего

Воду в жидком виде надо устранить, чтобы вода "не устранялась". Вода в твердом виде лежит себе и лежит и никуда не девается, чего не скажешь про жидкую воду. Ну а технология превращения твердой воды в жидкую, как вы понимаете, известна давным-давно.

Атмосферу надо устранять, потому что климат. Климат меняется быстро. Иногда очень быстро. Не успел оглянуться и у тебя уже +400 и воды нет ни капли. К тому же метеориты. Импактное событие с относительно крошечным телом для планеты с атмосферой приводит к большому ба-да-бам! и вымиранию динозавров. А на планете без атмосферы ни к чему такому не приводит

Мечты о звездах: зачем куда-то лететь, когда есть телескопы?

Как вы устраните 1g? Это самый вредный фактор. Как вы устраните воду в жидком виде? А это самый опасный фактор. Как вы устраните атмосферу? Это самый непредсказуемый фактор

Мечты о звездах: зачем куда-то лететь, когда есть телескопы?

Как раз для того, чтобы продлять жизнь, и нужно переселяться с Земли. На Земле условия неблагоприятные

Мечты о звездах: зачем куда-то лететь, когда есть телескопы?

Нет никакой проблемы. Почему-то мало кто обращает внимание на то, что по логике вещей жизнь должна зарождаться в одних местах, а жить совсем в других. Потому что условия подходящие для зарождения жизни совсем не подходят для ее устойчивого существования.

Таким образом, любое незанятое место, подходящее для устойчивого существования можно спокойно занимать. Никакая жизнь там не зародится. Вот, например, Луна. Прекрасное место для устойчивого существования. Какая там может зародиться жизнь?

Мечты о звездах: зачем куда-то лететь, когда есть телескопы?

По часам космического корабля при постоянном ускорении в привычные нам 1g за обычное время жизни человека долететь можно куда угодно, хоть до края наблюдаемой вселенной

Альтман и Брокман заявили об отсутствии проблем безопасности в ИИ-продуктах OpenAI после ухода Суцкевера и Лейке

Можно и другое объяснение найти. Обычная человеческая борьба за лидерство. Илья попытался "сковырнуть" Сэма. И ему даже удалось его уволить. Но, так как компания Microsoft почти сразу же заявила, что принимает Сэма к себе, а 95% сотрудников OpenAI сказали, что уходят вместе с ним, то "заговорщики" внезапно обнаружили, что по факту они не Сэма уволили из OpenAI, а самих себя.

Прошло некоторое время. Страсти улеглись. И теперь проигравший уходит. Ничего удивительного

Почему ИИ не умеет в 1С

Вот именно, что почти

Почему ИИ не умеет в 1С

Но вы же не засунете базу данных в промт. ИИ не умеет выдавать результат из базы данных. Вы даете ИИ структуру базы данных и просите выдать вам текст запроса. Потом выполняете этот запрос и выдаете пользователю результат. В случае с 1С это должен быть текст запроса на языке запросов 1С.

Пример дивергентного мышления ИИ при использовании 1С запрос copilot

На каком месте сейчас генту?

Пример дивергентного мышления ИИ при использовании 1С запрос copilot

Набираете в Google или в Яндекс "1С запрос copilot"

Пример дивергентного мышления ИИ при использовании 1С запрос copilot

Вы где-нибудь видели QuickBooks copilot или QuickBooks запрос copilot?

Пример дивергентного мышления ИИ при использовании 1С запрос copilot

Вот ведь бывает!

Задача формулировалась так:

"Как найти день, когда в отеле было максимальное количество клиентов?"

Спасибо, что заметили! Исправил

Нет у меня никакого первого имени

Называть столбцы надо так, чтобы было понятно ИИ