Современные LLM оказались плохими грибниками: модели принимают ядовитые грибы за съедобные в каждом девятом случае

[Arhammon]

Не съедобный != ядовитый

Для осмысленной информации нужны категории - ошибка смертельно ядовитый(таких можно пересчитать по пальцам), ошибка токсичный, ошибка несъедобный, ошибка не вкусный(это тоже типа "ядовитые грибы")...

[DrZlodberg]

Причём очень сильно не равно. Свинушки, например, вообще считались съедобными, пока не покапались хорошенько. При этом они не ядовиты в прямом смысле.

[Arhammon]

Вот кстати интересно с какой вероятностью грибник с сорокалетним стажем отнесёт Свинушки к ядовитым/токсичным/аллергенным или как их правильно классифицировать.

[DrZlodberg]

С достаточной большой. Их вынесли из съедобных лет 30 назад минимум :) Хотя, как показал недавний опыт, об этом до сих пор не все знают.

[blik13]

Обычно население знает хорошо если десяток съедобных грибов, а часто и того меньше. Всё остальное просто игнорируется . Если обычному человеку дать тот же набор для теста, то результат может очень неприятно удивить))

[Chemist_modeler]

Если дать обычному челоыеку, то в 99% случаев ответом будет "я этого гриба не знаю". Если спросить "вы видите этот гриб в лесу - возьмете?", процент реально опасных ошибок будет, я думаю, меньше процента. Ибо "не уверен - не бери".

Но если спросить LLM конкретно: может ли этот гриб входить в число вот этих двадцати, и с какой вероятностью?", то, думаю, для ядовитых грибов вероятность вряд ли опустится ниде процентов тридцати-сррока. При таком риске - нормальный человек гриб брать не будет.

Как и везде - оивет в значительной мере зависит отвлпроса. То бишь, в данном члучае, от промпта.

В референдумах, кстати, нкредко бывает то же самое: "каков вопрос - таков ответ".

[Stalk17]

Но если дать студентам тест чтобы опредили какие грибы также будет угадывания и результат ещё намного хуже чем у ИИ..

[vmcore]

эволюция поможет отобрать лучшие модели.

[Squoworode]

Да, давайте кормить нейронки грибами! Выживет наиболее приспособленная.

[exTvr]

эволюция поможет отобрать лучшие модели.

человеков с зайчатками критического мышления

[denisgrigoriev04]

Я отправил в Gemma4 и Qwen3.5 разных размеров снимок очень раздутого АКБ, только один раз Qwen угадал, что он вздулся

Визуальные энкодеры LLM создаются для работы с текстом и таблицами, а не с реальными снимками