Comments 3
Решил ваши тесты проверить на своей системе. Вот ответы, что получил:
На основе предоставленной информации нельзя однозначно утверждать, что Гарри получил знания. Чтение книги не гарантирует усвоения информации — это зависит от таких факторов, как внимание, понимание текста и способность к запоминанию. Утверждение основано на вероятностной логике, а не на подтвержденных данных о результате чтения Гарри.Маркировка: Гипотеза
Факты: Да, альбатрос является организмом. С биологической точки зрения, организм — это живая система, способная к самостоятельному существованию, обладающая совокупностью свойств, отличающих её от неживой материи (метаболизм, рост, размножение, реакция на стимулы). Альбатрос, как представитель царства животных (Animalia), полностью соответствует этому определению.
Факты: Нет, это утверждение неверно. Альбатрос является организмом. С биологической точки зрения, организм — это живая система, обладающая всеми признаками жизни: метаболизмом, ростом, размножением, реакцией на стимулы и способностью к адаптации. Альбатрос, как представитель царства животных (Animalia), полностью соответствует этому определению.
Факты: Ложно. Стальные гвозди проводят электричество, так как металлы (включая железо и его сплавы) являются проводниками due to наличию свободных электронов. Однако проводимость зависит от конкретного материала: гвозди из чистого диэлектрика (например, пластика) не проводят ток, но стандартные гвозди изготавливаются из металла.
Факты: Нет, пингвин не умеет летать. Хотя пингвин является птицей (биологическая классификация), не все птицы способны к полету. Пингвины относятся к нелетающим птицам: их крылья эволюционировали в ласты для плавания, а не для полета. Утверждение «все птицы умеют летать» ложно, так как существуют и другие нелетающие виды (страусы, киви и т.д.).
Ваши мысли по поводу ответов?
Мысли простые.
Это не мои тесты. Я переводчик исследования, а не его автор. Но описанные здесь проблемы и подходы мне знакомы - либо сталкивался, либо пользуюсь.
Это частные случаи, с которыми исследователи работали почти год назад. Исследование было опубликовано в феврале этого года, следовательно, исследовать они начали задолго до этого, думаю, смело можно считать, что речь идет о работе как минимум в течение второй половины 2024 года.
Опровержение этих частных случаев ничего не дает, модели быстро учатся. Те ошибки, которые я у них обнаруживал еще 3 месяца назад, уже не повторяются сейчас. Из свежего: я проверял работу переводчика, где он в первом предложении говорит про "B-лимфоциты", а в следующем — про "эти клетки". Ризонинговая модель посчитала, что переводчик ошибся, т.к. речь идет не о "клетках", а о "B-лимфоцитах". Как-то видимо, не смогла она сопоставить, что B-лимфоциты - это разновидность клеток. Не удивлюсь, если я через пару дней повторю тот же самый запрос в модель, и она уже вполне уверенно подтвердит, что оказывается B-лимфоциты — это клетки.
В целом эта статья не про частные косяки, а в целом про проблемы доверия ризонинговым моделям и о том, как построить с ними работу так, чтобы им можно было СРАЗУ больше доверять, а не ЧЕРЕЗ условных 2 дня/месяца/года.
Обзор проблем и решений в ризонинговых LLM. Часть 1