Почему сила LLM не гарантирует точность

Уверенная и складная речь легко принимается за признак правоты — и человеком, и машиной.
Мы достраиваем недостающие связи, выбираем объяснение, которое совпадает с прежними убеждениями, и особенно охотно делаем это под давлением, в усталости или стрессе. Даже профессионалу трудно постоянно удерживать дисциплину мышления. История не раз показывала, что самые сильные эксперты своего времени могли годами разделять ошибочные представления, а увидеть ошибку удавалось лишь позднее, когда появлялись новые данные или становились очевидны последствия принятых решений.
Сильная LLM унаследовала эту склонность вместе с человеческими текстами, на которых училась. Она умеет быстро собрать правдоподобную версию, но может не заметить логический разрыв, принять последовательность событий за причинную связь или усилить гипотезу, которую собеседник уже считает верной.

















