Чат-бот Amazon Q уличили в «галлюцинациях» и утечке данных дата-центров AWS

[Comdriver]

Вот что меня каждый раз поражает в таких новостях - чтобы бот смог выдать конфиденциальную информацию, его должны были его на ней обучать. Зачем?

[kryvichh]

Они хотят, чтобы нейросеть работала техассистентом в AWS, вот и кормят её внутренней документацией AWS. Предполагалось, что LLM не запоминают обучающую выборку "как есть". Но по факту оказалось, что если нейросеть очень большая, в ней хватает места, чтобы выучить часть этих документов назубок.