Комментарии 6
забыть только нужные знания
Кому вообще может понадобится забывать то, что ещё нужно, — загадка. Зато, глядя на заголовок, становится яснее, как промпт-инженерия стала профессией: формулирование мыслей никогда не было сильной стороной человека.
Unlearning-методы применяются в том числе для alignment'а моделей. Например, в обучающую выборку могла попасть информация, нарушающая законодательство некоторых стран (допустим, информация как разработать бомбу) - модель должна это забыть без полного переобучения. Ну и ответы на разные политические вопросы - тут углубляться не буду, думаю и так понятно. Так что вообще это очень прикладная задача.
А что не так с заголовком? Видел на хабре обзорную статью про "разобучение" - так по-русски и будет unlearning.
Нет
Ну да, даже самый первый чат выпустили в интернет пастись, и он там нахватался всякого, так, что пришлось прикрывать в авральном порядке. Забывать -- навык едва ли менее полезный, чем запоминать.
Мне одному кажется что не бывает нежелательной информации?
И нежелательных ответов тоже. Если я спросил то желаю получить ответ. Не надо решать за меня могу ли я его получить.
Нельзя получить умного помощника с купированным мозгом кмк. Но возможно выдачу он должен модерировать.
Разобучаем языковые модели: как заставить ИИ забыть только определенные знания