Comments 18
не все нейроны можно объяснить на естественном языке
Hidden text
То есть, говоря человеческим языком. Берем результаты лепета грудного младенца, скармливаем их человеку с докторской степенью и говорим: "Какие паттерны его агуканья находятся в корреляции с его будущими выводами?" А ChatGPT-4 такая: "Ну если в бутылочке было достаточно теплое молоко и он поспал физиологическую норму... значит пора менять подгузник..." Других паттернов при прямом измерении выявить не удается...
Вот почему я не люблю ИИ, хоть и признаю его полезность. Отладить его тупо невозможно, только переобучить.
С человеками та же проблема
Интересно как будет называться профессия по отладке ИИ.
ИИ-Дебаггер или ИИ-Психолог.
с человеками проблема, что и переобучить часто не удается...
А они еще и сопротивляются. "Верни все в зад" говорят они.
Человеков сажают в тюрьму или, в некоторых режимах, сразу убивают.
Меня, с образованием в области оптимального управления (машинами, не людьми) в нейронных сетях всегда напрягает проблема… не знаю правильный термин, поэтому позаимствую у мат. статистики - состоятельность.
Иными словами, где гарантия что нейронная сеть будет вести себя адекватно на всех возможных вариантах, а не окажется что у нее есть локальный экстремум и она сходит с ума именно когда, не знаю, человек ровно на 2.534* градуса по курсу.
В случае с ChatGPT - это будет фраза, которая заставляет её отвечать либо полную белеберду, либо раскрывать несвязанные данные (хакинг chatgpt подбором фраз).
Согласен. Чего только стоят системы распознавания текста, которые регулярно совершают ошибки. И этим нейронкам не один десяток лет... Имхо, самый наибольший недостаток в том, что результат работы нейронки всегда требует проверки человеком.
Человеческая проверка тоже не панацея. Результат работы человека так же требует проверки, все постоянно косячат.
Человек ошибается, но может взять на себя ответственность. А компьютер, обычно, не ошибается, но и ответственность не несёт.
А с ИИ получается ни рыба ни мясо...
Пока что ИИ, слава кому-нибудь, не полключен напрямую к роботам, чтобы "нести ответственность". Окончательное решение всегда за человеком. А если человек прочитал буковки на экране и пошёл пить отбеливатель — то кто ж ему злобный Буратино?
(Именно такие человеки в швятые девяностые несли свои кровно заработанные в МММ. Не мамонты, не вымрут.)
В OpenAI изучили работу GPT-2 при помощи GPT-4 и попытались объяснить поведение нейронов