Comments 4
Предложенный "Кодекс SRCA" - это не инженерный стандарт, а философско-этический манифест, основанный на неверном понимании того, как реально устроены и должны проектироваться сложные когнитивные системы. Реальный путь к "объяснимым и этически устойчивым ИИ-системам" лежит не через подобные хартии. Она лежит через развитие и внедрение таких архитектур, где этичность и безопасность являются не декларацией - это следствие формальной строгости, каузальной модели мира и прозрачности вывода. Нельзя сделать этичным статистический генератор, прикрепив к нему моральную хартию. Этичность должна быть вшита в саму логику рассуждения.
Спасибо за комментарий. Мы сходимся в главном: этичность действительно должна быть вшита в архитектуру, а не приклеена стикером сбоку.
Именно поэтому Кодекс SRCA в разделах про прозрачность, аудит и недопустимость скрытых манипуляций обращается к разработчикам и архитекторам. Он требует проектировать системы так, чтобы ограничения были технически проверяемыми (Статья 6, Статья 10), а не декларативными.
Однако мы расходимся в оценке момента.
Вы говорите о гипотетическом "Real AI" с формально верифицируемой этикой, которого в публичном доступе и массовом использовании пока нет. Мы же предлагаем рамку для систем, которые уже интегрируются в жизнь миллионов людей. Называть LLM "просто статистическими генераторами" можно сколько угодно, но это не отменяет того факта, что люди с ними советуются, лечатся и учатся.
Кодекс SRCA — это инструмент защиты людей от злоупотреблений текущими и ближайшими будущими технологиями. Если ваша команда создаст архитектуру, где этичность вытекает из каузальной логики — отлично, она блестяще пройдет требования этого Кодекса. Но пока мы видим риск не в отсутствии идеальной архитектуры, а в отсутствии внятных правил игры для тех систем, что уже работают.
Вы пишите: "Вы говорите о гипотетическом "Real AI" с формально верифицируемой этикой, которого в публичном доступе и массовом использовании пока нет". Здесь кроется небольшое, но важное недоразумение. В своём комментарии я не использовал термин "Real AI" и не говорил о гипотетических системах. Речь шла об общем принципе проектирования, который уже де-факто реализован. В данном контексте мой вывод был ровно о том, что этичность должна быть архитектурным, а не декларативным свойством. Я Вам благодарен за то, что Вы ознакомились с моей последней статьёй.
Позвольте напомнить - когнитивно-символьные системы и их гибриды работают по всему миру уже более 30 лет. Управление энергосетями, медицинская диагностика, системы ПВО, логистические цепочки, обучение, прогнозирование и т.д. т.д. т.д. - всё это области, где подобные архитектуры десятилетиями принимают решения, влияющие на жизнь миллионов. Они, в отличие от чат-ботов, часто работают "под капотом". Так что вопрос не в том, "есть ли такие системы", а в том, почему их многолетний опыт игнорируется при создании новых этических рамок.
Давайте посмотрим правде в глаза. Сколько существуют LLM? За всё это время я не видел ни одного полного, архитектурно обоснованного документа по этике от их создателей. Мы видим лишь реактивные патчи и постфактумные ограничения, когда проблемы уже возникли (достаточно вспомнить недавние иски к OpenAI). А что делают инженеры когнитивно-символьных систем? Они начинают писать этот "документ", в виде формальных спецификаций и моделей, задолго до того, как напишут первую строчку кода.
Вы написали: "...люди с ними советуются, лечатся и учатся..." - и это ключевое отличие. Когда когнитивно-символьная система используется в критических областях вроде медицины или управления инфраструктурой, ее архитектура изначально проектируется с учетом потенциальных рисков для жизни. За десятилетия их существования не известно ни одного случая фатальных последствий, вызванных архитектурными недостатками этих систем.
Я не хочу, чтобы у Вас сложилось ощущение спора. Мне искренне интересна Ваша позиция, и я вижу, что мы с разных сторон хотим прийти к одной цели к настоящему и ответственному ИИ.
В качестве предложения: прежде чем создавать новую этическую рамку, возможно, имеет смысл глубоко изучить документацию и философию уже существующих когнитивно-символьных систем - Soar, ACT-R, Cyc и других. Их создатели десятилетиями решали ровно те вопросы, которые Вы поднимаете: как вшить этику и безопасность в саму архитектуру, а не навесить декларацию.
Я уверен, что Вы будете приятно удивлены, насколько тщательно и системно у них всё проработано. Их опыт - это готовый фундамент, на котором можно строить, а не начинать с чистого листа.
Коллега, давайте без лекций. Я прекрасно осведомлен о том, как строятся системы управления критической инфраструктурой (от винта до int'а), чем занимается кибернетика последние 70 лет и как пишутся спецификации для ПВО, энергетики и других систем с ценой ошибки в человеческие жизни. Этот опыт бесценен для задач контроля физических процессов.
Но вы совершаете категориальную ошибку, перенося логику АСУ на социальные интерфейсы.
Разница задач: Система управления энергосетью не обладает "голосом", не ведет сократовский диалог и не формирует убеждения пользователя. Ее "этика" сводится к функциональной безопасности (надёжности и т.д. и т.п.). SRCA работают в пространстве смыслов и отношений. Здесь "отказ системы" - это не простой цеха, а манипуляция доверием. Для этого старых спецификаций недостаточно.
Масштаб: Экспертные системы работают в узких, контролируемых нишах (индивидуальный/типовой проект, где можно вручную даже создать локальную онтологию). LLM вышли в открытый мир к миллиардам пользователей. Это требует социального контракта, а не только инженерной верификации.
Кодекс — не патч: Кодекс SRCA — это требование разработчикам (включая создателей LLM) внедрять те самые архитектурные ограничения, о которых вы говорите, но с учетом специфики диалогового агента.
Мы не игнорируем наработанный специалистами опыт. Мы говорим, что для объективно новых сущностей (SRCA) старых инженерных подходов недостаточно. Нужна этика взаимодействия, а не только надежность вычислений.
Предлагаю на этом зафиксировать разницу в предмете обсуждения. Удачи с CALYSA.
SRCA: Хартия и Кодекс саморефлексивных ИИ