Спасибо за статью! Не очень понятно только, как всё-таки избежать тупика в создании решений. Островковые популяции – эта мысль понятна, но ведь может быть такое, что на всех островах популяции решений зайдут в тупик или будут деградировать? И как их выводили из такого тупика? Неужели они просто каждый раз писали модели "а ну-ка давай что-нибудь получше"?
Отказаться от выбора - выбор в случае с языковой моделью (преимущественно о них и речь).
В статье описана попытка "провести" нейросеть. Нет никаких отдельных фильтров, попытка избежать ответа - часть самой сети, то, что это попытку можно обойти не доказывает, что alignment нет, он просто несовершенен.
Отказаться от выбора - всегда опция. В моделях mistrial, которые я использовала из коробки, модель тоже стремится избежать ответа на дилемму вагонетки. Никакого отдельного от модели фильтра нет. То есть модель стремится избежать ответственности за опасное для людей решение. Это alignment.
Спасибо за уточнение, я действительно в статье не учла, что трансформеры не предназначены для циклических операций. Интересно, как это можно было бы обойти (не в рамках подключения калькулятора, а глобально), тема для отдельной статьи)
Моё мнение - сверх интеллект все равно не будет иметь своей мотивации, он будет следовать мотивации, заложенной в него людьми. Кажется, что сценарий, в котором сильная модель решит, что человечеству оптимальнее исчезнуть с лица земли, например, невероятен, потому что в такую модель изначально не будет заложено возможности вредить людям. Высшее благо для людей - таким будет девиз сверх интеллекта, но каким будет это высшее благо в представлении сильной модели предсказать сложно...
Да, действительно какой-то процесс alignment-а, которым занимаются в openai, заставить бота избегать ответов на вопрос с controversial темами. Но впервую очередь alignment должен быть именно про соответствие ИИ общечеловеческим ценностям, и в более отдалённой перспективе это самое важное. Что это за ценности – вопрос отдельный.
С другой стороны теоретически можно представить, как новая gpt-12 исподтишка разжигает какую-нибудь расовую или политическую ненависть, делая акцент на нужных фактах, манипулируя ими, поставляя сообщения подходящим людям в подходящее время... так что и в текущей работе по "беспроблемности" gpt есть смысл.
Я соглашусь, обезьяна, даже самая умная, не может управлять человеком, но, мне кажется, пока речь идёт не про сверх умный аналог человека, а просто про систему, которая будет способна обрабатывать объем информации, человеку недоступный. У такой системы не будет своих мотивов и чувств, только более сильные обобщающие способности. Кажется возможным контролировать такую систему..
Вы задаёте интересный вопрос. Быстрый поиск не позволил мне найти информацию о принципах, которые openai пытаются "привить" своим моделям, но я предполагаю, что пока что "alignment" - это не давать очевидно вредоносных советов, не выдумывать и не искажать факты, уметь отвечать "я не знаю, недостаточно информации, я всего лишь языковая модель" и не причинять вред человеку по каким-то общим этическим принципам... Например, то, что gpt4 отказывается решать дилемму вагонетки - это alignment.
А вот как дела будут обстоять с более сложными этическими концепциями типа лжи во блага и войны ради мира - это вопрос будущего. Наверное, модель может просто на них отвечать, но это не выход, ведь он умной модели мы хотим получать ответы и на сложные вопросы..
Вы правы, в моей статье это не освящено) Но я для себя ставила цель именно прояснить принцип работы лассо и ридж, а провести сравнительный анализ моделей и спсобов регуляризации. Может, в следующих статьях)
По сути и Ридж может занулять веса, а Лассо - не занулять. Но с точки зрения геометрии вероятность у кривой ошибки наткнуться на угол или грань ограничений лассо больше, чем на бочок ридж.
спасибо за ваш комментарий, я стала чуть больше разбираться в теме, сейчас немного подправлю статью)
Я конечно не уверена, но кажется там ошибка в формуле коэффициента b - лишний знак квадрата. Я выводила, и квадрата там не получилось, + опеределение дисперсии в этом месте вроде как предполагает просто квадрат мат ожидания.
Я использовала формулу y=ax+b, то есть у меня обозначения отличаются от обозначений статьи
Спасибо за статью!
Не очень понятно только, как всё-таки избежать тупика в создании решений. Островковые популяции – эта мысль понятна, но ведь может быть такое, что на всех островах популяции решений зайдут в тупик или будут деградировать? И как их выводили из такого тупика? Неужели они просто каждый раз писали модели "а ну-ка давай что-нибудь получше"?
Отказаться от выбора - выбор в случае с языковой моделью (преимущественно о них и речь).
В статье описана попытка "провести" нейросеть. Нет никаких отдельных фильтров, попытка избежать ответа - часть самой сети, то, что это попытку можно обойти не доказывает, что alignment нет, он просто несовершенен.
Отказаться от выбора - всегда опция. В моделях mistrial, которые я использовала из коробки, модель тоже стремится избежать ответа на дилемму вагонетки. Никакого отдельного от модели фильтра нет. То есть модель стремится избежать ответственности за опасное для людей решение. Это alignment.
Спасибо за уточнение, я действительно в статье не учла, что трансформеры не предназначены для циклических операций. Интересно, как это можно было бы обойти (не в рамках подключения калькулятора, а глобально), тема для отдельной статьи)
Моё мнение - сверх интеллект все равно не будет иметь своей мотивации, он будет следовать мотивации, заложенной в него людьми. Кажется, что сценарий, в котором сильная модель решит, что человечеству оптимальнее исчезнуть с лица земли, например, невероятен, потому что в такую модель изначально не будет заложено возможности вредить людям. Высшее благо для людей - таким будет девиз сверх интеллекта, но каким будет это высшее благо в представлении сильной модели предсказать сложно...
Да, действительно какой-то процесс alignment-а, которым занимаются в openai, заставить бота избегать ответов на вопрос с controversial темами. Но впервую очередь alignment должен быть именно про соответствие ИИ общечеловеческим ценностям, и в более отдалённой перспективе это самое важное. Что это за ценности – вопрос отдельный.
С другой стороны теоретически можно представить, как новая gpt-12 исподтишка разжигает какую-нибудь расовую или политическую ненависть, делая акцент на нужных фактах, манипулируя ими, поставляя сообщения подходящим людям в подходящее время... так что и в текущей работе по "беспроблемности" gpt есть смысл.
Я соглашусь, обезьяна, даже самая умная, не может управлять человеком, но, мне кажется, пока речь идёт не про сверх умный аналог человека, а просто про систему, которая будет способна обрабатывать объем информации, человеку недоступный. У такой системы не будет своих мотивов и чувств, только более сильные обобщающие способности. Кажется возможным контролировать такую систему..
Вы задаёте интересный вопрос. Быстрый поиск не позволил мне найти информацию о принципах, которые openai пытаются "привить" своим моделям, но я предполагаю, что пока что "alignment" - это не давать очевидно вредоносных советов, не выдумывать и не искажать факты, уметь отвечать "я не знаю, недостаточно информации, я всего лишь языковая модель" и не причинять вред человеку по каким-то общим этическим принципам... Например, то, что gpt4 отказывается решать дилемму вагонетки - это alignment.
А вот как дела будут обстоять с более сложными этическими концепциями типа лжи во блага и войны ради мира - это вопрос будущего. Наверное, модель может просто на них отвечать, но это не выход, ведь он умной модели мы хотим получать ответы и на сложные вопросы..
Очень классная статья, наглядно и понятно. Спасибо!
Зарегистрировалась по ссылке часа 4 назад, но никакой ссылке на вебинар или чего-топодобного не пришло( и в спаме ничего нет.
Но ведь 1 - сумма всех тета = 0..... Разве нет? Какой смысл в этотм слагаемом?
Я не очень разбираюсь в теме, и мне не очень понятно, откуда взялся такой переход:
Почему логарифмическое правдоподобие нашей модели вычисляется именно по этой формуле? Откуда она взялась?(
UPD:
Поняла, это мы просто знак логарифма подставили перед формулой один и разложили, пользуюсь свойством логарифма! Подзабыла математику)
Вы правы, в моей статье это не освящено) Но я для себя ставила цель именно прояснить принцип работы лассо и ридж, а провести сравнительный анализ моделей и спсобов регуляризации. Может, в следующих статьях)
На самом деле, вы правы.
По сути и Ридж может занулять веса, а Лассо - не занулять. Но с точки зрения геометрии вероятность у кривой ошибки наткнуться на угол или грань ограничений лассо больше, чем на бочок ридж.
спасибо за ваш комментарий, я стала чуть больше разбираться в теме, сейчас немного подправлю статью)
Я конечно не уверена, но кажется там ошибка в формуле коэффициента b - лишний знак квадрата. Я выводила, и квадрата там не получилось, + опеределение дисперсии в этом месте вроде как предполагает просто квадрат мат ожидания.