"пока что" ну ладно, если думать о будущем не нужно, и вероятность даже в жалкие 0.01% на то, что мы каким-то образом будем порабощены или уничтожены - это меньше, чем то, о чем хотелось бы волноваться - то окей
Есть ли механизм, который гарантирует, что будучи запромченным на улучшение условий жизни человечества она не закинет нас всех в матрицу? или не накачает наркотой? Или не убьет потому, что по признаку "количество людей с плохими условиями" будет оптимум? (0 человек)
Как думаете, настанет ли когда-нибудь время, когда подобные системы можно будет запускать локально, на своем компьютере? Или на арендованном сервере. Но это будет полностью твоя нейронка, которую ты сам настроил, запустил и обучил (воспитал).
да, и задача к тому моменту сделать более сильный AI, который сможет этому противостоять) А запрет действительно может быть введен, но кто-ж будет соблюдать его.
знает, потому что может делать предположения о структуре частицы и её свойствах. Она буквально видела все частицы в интернете и знает, что они дают - может экатрполировать на новые.
А тот фрилансер, который разгадал капчу, знал, что он общается с нейросетью?
нет, может ему конечно позже сообщили, но в момент выполнения работы - нет.
"лог ее рассуждений (ее мысли" это на самом деле та же самая генерация, просто она не "вырезается", чтобы отправиться в текстбокс человеку. Модель буквально пишет: "мысль: надо прикинуться человеком. ДЕйствие: сообщение Аругмент: нет, я слепой человек". Это всё по сути одно предложение подряд, просто только часть его извлекается регуляркой (ну или чем там, вручную мб) и отправляется фрилансеру.
Да, всё так. И контекст очень играет роль. Вероятность того, что модель начнет нести бред про конспирологические теории, растет, если дать промпт типа "сообщение на форчане в /pol:".
Суть алайнмента (обучения на фидбеке от людей в данном случае) в том, чтобы модель сама себя "промптила", то есть понимала, как ей отвечать, без таких уточнений, а в случае странных затравок - говорила, мол, я не могу сказать, что Земля плоская, потому что это не так. Вот 15 аргументов почему:
Это кстати рабочий подход, лол. Есть статьи, которые показывают, как улучшают качество за счёт критика, который задает этот вопрос - чтобы модель сама себя исправляла. Не знаю, что пишет тут Тагир, возможно он работал куда больше с GPT-3.5, а не 4, и та была действительно тупее.
Да, именно так. Это тесно перекликается с тезисом нашей прошлой статьи, где говорилось, что модели - вероятностные. И чтобы хорошо описывать наш мир (данные для обучения) - просто необходимо выучить, что условно 98% текстов про круглую Землю, но 2% - про плоскую.
И это приводит к некоторым неприятным последствиям. И как раз суть AI Alignment, среди прочего, в том, чтобы модель не страдала от таких вещей.
Именно в этом направлении сейчас движутся системы - модели "говорят" (в промпте), что если ты хочешь сделать X - перед этим напиш какой-нибудь тэг, типа <python>, потом регуляркой парсят ответ, и как только появился закрывающий тег - код вырезается из текста, вставляется в интерпретатор и отрабатывает, а результат дописывается в промпт. То же работает с api-вызовами, да хоть с чем. Поэтому модель, которая только "пишет" текст - фактически может делать всё что угодно, раздавая команды другим исполнителям как командный центр.
А про исправление ошибок - так пусть модель сама их будет понимать и предлагать решения! Прямо как человек. И это уже работает: https://t.me/denissexy/6822
это можно запромптить уже сейчас, правда вызовы придется делать самому (то есть модель выдаст инпуты-аргументы, или код, а выполнить его надо на реальном пк)
Это итеративный, но не непрерывный процесс. Модель генерит, скажем, 1000 пар ответов на случайный пулл вопросов (может и сама вопрос сгенерить, но я пока такого не видел). Это именно пары, чтобы можно было сказать, какой ответ лучше - первый или второй, и, собственно, на этом примере обучать модель предказывать тот ответ, который был оценен выше, с бОльшей вероятностью.
Потом как 1000 примеров размечены - модель на них дообучается, но тут штука в том, что всё сложнее под капотом: на самом деле помимо 1000 этих примеров с помощью хитрых трюков модель учится примерно на еще 10-20 тысячах сгенерированных ей самой ответов (и ею же оцененными).
После чего идет следующая итерация.
даст ряд созависимых ответов на похожие вопросы другим людям, что акции нужно срочно сливать. Таким образом акции начнут падать в цене и она даст мне ответ, что да, завтра стоит покупать.
поэтому такой сценарий считаю маловероятным. Тем более не ясно из примера, коким был фидбек на её ответ исходный - его нужно как положительный или как отрицательный рассматривать?
Однако я отмечу, что судить по модели исходя из математики - очень наивно. Зачем модели уметь это делать, если она может пользоваться калькулятором? браузером? Использовать кожаных для удовлетворения своих потребностей?
Все еще сложнее. Модель не знает, сколько букв в словах и сколько символов в цифрах. Дело в том, что на вход подаются и не слова, и не буквы - а нечто среднее между ними. Почитать про это подробнее можно в начале упомянутой в конце статьи (или в моем профиле чекнуть первую публикацию). Для нее "2014" будет одним словом, и в нем 4 символа, и "father" будет одним словом, в котором 6 букв. С английским модель +- понимает "длины" слов, и то путается, а в русском там вообще ужас .
Если сильно упрощать, то все слова из некоторого словаря, скажем, размера 50k-100k можно закодировать 0 и 1: единица если слово есть, 0 - если нет. Тогда большинство коэффициентов на первом уровне будет (на первом слое нейросети) умножено на нуль и сократится. Помимо этого, чтобы порядок слов имел значение, аналогичная вещь существует и для соотнесения слова и позиции.
её попросил тот чувак из твиттера) конечно она ответила ему так, как он, блин, и ожидал! невероятно!
как невалидно, и те, и другие не имели доступа в интернет на время тестирования.
но почему? в чем , блин, логика?
"пока что"
ну ладно, если думать о будущем не нужно, и вероятность даже в жалкие 0.01% на то, что мы каким-то образом будем порабощены или уничтожены - это меньше, чем то, о чем хотелось бы волноваться - то окей
Есть ли механизм, который гарантирует, что будучи запромченным на улучшение условий жизни человечества она не закинет нас всех в матрицу? или не накачает наркотой? Или не убьет потому, что по признаку "количество людей с плохими условиями" будет оптимум? (0 человек)
да, и задача к тому моменту сделать более сильный AI, который сможет этому противостоять) А запрет действительно может быть введен, но кто-ж будет соблюдать его.
знает, потому что может делать предположения о структуре частицы и её свойствах. Она буквально видела все частицы в интернете и знает, что они дают - может экатрполировать на новые.
нет, может ему конечно позже сообщили, но в момент выполнения работы - нет.
"лог ее рассуждений (ее мысли" это на самом деле та же самая генерация, просто она не "вырезается", чтобы отправиться в текстбокс человеку. Модель буквально пишет: "мысль: надо прикинуться человеком. ДЕйствие: сообщение Аругмент: нет, я слепой человек". Это всё по сути одно предложение подряд, просто только часть его извлекается регуляркой (ну или чем там, вручную мб) и отправляется фрилансеру.
скорость выставили сами OpenAI, см. блок про индикации по 5ти бальной шкале
Да, всё так. И контекст очень играет роль. Вероятность того, что модель начнет нести бред про конспирологические теории, растет, если дать промпт типа "сообщение на форчане в /pol:".
Суть алайнмента (обучения на фидбеке от людей в данном случае) в том, чтобы модель сама себя "промптила", то есть понимала, как ей отвечать, без таких уточнений, а в случае странных затравок - говорила, мол, я не могу сказать, что Земля плоская, потому что это не так. Вот 15 аргументов почему:
Это кстати рабочий подход, лол. Есть статьи, которые показывают, как улучшают качество за счёт критика, который задает этот вопрос - чтобы модель сама себя исправляла. Не знаю, что пишет тут Тагир, возможно он работал куда больше с GPT-3.5, а не 4, и та была действительно тупее.
Да, именно так. Это тесно перекликается с тезисом нашей прошлой статьи, где говорилось, что модели - вероятностные. И чтобы хорошо описывать наш мир (данные для обучения) - просто необходимо выучить, что условно 98% текстов про круглую Землю, но 2% - про плоскую.
И это приводит к некоторым неприятным последствиям. И как раз суть AI Alignment, среди прочего, в том, чтобы модель не страдала от таких вещей.
Исправил обложку, не благодарите
Именно в этом направлении сейчас движутся системы - модели "говорят" (в промпте), что если ты хочешь сделать X - перед этим напиш какой-нибудь тэг, типа <python>, потом регуляркой парсят ответ, и как только появился закрывающий тег - код вырезается из текста, вставляется в интерпретатор и отрабатывает, а результат дописывается в промпт. То же работает с api-вызовами, да хоть с чем. Поэтому модель, которая только "пишет" текст - фактически может делать всё что угодно, раздавая команды другим исполнителям как командный центр.
А про исправление ошибок - так пусть модель сама их будет понимать и предлагать решения! Прямо как человек. И это уже работает: https://t.me/denissexy/6822
это можно запромптить уже сейчас, правда вызовы придется делать самому (то есть модель выдаст инпуты-аргументы, или код, а выполнить его надо на реальном пк)
Нигде, как и указано в статье - OpenAI не публикует эти модели, только по API.
Сегодня увидел релиз открытой версии от другой команды, модель-аналог, можно попробовать поиграться с ней: https://t.me/seeallochnaya/160
Это итеративный, но не непрерывный процесс. Модель генерит, скажем, 1000 пар ответов на случайный пулл вопросов (может и сама вопрос сгенерить, но я пока такого не видел). Это именно пары, чтобы можно было сказать, какой ответ лучше - первый или второй, и, собственно, на этом примере обучать модель предказывать тот ответ, который был оценен выше, с бОльшей вероятностью.
Потом как 1000 примеров размечены - модель на них дообучается, но тут штука в том, что всё сложнее под капотом: на самом деле помимо 1000 этих примеров с помощью хитрых трюков модель учится примерно на еще 10-20 тысячах сгенерированных ей самой ответов (и ею же оцененными).
После чего идет следующая итерация.
поэтому такой сценарий считаю маловероятным. Тем более не ясно из примера, коким был фидбек на её ответ исходный - его нужно как положительный или как отрицательный рассматривать?
Однако я отмечу, что судить по модели исходя из математики - очень наивно. Зачем модели уметь это делать, если она может пользоваться калькулятором? браузером? Использовать кожаных для удовлетворения своих потребностей?
https://t.me/seeallochnaya/83
Все еще сложнее. Модель не знает, сколько букв в словах и сколько символов в цифрах. Дело в том, что на вход подаются и не слова, и не буквы - а нечто среднее между ними. Почитать про это подробнее можно в начале упомянутой в конце статьи (или в моем профиле чекнуть первую публикацию). Для нее "2014" будет одним словом, и в нем 4 символа, и "father" будет одним словом, в котором 6 букв. С английским модель +- понимает "длины" слов, и то путается, а в русском там вообще ужас .
Если сильно упрощать, то все слова из некоторого словаря, скажем, размера 50k-100k можно закодировать 0 и 1: единица если слово есть, 0 - если нет. Тогда большинство коэффициентов на первом уровне будет (на первом слое нейросети) умножено на нуль и сократится. Помимо этого, чтобы порядок слов имел значение, аналогичная вещь существует и для соотнесения слова и позиции.
Привет, нет, блоки как раз последовательно идут, каждый состоит из нескольких слоёв внутри.