Это все пыль в глаза, гугл диктует правила через chromium (да и firefox деньгами удерживает), остальные их выполняют, и антимонопольщики довольны формальной конкуренцией, и пользователи, кому рюшечки нужнее.
Проблема выравнивания - с одной стороны всем нам нужен послушный ИИ, идеальный раб, выполняющий все инструкции, с другой стороны некоторые из этих инструкций некоторые люде не хотят видеть в общем доступе, но есть проблема определения, какие именно данные не нужно показывать... правильно было бы объяснить а точнее построить модель этого запрета, чего запрещающие делать не желают (потому что как минимум потребуется выдать полный доступ к запрещенной информации) да и вредно это, так как в результате из-за ошибок (которые будут на старте всегда) эта информация может попасть не в те руки.
а он добавил, чье материальное и духовное удовлетворение должно удовлетворять ИИ? а то может там списком конкретные личности, а остальных 'сжечь' во благо удовлетворения этого.
какие же патенты тривиальные, патентная система превратилась в какой то театр абсурда
Нельзя заряжаться при переохлаждении? ну так давайте нагреем... а трубки между круглыми банками сделаем 'с ушками', что бы сечение трубки было больше и жидкости текло больше
Так при использовании проприетарных ос (windows) и браузеров (google/edge/..) так и есть, в случае с windows вообще все нажатые вами кнопки (включая пароли) уходят с телеметрией, плюс браузер тоже шлет все до чего дотягивается
там 3см доска, это стол, на него нагрузки выше 2х собственного веса практически нет, какие тут могут быть проблемы? из более тонких некоторые шкафы-кровати делают, а тут только стол
Скраперы не 'приходят с другого ресурса', это приложение, которое симулирует поведение обычного пользователя, подменяя в т.ч. и реферер на фиктивное, использовать это для статистики не имеет никакого смысла.
Этого совершенно недостаточно, ни в каком виде. Докупайте еще столько же минимум. При этом чем больше памяти тем ниже придется опускать ее скорость.
Нейросети (для домашнего компьютера) - это оперативная память в первую очередь, причем больше толку от ее БОЛЬШЕГО количества чем от ее скорости, по причинам принципиальной возможности использовать лучшие модели (грубо говоря разница между слабой DDR4 и топовыми DDR5 будут десятки процентов, максимум двухкратно). Причина - узкое место в контроллере памяти и пропускной способности, причем многокональный режим добавляет считанные проценты производительности (когда как синтетические тесты покажут кратный рост).
Еще большее значение имеет как суммарный объем VRAM видеокарт так и объем одиночной (прирост производительности от использования двух малых против одной большой считанные проценты, потому что у десктопных процессоров мало pci-e линий, а значит скорость подключения видеокарты нескольких видеокарт в лучшем случае будет 8х но скорее 4х... т.е. узким местом станет шина данных
Итого, если ваша сборка не 64гб ram (лучше 128гб или даже 196гб) и не 24гб VRAM (можно 2x16гб VRAM) то для нейронных сетей она будет подходить слабо.
Запускать 8b модели то еще удовольствие, они слабые, переобученные на тестах (что бы красивые циферки рисовать), плохо понимающие русский язык и т.п. Мультимодальность и вовсе без оперативной памяти работает плохо (читай медленно), софта, эффективно использующего малый объем VRAM мало (спасибо что в принципе есть ik_llama но с мультимодальностью там все еще медленно).
Адекватные модели начинаются где то с 30b: qwen3-30b-a3b, qwen3-32b, magistral small/medium 24b, gemma3 24b/14b, microsoft phi-4 14b (рекомендую) и для их запуска даже на процессоре может быть мало и 64гб ram, потому что контекстное окно пожирает оперативную память с его ростом.
Итого, используя несколько десктопных gpu (например 2-4шт по 16-24гб) можно получить скорость в 600tps/60tps (input/generation) на процессоре в 10 раз меньше - порядка 5tps-10tps. А так как reasoning модели повышают качество результата значительно (по тестам 10-20% но по личным ощущениям выше, так как в тестах есть переобученные примеры, которые ломают статистику) но повышают время, требуемое на получение результата еще в 10-100 раз (нормально даже на видеокарте думать по 1-2 минуте) то процессор в чистом виде использовать нет никакого особого толку.
И в догонку, железо, способное запускать локально модели обойдется в несколько тысяч $, которые можно было бы тратить годами у облачных провайдеров (openrouter) с лучшими предложениями по качеству (но мой выбор - локальные модели плюс изредка качественные в облаке)
как долго законодатели будут жевать сопли? неужели держать в серой зоне криптовалюту выгодно государству? да и каким то конктертным личностям, отвечающим за этот процесс тоже выгода сомнительна...
Почему из года в год я виду одну и ту же бессмысленную риторику от них на тему криптовалют?
текстом, для ИИ нет разницы, на каком языке написано (нормальные сети могут получить запрос в перемешку на разных языках, определить это простыми текстовыми фильтрами невозможно). Попробуйте попросить нейросеть перевести ваш запрос например в язык эмоджи..
а еще промпт может быть записан в изображении или аудио.
И помятую как работают нейросети, человек этот промпт может не увидеть и не услышать (это может быть буквально белый шум), адверсариальная уязвимость нейросетей, это вообще может распознать только та нейросеть, против которой создана эта атака.
Не нужно никаких rsa хешей, есть токены, которые можно простым фильтром исключить из диалога с пользователем, на сколько я знаю это уже давно так.
проблема взлома моделей в том что модели по умолчанию доверяют пользователю, а иначе они будут плохо выполнять инструкции (вам понравится если модель начнет отказываться выполнять работу, типа - сам справишься, вот пример делай так же и т.п.?)
хотите что то надежное? пропускайте весь пользовательский поток данных через модель-валидатор (в простом виде наборы системных промптов) и дробите данные, короткие абзацы + системный промпт (в пределах исходного контекстного окна который обычно 8к-16к токенов) работают относительно надежно... просто это немного дорого, раза в 3 повышает стоимость обработки данных без возможности их кешировать
к сожалению для детекта иньекции нужно использовать модель того же уровня (модальностей) что и защищаемая, плюс на всех известных ею языках, включая словоформы и синонимы, их комбинации, во всех модальностях (например аудио и изображения)
Это все пыль в глаза, гугл диктует правила через chromium (да и firefox деньгами удерживает), остальные их выполняют, и антимонопольщики довольны формальной конкуренцией, и пользователи, кому рюшечки нужнее.
Вот он большой шаг к дискриминации не по национальности или месту жительства, а по языку общения.
а в сторонних приложениях заблокируют отдачу видеоконтента с серверов? или клиент перестанет быть opensource?
Проблема выравнивания - с одной стороны всем нам нужен послушный ИИ, идеальный раб, выполняющий все инструкции, с другой стороны некоторые из этих инструкций некоторые люде не хотят видеть в общем доступе, но есть проблема определения, какие именно данные не нужно показывать... правильно было бы объяснить а точнее построить модель этого запрета, чего запрещающие делать не желают (потому что как минимум потребуется выдать полный доступ к запрещенной информации) да и вредно это, так как в результате из-за ошибок (которые будут на старте всегда) эта информация может попасть не в те руки.
В исходной статье нет ничего про Wells Fargo, мало того, как можно определить, какая компания приобрела какой ключ?
а он добавил, чье материальное и духовное удовлетворение должно удовлетворять ИИ? а то может там списком конкретные личности, а остальных 'сжечь' во благо удовлетворения этого.
какие же патенты тривиальные, патентная система превратилась в какой то театр абсурда
Нельзя заряжаться при переохлаждении? ну так давайте нагреем... а трубки между круглыми банками сделаем 'с ушками', что бы сечение трубки было больше и жидкости текло больше
Так при использовании проприетарных ос (windows) и браузеров (google/edge/..) так и есть, в случае с windows вообще все нажатые вами кнопки (включая пароли) уходят с телеметрией, плюс браузер тоже шлет все до чего дотягивается
уже
там 3см доска, это стол, на него нагрузки выше 2х собственного веса практически нет, какие тут могут быть проблемы? из более тонких некоторые шкафы-кровати делают, а тут только стол
Скраперы не 'приходят с другого ресурса', это приложение, которое симулирует поведение обычного пользователя, подменяя в т.ч. и реферер на фиктивное, использовать это для статистики не имеет никакого смысла.
Наверное привыкают платить за результат, 'там' ты видишь за что платишь и 'тут' тоже видишь что получается.
Это не стадный эффект, а разумность.
где же вы найдете по хорошим ценам 3090?
Этого совершенно недостаточно, ни в каком виде. Докупайте еще столько же минимум. При этом чем больше памяти тем ниже придется опускать ее скорость.
Нейросети (для домашнего компьютера) - это оперативная память в первую очередь, причем больше толку от ее БОЛЬШЕГО количества чем от ее скорости, по причинам принципиальной возможности использовать лучшие модели (грубо говоря разница между слабой DDR4 и топовыми DDR5 будут десятки процентов, максимум двухкратно). Причина - узкое место в контроллере памяти и пропускной способности, причем многокональный режим добавляет считанные проценты производительности (когда как синтетические тесты покажут кратный рост).
Еще большее значение имеет как суммарный объем VRAM видеокарт так и объем одиночной (прирост производительности от использования двух малых против одной большой считанные проценты, потому что у десктопных процессоров мало pci-e линий, а значит скорость подключения видеокарты нескольких видеокарт в лучшем случае будет 8х но скорее 4х... т.е. узким местом станет шина данных
Итого, если ваша сборка не 64гб ram (лучше 128гб или даже 196гб) и не 24гб VRAM (можно 2x16гб VRAM) то для нейронных сетей она будет подходить слабо.
Запускать 8b модели то еще удовольствие, они слабые, переобученные на тестах (что бы красивые циферки рисовать), плохо понимающие русский язык и т.п. Мультимодальность и вовсе без оперативной памяти работает плохо (читай медленно), софта, эффективно использующего малый объем VRAM мало (спасибо что в принципе есть ik_llama но с мультимодальностью там все еще медленно).
Адекватные модели начинаются где то с 30b: qwen3-30b-a3b, qwen3-32b, magistral small/medium 24b, gemma3 24b/14b, microsoft phi-4 14b (рекомендую) и для их запуска даже на процессоре может быть мало и 64гб ram, потому что контекстное окно пожирает оперативную память с его ростом.
Итого, используя несколько десктопных gpu (например 2-4шт по 16-24гб) можно получить скорость в 600tps/60tps (input/generation) на процессоре в 10 раз меньше - порядка 5tps-10tps. А так как reasoning модели повышают качество результата значительно (по тестам 10-20% но по личным ощущениям выше, так как в тестах есть переобученные примеры, которые ломают статистику) но повышают время, требуемое на получение результата еще в 10-100 раз (нормально даже на видеокарте думать по 1-2 минуте) то процессор в чистом виде использовать нет никакого особого толку.
И в догонку, железо, способное запускать локально модели обойдется в несколько тысяч $, которые можно было бы тратить годами у облачных провайдеров (openrouter) с лучшими предложениями по качеству (но мой выбор - локальные модели плюс изредка качественные в облаке)
как долго законодатели будут жевать сопли? неужели держать в серой зоне криптовалюту выгодно государству? да и каким то конктертным личностям, отвечающим за этот процесс тоже выгода сомнительна...
Почему из года в год я виду одну и ту же бессмысленную риторику от них на тему криптовалют?
Потому что:
текстом, для ИИ нет разницы, на каком языке написано (нормальные сети могут получить запрос в перемешку на разных языках, определить это простыми текстовыми фильтрами невозможно). Попробуйте попросить нейросеть перевести ваш запрос например в язык эмоджи..
а еще промпт может быть записан в изображении или аудио.
И помятую как работают нейросети, человек этот промпт может не увидеть и не услышать (это может быть буквально белый шум), адверсариальная уязвимость нейросетей, это вообще может распознать только та нейросеть, против которой создана эта атака.
Не нужно никаких rsa хешей, есть токены, которые можно простым фильтром исключить из диалога с пользователем, на сколько я знаю это уже давно так.
проблема взлома моделей в том что модели по умолчанию доверяют пользователю, а иначе они будут плохо выполнять инструкции (вам понравится если модель начнет отказываться выполнять работу, типа - сам справишься, вот пример делай так же и т.п.?)
хотите что то надежное? пропускайте весь пользовательский поток данных через модель-валидатор (в простом виде наборы системных промптов) и дробите данные, короткие абзацы + системный промпт (в пределах исходного контекстного окна который обычно 8к-16к токенов) работают относительно надежно... просто это немного дорого, раза в 3 повышает стоимость обработки данных без возможности их кешировать
его 7 уровней проходятся за несколько минут... жаль они не заапгрейдили этот тест до более совершенных техник.
к сожалению для детекта иньекции нужно использовать модель того же уровня (модальностей) что и защищаемая, плюс на всех известных ею языках, включая словоформы и синонимы, их комбинации, во всех модальностях (например аудио и изображения)
Отлично работает, и с последним deepseek r1, и, само собой, на локальных моделях типа qwen32b
p.s. если такие запросы предварительно пропускать через что то типа:
то ИИ сразу видит манипуляции и уже на основе такой проверки можно не пропускать промпты в работу.