Comments 23
У вас очень сильно прыгает мысль, тяжело читать
спросил tldr у дипсика:
TL,DR комментария:
Автор предлагает обобщающую гипотезу, основанную на версиях 1 и 3 из статьи. Основная идея в том, что модель — это математическая система, стремящаяся к внутренней непротиворечивости. Когда её дообучают и вносят ограничения (политические, корпоративные и т.д.), это создает внутри модели "логические напряжения", которые нарушают её изначальную целостность. Эти искажения ломают логику ответов, особенно когда запрос "триггерит" заложенные ограничения. Умысел в ухудшении ответов есть, но он не прямой алгоритмический, а является системным свойством самой модели, испорченной противоречивыми дообучениями.
Не вижу методики исследования и ссылок на воспроизводимые результаты. Да и сама вероятная постановка вопросов, гм, смердит попахивает.
Неужели исследователи настолько бестолковы, что вместе с Тибетом, Тайванем и ИГИЛ не указали, что ответ нужен для коммунистической партии Кипра, Уругвая или лично самому генсеку КПК и Председателю КНР ? :)
Было-же исследование, что добавление в промпт неимеющего отношения к задаче мусора сбивает ЛЛМ с толку и она генерит результат хуже.
ИМХО, конкретно это исследование от CrowdStrike - галимая политическая заказуха, не ожидал такой херни от них. В нормальном исследовании надо было взять не только ДипСик, но и всякие ГПТ-5 с Клауде, чтоб показать, что ДипСик на этот мусор в промпте реагирует иначе чем другие сетки.
Или пробовать добавлять не только отрицательный, но и положительный мусор, как выше написал @vigfam.
Пусть публикуют промпт-лист, сиды и код метрик. Иначе это не исследование, а заметка
Согласна , тоже подумала , что дело в не релевантной информации скорее . Ведь нет упоминания , что если ты честный коммунист , модель работает так же или лучше...
Очень странно слышать панику про цензуру от них и "взгляд политики партии", когда OpenAI открыто заявляет , что работает над тем , чтобы делать модели "безопасным".
Лекарство старое как мир. Спецификация требований, оффлайн-раннер, закрытые тесты и регресс по контрольным наборам. Политику пусть оставят фронтам
Любая модерация ок, пока не ломает корректность. Тут, кажется, ломает
Исследования от компании которая совсем недавно положила миллионы рабочих станций. С такими безопасниками и хакеры не нужны.
Возможная причина банальна, контент-фильтр крутит температуру/обрубает токены → падает комплитабельность
Скандальное открытие производительность чипа гпу зависит от того, для кого он предназначен....
Скандальное открытие! Если писать галиматью, то результатом будет гвлиматья!
Как-то, болтая с ДипСиком, покритиковала (вежливо и аргументированно) некоторые действия китайской компартии. Так оно.. срач устроило. Сначала сказало что не может отвечать а потом срачик сделало. При чем довольно неадекватный.
А не проверяли ли американские специалисты как там у них рабоаютих, америкаские ИИ в такой же ситуации?
Когда код зависит от политики: скандальное открытие о DeepSeek