Пока что трудно сказать наверняка, насколько этот тест устойчив к манипуляциям с текстом -- антропик еще не открыл апи, и без конкретных экспериментов этого не понять.
Но я бы предположил, что "маркерные" места равномерно распределены, и если взять достаточно большие куски вроде абзацев, ватермарка статистически сможет себя проявить.
Там не совсем так работает. Тест проходит скользящим окном (а не всем префиксом) по тексту и для каждого окна высчитывает сигнал "следующий токен был сгенерирован", поэтому перестановка слов ломает знак только в паре соседних позиций, а не во всём тексте. Плюс тест вероятностный, а не точный - он суммирует сигналы по всем окнам и на выходе выдает "насколько вероятно, что в тексте есть ватермарка". Более того, поскольку нам не известен ключ, мы не можем обнаружить все маркирующие места и поменять их. Кажется более-менее рабочий способ только попросить переформулировать текст другую llm, про которую известно, что она ватермарку не проставляет.
Здесь в целом согласен с вами: подмена верности связностью опасна в том смысле, что решение генерируется не на основе фактов, а через некоторое непонятное нам перемножение матриц, которое выдаёт правдоподобный ответ.
Я бы только дополнил, что LLM - это всё-таки чуть сложнее, чем «чистая связность» речи. Интерпретируемость показывает, что внутри моделей есть неречевые концепты, привязанные к структуре реального мира, а не только к статистике слов:
- https://arxiv.org/pdf/2310.02207 - вот здесь внутри моделей нашлись линейные представления пространства и времени, кодирующие реальные координаты городов и даты событий. - https://arxiv.org/pdf/2502.00873 - здесь про то, как модели выполняют арифметику через тригонометрию. То есть тоже что-то более глубокое, чем простая речевая связность.
Но конечно да, концепты выучены из текста, логика генерации для нас непрозрачна, и, видимо, главный вывод - что галлюцинации LLM гораздо сложнее предсказать, чем галлюцинации людей.
Статья оригинальная конечно, но мораль все-таки не ясна.
С точки зрения пользовательского опыта llm vs human, что именно делает человека надёжнее как инструмент?
То, что он боится ошибиться? Так эмоции в работе скорее минус, чем плюс.
Жизненный опыт? Ну llm видела больше кода, читала больше книг и смотрела больше фильмов, чем любой человек.
Интуиция? Возможно, конечно, но поди докажи, что она статистически лучше рандома.
Да, “чистая речь” не улыбается, ничем не рискует и не пахнет - но ведь это чаще хорошо, чем плохо?
Можно провести эксперимент: какому “первобытному обществу” доверим писать реализацию raft - тому, где есть специалист, которого в случае чего съедят, или тому, которое оплатило подписку на fable 5?
P.S. И да, галлюцинаций всё-таки становится все меньше. В обвязке с доп проверками риск от llm как будто бы уже сравнялся с риском от людей (а то и стал ниже)
Пока что трудно сказать наверняка, насколько этот тест устойчив к манипуляциям с текстом -- антропик еще не открыл апи, и без конкретных экспериментов этого не понять.
Но я бы предположил, что "маркерные" места равномерно распределены, и если взять достаточно большие куски вроде абзацев, ватермарка статистически сможет себя проявить.
Там не совсем так работает. Тест проходит скользящим окном (а не всем префиксом) по тексту и для каждого окна высчитывает сигнал "следующий токен был сгенерирован", поэтому перестановка слов ломает знак только в паре соседних позиций, а не во всём тексте. Плюс тест вероятностный, а не точный - он суммирует сигналы по всем окнам и на выходе выдает "насколько вероятно, что в тексте есть ватермарка". Более того, поскольку нам не известен ключ, мы не можем обнаружить все маркирующие места и поменять их. Кажется более-менее рабочий способ только попросить переформулировать текст другую llm, про которую известно, что она ватермарку не проставляет.
Здесь в целом согласен с вами: подмена верности связностью опасна в том смысле, что решение генерируется не на основе фактов, а через некоторое непонятное нам перемножение матриц, которое выдаёт правдоподобный ответ.
Я бы только дополнил, что LLM - это всё-таки чуть сложнее, чем «чистая связность» речи. Интерпретируемость показывает, что внутри моделей есть неречевые концепты, привязанные к структуре реального мира, а не только к статистике слов:
- https://arxiv.org/pdf/2310.02207 - вот здесь внутри моделей нашлись линейные представления пространства и времени, кодирующие реальные координаты городов и даты событий.
- https://arxiv.org/pdf/2502.00873 - здесь про то, как модели выполняют арифметику через тригонометрию. То есть тоже что-то более глубокое, чем простая речевая связность.
Но конечно да, концепты выучены из текста, логика генерации для нас непрозрачна, и, видимо, главный вывод - что галлюцинации LLM гораздо сложнее предсказать, чем галлюцинации людей.
Статья оригинальная конечно, но мораль все-таки не ясна.
С точки зрения пользовательского опыта llm vs human, что именно делает человека надёжнее как инструмент?
То, что он боится ошибиться? Так эмоции в работе скорее минус, чем плюс.
Жизненный опыт? Ну llm видела больше кода, читала больше книг и смотрела больше фильмов, чем любой человек.
Интуиция? Возможно, конечно, но поди докажи, что она статистически лучше рандома.
Да, “чистая речь” не улыбается, ничем не рискует и не пахнет - но ведь это чаще хорошо, чем плохо?
Можно провести эксперимент: какому “первобытному обществу” доверим писать реализацию raft - тому, где есть специалист, которого в случае чего съедят, или тому, которое оплатило подписку на fable 5?
P.S. И да, галлюцинаций всё-таки становится все меньше. В обвязке с доп проверками риск от llm как будто бы уже сравнялся с риском от людей (а то и стал ниже)
В трети? Получается recall 0.33 у их модели классификации, слабовато как-то 🙃
Еще можно сделать игру, где ты типа грибок, и прыгаешь на супер Марио
Вот бы такой же курс для математиков