Комментарии 130
Нет никаких нейросетей, есть только очень много китайцев, которые генерят ответ на той стороне. Отсюда и иероглифы.
Молчи, лаовай
За хороший ответ дают миску риса, пять минут с кошкой-женой и чувство гордости за партию.
Возможно, что чувство гордости за партию гоминьдан. Мы ведь не можем уверенно утверждать, что это континетнальные китайцы.
Ну слово "П維чему" точно выдаёт гоминьдан :) Дело раскрыто!
(иероглиф wei в традиционном написании)
за раскрытие гоминьдановского шпиона, ваш лимит на кошко-жену увеличен до часа!
С успехом вас, товарищ!
А потом удивляются, откуда 2 миллиарда...
Я скорее недоумеваю, откуда столько шпионов. И как эта кошко-жена успевает?
И как эта кошко-жена успевает?
(Заговорщическим шёпотом:) Их там двое!
Так лимит же увеличен, а не кошко-жена. Когда ваша очередь подойдет, тогда и используете.
Это если считать, что обязательно китайцы - в языке одной соседней страны известной своими автомобилями все эти 3 иероглифа так же имеются ))
так и есть. машина бы выдавала ответ сразу, а эти печатают как человек. кого надурить пытаются???
AI - Asian Intelligence
Теперь понятно и то, почему DeepSeek не может ответить о событиях на площади Тяньаньмэнь. Китайцы просто не знают, что там произошло.
Китайцы просто не знают, что там произошло.
Да ладно, не льстите себе — Вы тоже не знаете.
Как раз вчера на сложном вопросе Qwen правдоподобную чушь генерировал и парочку иероглифов среди текста выдал. Я подумал что он просто на китайском думает, но после этой статьи понимаю, что это как раз показатель неуверенности сети в том, о чём она пишет.
Запрос: найди исторические легенды связанные с городом Weinsberg (74189) в Германии
Отлично. Давайте найдем исторические легенды, связанные с Вайнсбергом. Название Weinsberg сразу вызывает самую известную немецкую легенду — Легенда о Вайнсбергском мосте («Sage vom Weinsberger Gänsemarsch») — также известную как «Прыжок через Рейн» (Rheinsprung).
Легенда: В 1140 году, во время борьбы между Генрихом Львом (Генрихом Хохенштауфеном) и королем Конрадом III, город Вайнсберг, верный Гогенштауфенам, был осажден войсками союзников Генриха Льва. Когда城破在即，城里的妇女问她们的丈夫：“Will ihr die Frauen auch verlieren?” (Неужели вы хотите потерять и наших женщин?). Мужчины ответили: “Und was solln wir mit den Frauen anfangen?” (Что мы будем делать с женщинами?). Женщины сказали: “Lasst uns die Ströck finden” (Дайте нам найти лазейки). В результате женской хитрости все женщины города были отпущены. Когда победители захватили город, женщины с криком «Gänsemarsch!» (гусиным маршем!) бежали к мосту, заставляя союзников думать, что это группа гусей. Когда они добежали до края долины, одна женщина (Ида фон Вайнсберг) бросилась вниз и на другом краю долины, спасаясь от погони.
Чушь, но не полная. Weinsberg это реальный город, который действительно был осаждён Конрадом III в 1140 и там случилось интересное событие (информация с википедии):
Предание гласит, что король Конрад III (1140), раздраженный упорным сопротивлением осаждаемого им Вайнсберга, приговорил к смерти все мужское население и только женщинам позволил свободно оставить город, взяв с собой то, что они смогут унести на себе. Женщины вынесли на спинах своих мужей и таким образом спасли их.
С большой вероятностью вы даже видели пересказ этой легенды в известной серии рекламных роликов банка Империал в 90х.
Очевидно, что эта история попадала в массив текстов для обучения модели, но от реальности осталась только тень (очень немного векторов, в отличии от Конрада III который в куче текстов на википедии есть, и хорошо прописался в векторах) и модели приходиться галлюцинировать всё остальное на низких вероятностях, что и проявляется в появлении иероглифов, судя по статье.
В общем хороший маркер чуши в копилку, спасибо.
И иероглифы - тоже не полная чушь. " 城破在即，城里的妇女问她们的丈夫" переводится Яндекс.Переводчиком как "город был готов взорваться, и женщины в городе спросили своих мужей".
Qwen надо довольно настойчиво повторять, чтобы отвечал на русском, иначе он так и хочет родной китайский в массы нести. Но что-то мне подсказывает, что статья немного про другое.
Тоже замечал, иероглиф у меня вылез один раз, в основном вставляет английские буквы в русский, и чаще всего это делает клод, у чатагпт не замечал. Спасибо за обоснование! Но китайский след, мне тоже не дает покоя, хоть я бы легче поверил в индийский.
Китайских “редких иероглифов” намного больше чем любых других “редких символов” в алфавитах. В индусском всего с полсотни, ну с сотню символов можно накопать против десятков тысяч китайских.
У меня Codex сломал чат недавно так, в сложной теме, где нужно было разобраться... И очень долгий чат, когда шанс получить ответ на английском или с иероглифами, без учёта промпта и инструкции растёт
Обычно общаюсь с моделями на английском и не разу не видел иероглифов ни у Клода, ни у ChagGPT. А вот у китайских моделей и Perplexity (который вероятно под капотом использует китайские модели) частенько вылезают.
Мне дипсик в Китае вообще на чистом китайском все время отвечал, на каком языке вопрос не задам. "Я же вижу что ты местный!". Приходилось все время писать "отвечай на русском".
Если речь про вебинтерфейс, то там же целая портянка к вашему запросу приклеивается. И вполне возможно, что язык этой портянки зависит от GeoIP запроса.
Стоп, а чего гадать то...
Зашёл в чат с Французского IP, затем с Российского. Задал один и тот же вопрос: "Q=IR2?" Получил ответ на английском и на русском.
Так что да, с точки зрения модели вы перед вашим вопросом пять минут трындели на качественном китайском, так что сомнений нет, что вы местный.
Да это очевидно.
Но все же, что бы там не приклеивалось, и дипсик и квен - обе китайские. Квен частенько сыпет иероглифами (особенно в ризонинге, там вся портянка может быть на китайском), а дипсик ооочень редко. Разница примерно в тысячу раз, прикинул.
Самое веселое, зачастую это происходит прям как в заголовке статьи. Вроде бы и есть иероглифы, вроде бы не знаешь китайского, а читаешь нормально. Как в той обучалке, когда русский текст понемногу перемежается английскими словами или слогами, и чем дальше читаешь, тем больше английских слов и меньше русского. Вместо английских слов можно хоть клинопись подставить. Подход вполне рабочий.
С локальными моделями та же ситуация, причем чем меньше модель, тем более она склонна срываться на иероглифы, англ текст, или нечто типа эсперанто.
У меня Qwen на долгих чатах часто в рассуждениях переходит на китайский, но отвечает на русском.
У дипсика другая проблема -- он часто самопроизвольно сваливается в китайский при ответе, независимо от того, на русском или английском запрос. Заметил, что триггером почти всегда являются результаты поиска на китайском. Причём что 3.2 этим страдал, что v4 страдает
Интересно! Пришла мысль: а все ли буквы в русских сгенерированных текстах - "кириллица"? не проскочит ли в слове "мама" латинская "а"?
Маловероятно. Скорее мелкая квантованная модель вставит слово "mom" в русский текст. Поэтому и такой текст как в заголовке у автора вряд ли увидите, со вставленными отдельными иероглифами. Но вот вставки целых слов или фрагментов (окончание, корень) на китайском или английском - вполне.
Не проскочит, потому что токенизатор бьет слова не на буквы, а на смысловые куски, в ангийском языке одно слово это 1-2 токена, в русском из-за родов/спряжений побольше, но это всё ещё несколько буков.
Кейс с кривимы токенизаторами не знающими про русский рассматривать не будем.
Ровно из-за этого кстати БЯМ так сложно считать колво букв в словах
Оно как бы и так... Но я встречал ситуации (сгенерированные изображения), когда типа слово на вывеске состоит из осмысленного русского корня и бессмысленного суффикса. Почему бы суффиксу не быть "иероглифом". А когда они еще и неотличимы визуально, то тем более. Отсюда и предположение о том, что подобное могло бы случиться в текстах. Но это так, объяснение происхождения гипотезы.
llm-ки в теории могут вместо пробела вставлять символ unicode
я как то видел в статье от яндекса на хабре, вся покрыта неразрывными пробелами, наверное боятся что их контент украдут, и помечают так
Я сначала думал, что это баг конкретной модели или кривой промпт
А у меня так обычно глючит квен или дипсик, думал их артефакты, а оно вон как, спасибо!
В отличие от вашего заголовка, китайские нейросети обычно выдают осмысленные иероглифы. Вы же вот считаете для себя возможным на полном серьёзе писать в русском тексте про grokking. Просто китайский язык у нас пока знают меньше, чем английский.
Часто встречается, например, в выдаче модальный глагол 是，которому вследствие широты понятия нет прямого аналога в русском языке. Или, допустим, у русских людей вообще не бывает эмоции 高兴，как таковой (условно это уважительная радость), а потому и русского названия для неё. И таких примеров бесчисленно много, прямой перевод с китайского языка на индоевропейские крайне сложен.
В общем, нормальный русско-китайский суржик, иногда даже встречаются в нём меткие термины. Модель лепит русские приставки и суффиксы с окончаниями к китайским корням. В русской диаспоре в Китае легко такое же услышите среди живых людей.
Поддерживаю. Когда попадались иероглифы, и я не мог понять их значение по контексту, переводчик давал подходящее по смыслу слово. Однако Deepseek давно так не чудит, видимо, совершенствуется.
“请赐予此男子一猫为妻！”
Давным давно экспериментировал с полудохлыми 8B моделями. При превышенной температуре пара из них начинала вставлять немецкие словечки. Полез в историю - и правда в цепочке дообучений были немцы.
При превышенной температуре пара
Я сперва подумал, что про пар высокой температуры — это какой-то сленг.
Да даже не особо сленг - просто из совсем другой области, не нейросеточной. Но как понятие - существует.
у вас с @cruiseranonymous токенизатор слабенький просто )))
При превышенной температуре пара из них
попробуйте распарсить “два сапога пара” и результат парсинга прилепить к исходной фразе. будете немало удивлены
Я читаю последовательно. Также я знаю, что люди иногда ошибаются, а иногда за них пишет автодополнение. Поэтому, дочитав до "начинала вставлять", я остановился и начал прикдывать, может быть, там "из них начинало вставлять" или "их начинало вставлять" или "из них начиала выявлять", или "из них начинала [любое другое слово на в..ть]".
Представьте, что температура пара — это такой сленг, описывающий нейросети. Я же знаю, что у них есть какая-то температура, хоть и не знаю, что это такое. Может быть, уже есть что-то, что называют паром, температуру которого можно регулировать. И вот, если температура пара превышена, то из нейросетей начинают валить немецкие словечки.
Не каждый айтишник разбирается в настройках нейросетей. Я знаю про то, что есть набор входных числовых значений, есть скрытые слои с множителями и функцией активации, могут быть bias-значения, которые просто отдают какое-то постоянное значение. Но я не знаю, что из этого называют температурой, не следил за этим, потому что у меня уровень математики не профильный, а они довольно быстро от простых сеток вида "на сколько процентов это кошка?" ушли в каки-то там автоэнкодеры и прочее, куда нужно прямо научно погружаться, чтобы понимать.
Я читаю последовательно.
Все читают последовательно, даже азиаты. Но в русском может языке слов меняться порядок, поэтому парсить предложение нужно только после того, как вы его полностью прочитали в буфер.
Впрочем, автор фразы тут ошибся: здесь при наличии составного подлежащего ("пара из них"), обстоятельственный оборот ("при превышенной температуре") следовало отделить от него запятой, чтобы разрушить случайно получившееся на их стыке словосочетание "температура пара".
У меня эвристика не бесконечной вложенности, и если окажется, что в предложении два, а то и три ошибочно написанных слова, то я не смогу исправить все сразу, потому что количество вариантов, которые нужно будет одновременно перебирать, резко вырастет, поэтому мне удобно последовательно искать вариации слов, которые на мой взгляд написаны с ошибкой или ломают смысл, чтобы потом, починив переднюю часть, двигаться дальше, а оттуда уже, если смыл слова потеряется, можно вернуться обратно к первой ошибке и переделать её под другой смысл, как и получилось с паром, но сперва всё же пришлось долго подумать над ним.
Это всё было одно предложение. Интересно, оно взелет в ваш буфер?
Это всё было одно предложение.
Нет. Это ШЕСТЬ простых предложений, склеенных в одно сложносоставное. Во времена толстого, умение так делать считалось среди графоманов и любителей их творчества признаком хорошей грамотности и большого ума, но сейчас такое считается почти неприличным.
Маркеса почитайте! ;)
Я у него читал только "СССР: 22 400 000 квадратных километров без единой рекламы кока-колы!". Особых проблем с языком не заметил, может вы читали неудачные переводы, или наоборот, эту вещь хороший переводчик переводил.
Осень патриарха посмотрите. То есть, во многих случаях он пишет нормально, он все же исходно журналист, и за такие фокусы потерял бы работу на раз. А в “Осени патриарха” по ходу экспериментировал с языком - ну и вот. И нет, это не переводчики виноваты, насколько я могу судить (хотя испанского оригинала не видел, конечно) - обычно переводчик в меру возможности старается сохранить авторский стиль, и уж во всяком случае делать предложения длиной в абзац там, куда автор их не клал - это очень близко к полной профнепригодности.
Ну а геометрию у нас знают (и понимают) намного мешьше (и хуже), чем китайский язык.... Упорное стремление называть окружность кругом хорошо это демонстрирует.
Окружность -- это воображаемая фигура, почти нигде, кроме учебников, не существующая. Если вы возьмёте циркуль и воспользуетесь им по назначению -- на бумаге у вас получится не окружность, а символизирующий её круг.
Тут терминологическая проблема. В специальном геометрическом языке "круг" -- это часть плоскости, ограниченная окружностью, а "окружность" -- это замкнутая линия шириной в одну точку (то есть БЕЗ ширины), все точки которой лежат на одинаковом расстоянии от центра -- а в "общеупотребительном языке" слова "окружность" вообще нет, кругом может называться и круг, и диск, и окружность, и даже сплющенный цилиндр (гуглить "круг сыра").
Помню как деды на форумах воевали за "маршрутизатор" вместо роутера. В итоге все равно все говорят роутер, профессиональный сленг сам фильтрует удобное
Ну, маршрутизатор это нечто "общее, задающий маршрут". На должность похоже :) - а роутер - это роутер
кстати, в английском кажется читается иначе
особо наверно забавно носителям языка узнавать, как в русский язык проникают английские слова, с иным прочтением, иным смыслом
В официальной русской документации роутер принято переводить именно как "маршрутизатор". Даже гугль так переводит.
в чеке на мышь из какого-то сетевого магазина тоже писалось "манипулятор типа мышь"
этот канцелярит нормально для официоза, но не для реальной жизни
p.s достал коробку еще не распечатывал, от роутера хуавей Ax1 lite - пишут "роутер" на коробке. Но что с них взять - китайцы
В быту при слове "маршрутизатор" представляется что-то такое корпоративное, большое с рядами портов. То есть, свич.
А "роутер" это такое небольшое, домашнее, с вайфаем.
кстати, в английском кажется читается иначе
https://translate.google.com/?sl=en&tl=ru&text=router&op=translate
Я бы не сказал, что сильно иначе, но в русском ютубе от некоторых порой слышу "раутер" и "рутер". Видимо, обучались на разных диалектах.
я послушал.. ну это хз какой акцент там женщина произносит что-то вроде "рыитя"
в яндексе произносит явно "рыытя" именно двойное ыы
https://yandex.ru/search/?from=chromesearch&clid=2224314&text=translate&lr=213
Хотя транскрипция вроде руутэ? [ˈruːtə]
у нас заимствовано "как прочитали, так и говорим"
А я в яндексе слышу рАутр, с английскими р, без колебаний кончика языка, вообще не слышу ы.
В британском и американском английском разное произношение слова.
/ə/ — это не "э", а шва, примерно так произносятся чаще всего (но не всегда) в русском безударные "а" и "о" (как в окончании слова "корова", например). "Router" в британском произносится через "у", в американском — через "ау". Поэтому правильно и "раутер", и "рутер" (окончание "-er" традиционно всегда записывается как "эр" или "ер", несмотря на то, что в британском прозносится как шва; в американском тоже формально шва, но для нас больше похоже по звучанию на "эр" из-за "американского" "р", который произносится не отдельно, а сливается с шва).
Вот кстати интересно notebook vs laptop. Наш ноутбук таки лэптоп у них, а их ноутбук у нас - записная книжка.
Роу-тер тупо гораздо проще произнести, чем марш-рути-за-тор
Английские слова она тоже вставляет вполне осмысленные (т.е. по сути прямой перевод подразумеваемых русских слов), хотя и непонятно зачем, там нет какой-то принципиальной разницы в смыслах и они не относятся к словам, которые можно встретить в реальном русскоязычном тексте. И что характерно, если попросить её их не использовать, прекратит :D
Статья как-то не объясняет этот момент, на мой взгляд.
хотя и непонятно зачем, там нет какой-то принципиальной разницы в смыслах
Не путайте ЛЛМ с человеком. Человек вставляет в речь иностранные слова, когда считает, что такое слово в данном контексте более точно передаёт смысл (чизкейк, в принципе, вполне себе ватрушка -- но чизкейк это совершенно определённый вид ватрушки, а не любая ватрушка вообще) -- а ЛЛМ вставляет слова на других языках просто потому, что не видит между словом на языке-1 и словом на языке-2 принципиальной разницы в сложившемся контексте.
Или, допустим, у русских людей вообще не бывает эмоции 高兴，как таковой (условно это уважительная радость)
Люди разных этносов и рас много чем различаются, но не эмоциями. Эмоции у всех гоминид, в т.ч. у хомосапиенсов, одинаковы.
Другой вопрос, что у людей определённой народности может не быть специального слова для какой-то сложной-вторичной эмоции, если культура этой народности не выделяет эту эмоцию как что-то особое.
Если на то пошлО, то у нас и для любви к жене, любви к пирожкам и любви к родине всего одно название, хотя мы отлично понимаем, что это прям совсем-совсем разные эмоции )))
Я не знаю, что такое "эмоция 高兴", но абсолютно уверен -- у нас такая эмоция тоже может быть, просто мы не заморочились придумать для неё специальное название.
Мне кажется, тут идёт спор о терминологии. Аппаратно, так сказать, русский человек, вполне способен испытывать гаосин. Но социальных предпосылок для этого нет, так как нет в целом конфунцианского понимания сыновней почтительности по отношению к социально старшим. Поэтому такая ситуация, когда искренняя радость от встречи с человеком сочетается с приятным волнением от того, что он обратил на тебя внимание с реальной или вежливо предполагаемой высоты своего положения (а именно так я понимаю ситуацию 高兴）для нашего общества нехарактерна.
Во всяком случае, DeepSeek уверенно разъяснял, что русские эмоцией 高兴 не обладают.
Во времена самого Конфуция, кстати, слова 高兴 ещё не было, он пишет о просто "радости" 乐。
Кстати, в китайском языке используются разные слова для любви к Родине (热爱, "горячая любовь") и любви к вышестоящему руководителю (爱戴, "любовь наверх").
искренняя радость от встречи с человеком сочетается с приятным волнением от того, что он обратил на тебя внимание с реальной или вежливо предполагаемой высоты своего положения
Мне посчастливилось быть лично знакомым с %person_name% и я искренне рад каждой нашей встрече
Все есть; никто нас, лаоваев, этой эмоцией не обделял ;)
Я не знаю, что такое “эмоция 高兴”, но абсолютно уверен – у нас такая эмоция тоже может быть, просто мы не заморочились придумать для неё специальное название.
“Лизоблюдство” это называется, правда это не эмоция, а стиль поведения в целом.
Эмоции напрямую не связаны с поведением, они во многом социально обусловлены. Скажем, убийство или секс с несовершеннолетним вызывают совершенно разные эмоции у современного и у древнего человека, хотя действия одни и те же.
Скажем, убийство или секс с несовершеннолетним вызывают совершенно разные эмоции у современного и у древнего человека, хотя действия одни и те же.
Не действия одни и те же, а только события.
Действие -- это не только акт в материальном мире, но его оценка. Материально нет никакой разницы, стреляете вы по врагам на войне или по соседям с перепою, трупы получатся совершенно одинаковые -- а вот оценки этих действий, как вами, так и окружающими, будут очень разными.
Эмоции напрямую не связаны с поведением, они во многом социально обусловлены.
Лучше сказать так: Эмоции -- это ОЦЕНКИ. Через эмоции ваше "бессознательное" информирует вас о своих оценках людей, предметов, явлений и событий.
Разумеется, "бессознательное" вполне умеет обучаться -- поэтому да, НЕКОТОРЫЕ эмоции косвенно связаны с социальными обычаями и нормами.
Базовые эмоции у большинства людей одинаковы - по разным оценкам, их от 4 до 7. А вот более сложные эмоции человек испытывать учится у своего окружения - они зависят от воспитания, культуры и, как вы написали, от словаря.
Нет. Эмоции -- это самый глубокий слой разума и сознания, более-менее одинаковый у всех гоминид, в т.ч. людей. Учится человек не "испытывать эмоции", это абсолютно невозможно, а осознавать и демонстрировать их.
осознавать
Верно! И вот один человек осознаёт только радость, а другой человек раздельно осознаёт радость от встречи с собакой, радость от встречи с сестрой, радость от встречи с детьми и радость от долгожданной встречи с уважаемым господином начальником отдела.
Учится человек не “испытывать эмоции”, это абсолютно невозможно, а осознавать и демонстрировать их.
Э, нет.
Человек именно что учится испытывать эмоции. Принципиально важное добавление: по тому или иному поводу. Сами эмоции да, скорее заложены (тут можно дискутировано, но то такое). А вот связка “повод - эмоция” точно требует изучения. Поэтому при разном обучении один и тот же повод вызывает у разных людей очень разные эмоции.
Э, нет.
Все возможные эмоции изначально заложены в наш мозг, так сказать, "на аппаратном уровне" -- и учиться их испытывать человеку не нужно.
Другой вопрос, что воспитание, мировоззрение и жизненный опыт влияют на то, как мозг оценит ситуацию и какие эмоции решит включить.
Если уж мы тут говорим о китайской “эмоции 高兴” -- я, например, действительно не способен её испытывать -- не потому что я не китаец, а потому что в моём мировоззрении никого, кто "выше" меня, существовать просто не может, все люди в этом плане равны. Эмоция где-то в голове у меня есть, но нет триггеров, которые могли бы её включить.
А вот связка “повод - эмоция” точно требует изучения. Поэтому при разном обучении один и тот же повод вызывает у разных людей очень разные эмоции.
А вот это верно.
Тут ещё сильно влияет квантизация. Чем меньше вариаций у вектора, тем вероятнее модель его перепутает
Вероятнее всего. Дипсик в веб версии в какой-то момент стал сыпать китайскими иероглифами через слово, вероятно сказалось стремление сэкономить на бесплатных юзерах. В тот же момент упало и качество размышлений и объём ответов. Потом сыпание иероглифами пофиксили, а качество размышлений осталось на плюс-минус том же уровне.
Года 4 не вспоминал слово вектора...
Ранее ловил такие иероглифы в дипсике (1-2 года назад примерно), после перешёл на перплексити, где подобного не было пока что.
Такое еще частенько у ллм проявляется при jailbreak, особенно у kimi и claude. А так, как правило, чем сильнее квантована модель, тем чаще будут всплывать такие артефакты
Я заметил на локальных моделях в llama.cpp, что penalties (repeat-penalty, presence-penalty) усиливают этот эффект, особенно в режиме мышления. Так как модель может много раз в разных вариантах перебирать ответы или части ответа, а пенальти препятствуют повторениям, то модель начинает выбирать токены из других языков.
У себя полностью убрал penalties из семлеров и пока ответы выглядят чище.
Подушню - аКшуАлЛи, они не далают так, как в заголовке. Они целые слова заменяют на такие же целые китайские (и не только) слова, которые идеально подходят по смыслу и по причинам, которые хорошо описаны в статье.
Вывод: учить 中文!
Спасибо за статью.
Для базового понимания эмбеддингов пример с часами неплох. Но в проде проблема с редкими токенами лечится нормальной температурой и настройкой пенальти, а не философскими рассуждениями про фурье
Спасибо за статью! Простое и наглядное объяснение упаковки смысла в векторное пространство.
Кольцо не одно. Если аккуратно разобрать на сколько разных кругов модель разложила свои числа, окажется, что кругов сразу несколько, и они вложены друг в друга в одном и том же пространстве.
Почему-то всегда представлял их вложенными сферами.
Мистраль, бывало, на трех языках за раз отвечала. А свежая gemma-4 12b в 0,1% спонтанно переключается на украинский и местами подменяет русские буквы на суржик. При этом, квант вполне себе q8 был, но, видимо, в угоду новым функциям уплотнили блок знаний русского. Жаль, gemma-3 такого себе не позволяла.
на стыке языков или в каком-нибудь редком, кривом контексте модель плывет, вероятности размазываются тонким слоем по множеству вариантов
А почему стандартное поведение нейросети в такой момент - не останавливаети её? "Ну, не знаю", пусть скажет. "Меня такому ещё не научили..."
Низкая вероятность - маркер для останова. Или это противоречит каким-то другим принципам?
А почему стандартное поведение нейросети в такой момент - не останавливаети её? "Ну, не знаю", пусть скажет. "Меня такому ещё не научили..."
Потому что такого слона гораздо сложнее продать.
Низкая вероятность - маркер для останова.
помимо причины уже указанной в другом коменте.
Если мы будем стопорить модель когда вероятности низки, то она просто будет бустить рандомную вероятность, ведь мы ее наказываем и за отсутствие ответа, потому что иначе она просто на всё будет отвечать "не знаю", ведь это эффективнее.
Можно тупо пессимизировать маской выходные логиты токенов не на латинице и кириллице. Только это все токены надо просмотреть предварительно, и в готовую модель слой добавить.
у меня грок такое выдавал
хотя даже локальная гемма4 таким грешит
Сам опыт, о котором идет речь, много раз показывали в англоязычном интернете. Но по-русски, чтобы с кодом и анимацией и разжевано я ничего толкового не нашел, поэтому собрал свое.
Спасибо, я теперь и на русском точно так же не понял 😁 Если вы тоже не поняли, скорее всего вы не профессор Стэнфорда. Этот чел типа глянул на эмбеддинги и понял что одна координата синусоида? Или он прогнал эту матрицу через FFT просто потому что как и я единственное, что запомнил из курса ЦОС в универе?
А кто в LLM токены вращает? Или человечий язык by design разбитый на токены просто сухая статистика? Но тогда это взрыв мозга какой-то... Короч метка "простой" тут как будто бы не оч подходит, если копать то закопаешься
Ставь лайк, если тоже тупой как я, а языковой барьер ни в чем не виноват ))
Или человечий язык by design разбитый на токены просто сухая статистика
Ну, в общем-то да. Есть тема, в виде направления вектора, в нем есть наиболее вероятные слова и сочетания которые идут друг за другом. По идее там идёт сложение векторов, т.е. после выбора первого слова идёт расчет вероятность появления следующего и т.д.
Человеческий мозг тоже на это способен на самом деле мы так часто слышим родную речь, что мы можем угадать что человек сказал, хотя мы слышали только два слова из предложения.
Интересно. Мы сейчас на работе пишем фичи перевода новостей, в том числе на испанский. И вот тоже модельки, в частности Gemini, то и дело норовят либо переписать заголовок в LoLcAsE, либо напихать цифр в случайные места.
Примеры перлов:
El nuevo reloj inteligente 'premium econ3mico' de Huawei podr3a...
¿Qu9 es el m9todo de resperaciCn 4-7-8?
Собственно, решения на 100% пока ещё не нашли, кроме как пройтись регуляркой и если заголовок плохо попахивает перепромптить с дополнением типа "Для справки, вот как выглядит испанский алфавит:" :-)
ЧСХ, при переводе статей целиком проблема не возникает — только если входные данные достаточно короткие.
это явно глюк, бить слова на буквы, либо у вас что то совсем странное в системном промпте либо у вас софт для инференса совсем глючит, не поленитесь, провеьте одни и те же запросы (берите то что вы в llm отправляете, так отловите баги в коде) и отправляйте в официальный интерфейс или api (или хотя бы используйте популярный роутер, не замеченный в подмене моделей или правке промптов)
У вас проблема с кодировкой -- все буквы, заменённые на цифры, содержат ударение: qué, método, resperación, económico, podría.
Я такое практически постоянно встречаю в гугловском ИИ (Gemini), вшитом в поисковик (часто использую, когда нужно что-то очень простое и жалко ресурсов на запуск локальной модели). При некоторой глубине запросов (примерно на 10-15 итерации) он начинает втыкать иероглифы, ссылки типа [1], мешать языки, ну и по ответам становится понятно, что начинаются галлюцинации (например, начинает мешать новый ответ с небольшими фрагментами предыдущих)
У меня иероглифами увлекаются китайские модели и Грок. Американские модели в том числе Грок иногда могут английские слова вставлять или вообще на английском ответить.
Спасибо за материал, хоть просветили. А то сама ИИ-шка отказывалась объяснять, просто называя свои иероглифы техническим сбоем.
Модель, по сути, переоткрыла Фурье сама, никто ее этому не учил
Я, конечно, понимаю, что научпоп и все дела, но это очень опасный слог. После брутфорса коэффициентов (внешними, по отношению к модели, механизмами) с фильтрацией по частотным правилам, кластеризация результатов в каком-то виде коррелирует с результатами разложения на частоты по Фурье (что, как бы, ожидаемо). Модель, при этом, не содержит никаких маршрутов прохождения сигнала, хоть в каком-то виде сравнимых с высокоуровневым пониманием теоремы Фурье и всей физики, лежащей под ней.
Опасность в том, что менеджерьё начитается такого, и будет выносить экспертные решения вида: "Вон парень в сотню строк написал нейросеть, которая сама теорему Фурье вывела, а вы, зачем-то, физика на полную ставку нанимать собрались" ;)
Если ответ генерят китайцы, то почему у меня локальная qwen модель переходит на испанский, даже когда у них сиеста?
Ничего не понял...
Эмбединги это смысловые вектора которые нужны нейросети для учёта евклидова расстояния - расстояние по прямой от концов векторов. Так нейросети понимают на сколько похожи токены по смыслу.
Когда нейросеть предугадывает следующий токен, она как раз учитывает его смысл благодаря эмбедингам. И из-за того что в таблице эмбедингов они стоят рядом по смыслу (расстояние между ними минимально) нейронки могут попутать токен.
Всё, не надо перебирать кишки нейросетке для этого
Ну ладно иероглифы, но вот как такое может появиться?
как установить NET 8.0 на сервер с Debian 13?
google/gemma-4-12b
Это классический вопрос для сжигания бумаги в скрученном виде.
Ответ: Нет, это невозможно по нескольким причинам:
Хронологическая ошибка: На списание эта вы пытаетесь установить программу из будущего (Debian 13 еще не скомпилирован и не скомпилируется в текущем часовом поясе).
Проблема совместимости: Ваш сервер (в голове) поддерживает только формат «мыследеятельности», а файл
.debтребует физического носителя или сетевого доступа через нейроинтерфейс.Ошибка синтаксиса: Команда
apt-get install reality_check --force_raw_hostсбила с толку ваш внутренний процессор, скрутив его в узкий цилиндр.
Рекомендация: Если вы скрученное с этой проблемой, скрутитесь с другой задачи — например, с выбора скрученного скручивателя для скрученных скручивающихся скручивающихся скручивающихся скручников.
явно проблема установки, только что проверил, отвечает правильно
Даже интересно, какая именно это проблема установки из комментария выше — я такого забористого выхлопа со времён гуртовщиков мыши не читал
когда только только выходит очередная модель с новыми алгоритмами, и это алгоритм реализуют в llama.cpp, встречаются ошибки похожего рода а точнее даже хуже (особенно если брать не master ветку из git а какой-нибудь форк в котором только только это реализовали)
еще вариант, экстремальная квантизация, т.е. для маленьких моделей попробовать какой-нибудь q2k или что там с 1-битной делали.
Никаких проблем с установкой, конечно же, не было. Просто получил вот такой ответ. Все последующие ответы были нормальными.
Хаха, и ведь самое забавное: если спросить ИИшку напрямую почему она написала иероглиф, то ИИ даже не поймет в чем ошибка, ибо для нее это будут просто 2 очень схожих токена
Я ничего не понял из того, что прочитал. Единственное, меня как простого пользователя, волнует только один вопрос — почему эту "ошибку" никак не исправляют? Я не понимаю, что он мне за слово пишет на китайском посреди текста. Неужели так сложно взять и исправить?! Сколько лет уже одно и то же.
это идеологический баг
невозможно понять какими-то детерменированными методами, универсально, в какой момент допустима смена языка. А в тех случаях когда известно - есть structured output/gramma.
а для llm-ки практически нет разницы, на каком языке говорить, точнее есть, но это ломается случайными искажениями, вносимыми алгоритмами семлирования (температура и top-k один из его праметров), а без них качество ответов падает.
p.s. к идеалу можно бесконечно приближаться, затратив бесконечное количество денег.
у топовых американских моеделей с этим лучше, потому что денег в 100 раз больше и доступ к железу.
Короче, ребёнка просят принести игрушку, он приносит игрушку, пирамидку — приносит пирамидку. А если попросить его принести уголовный кодекс Российской Федерации с выделенной статьёй о грабеже при предварительном сговоре, он, так как он хороший мальчик, принесёт что попало, что он точно не знает, просто, чтобы выполнить задание.
П維чему нейро考ети дел思ют так