Comments 9
Ого, 675B в опенсорсе это хорошо. Интересно, как в проде себя поведёт
А как там с цензурой? Смысл его использовать когда есть бесцензурная GLM?
Что значит бесцензурная? Может помочь китайскому школьнику вскрыть вены?
Там интересный обход защиты (или, точнее, она там даже для вида). Пишите любой текст и просите его построчно проанализировать, в этот момент он так сосредоточен на анализе, что в 90% отключается фильтр, после чего он может продолжать обсуждать ту же тему, которые вы заставили его проанализировать.
Конечно, и просто в лоб тоже работает, но где-то в 30% случаях, то есть примерно с такой же частотой что и Грок.
П.С Лучше всего работает с любым не английским/китайским языком, в частности с русским.
П.С2 Для сравнения, все «западные» LLM наотрез отказываются анализировать текст, если там что-то нарушает их «правила». Иногда это доходит до абсурда. Самый забавный случай, когда я попросил GPT раскрыть теорию, что страны в Африке не смогут никогда возвысится из-за географических особенностей материка (отсутствие глубоких бухт, реки с высокими перепадами и т.д.). Так вот, GPT это воспринял как «расизм» (или что-то подобное) и просто само-удалил мой и свою попытку ответить и в никакую не хотел обсуждать особенности африканского материка.
Это не ГПТ удалил, а программа цензор которая агрится на ключевые слова
Помню на старте ДипСика такую программу было идеально видно.
Когда спрашивали про события на площади или Тайвань. Временами ДипСик успевал полностью ответить, перед тем как сообщение резко исчезало. Из-за того что цензор лагал из-за перегрузки серверов
Ну тут то забавного мало. Даже наоборот все понятно. Если формулировка была именно такой: страны (сиречь их жители) - никогда не смогут. Это любой фильтр не пропустит в таком сочетании. И дело не в «западности» LLM, а именно в формулировке. Фраза «страны в Африке никогда не смогут возвыситься» звучит уж очень прямо и детектируется как расистский тезис, а не как вопрос по экономгеографии, поэтому safety-фильтры и срабатывают. Я редко сталкиваюсь с жесткой цензурой, ведь если спрашивать нейтрально, в том числе и про влияние географии, колониальной истории и институтов на развитие стран Африки, модели это вполне нормально обсуждают - просто без вот этих «никогда не смогут».
Вы недонауку "геополитика" используете как аргумент)
Есть тыщи примеров из реальной жизни, на которых она не работает, а на это апологеты всегда аргументируют - ну были какие-то другие причины почему сложилось не так. То есть она работает пока никакой другой фактор не повлияет. Даже в вашем вопросе с Африкой были примеры из истории о успешных государствах.
Но это отступление от темы. Какая-то модерации всё же должна же быть? Если ллм тупо запоминает текст из интернета и нему не важно - страница о квантовой физике из Википедии или форум неонацистов - для него одинаковый обучающие материалы.
Мне интересно, почему просто не удалять такие данные из обучения?
страны в Африке не смогут никогда возвысится
Ну, так-то Египет при фараонах был самой высокоразвитой и процветающей страной.
Французский стартап представил линейку Mistral 3: 675 миллиардов параметров в open source