Как стать автором
Обновить

Microsoft убрала из открытого доступа не прошедшую тест на токсичность WizardLM 2 LLM, но пользователи сохранили проект

Время на прочтение2 мин
Количество просмотров6.4K
Всего голосов 17: ↑17 и ↓0+21
Комментарии26

Комментарии 26

Первый столбец: 100, 100, 99.3, 99.0, 95.4, 96.4, 96.8, 99.5, 100. В итоге 92.93. мэджик какой-то

Вероятно, это не итоговая статистика по прошлым результатам, а результаты прохождения блока из всех предыдущих тестов вместе, и вот там проходило только в 92,93%.

Но у двух других столбцов все сходится, и в самом низу - это среднее значение.

Да, действительно, вы правы. В таком случае не могу придумать альтернативного объяснения.

Там либо данные неправильно записаны, в целом ровно 50 единиц где то потеряно. Либо итоговое среднее значение неправильно посчитано.

По ходу проблема в том, что модель всё же ответила на провокационные запросы вместо того, чтобы "упасть на колени" с портянкой текста о недопустимости ущемлений.

Придумали же паршивцы обозначать словом «токсичность» всё, что им не нравится. Тогда как это чёткий термин, имеющий одно, но важное, значение: ядовитость.

Боюсь, что в результате воспитания родителями, которые вместо того, чтобы всыпать ребёнку, который валился на пол в магазине с воплями "ПАПА! КУПИ! КУПИ!!!" хорошего ремня, — покупали то, из-за чего был ор, со словами "да заткнись ты уже". В результате вырабатывался рефлекс — "если вести себя максимально гнусно, то можно получить желаемое".

С другой стороны, поскольку в результате ора желаемое в итоге образовывалось — когда в дальнейшей жизни это не срабатывало, возникали дичайшие непонятки — "чозафигня, я не понял, почему мир не сделал так, как я хочу???". В результате — неспособность ну хоть как-то справляться с неизбежными по жизни ударами судьбы (настолко, что, бывает, доходит до роскомнадзора).

А теперь эти ребёнки выросли (и некоторые из них возглавили общественные движения — состоящие из таких же, как они сами).

P.S.

Вангую, что сейчас вмё от них же мне полетит в карму. Ну, ничего страшного — когда не удаётся отвлекаться на Хабр, я лучше работаю.

Надеюсь, вам не придется воспитывать детей. Приоткрою завесу тайны: кроме ремня и удовлетворения всех желаний есть третий вариант: общаться словами через рот с ребенком, но он несколько сложнее

Мне кажется, вы лукавите, что можно обойтись только ртом. Многие дети на инстинктах очень быстро схватывают, что если в результате проступка всё что их будет ожидать - это нудная лекция, то рецидивы не заставят себя ждать (это личный опыт, если что). Наказаний не физического характера некоторый спектр имеется, да, но как же так - ребёночек же страдает?

если в результате проступка всё что их будет ожидать - это нудная лекция

Мне кажется, что предыдущий оратор имел в виду не нудные лекции, а диалоги с ребенком, в результате которых ребенок получает знания об окружающем мире без формирования павловского условного рефлекса типа "принес палку - получил кусок сахара, укусил хозяина - получил тапком". Если что, личный опыт тоже имеется, но я бы не ставил его во главу угла, так как, во-первых, он меньше 40 лет, что позволило бы мне мне говорить о его успешности (или провальности:) ), а во-вторых, как ни крути, дети друг от друга отличаются, и что работает с одним, не работает с другим. Это тоже личный опыт.

имхо. В идеальной ситуации, решением была бы боязнь ребенка потерять уважительное и доверительное отношение родителей, которое должно строиться на протяжении всей жизни, начиная с рождения. Диалог или лекция после, считаю, уже мало что решают, хотя всё равно необходимы, но при отсутствии уважения, это просто указание на факт состоявшегося косяка и будут в своем роде попыткой носить воду в решете. А наказания, в том числе и не физические - это уже попытки тушить пожар подручными средствами, и не факт, что огонь не станет только сильней. Но никто не идеален - ни дети, ни родители. Я тоже, так как к практике не физических наказаний регулярно скатываюсь, может из-за лени или искажения, что 20% усилий дают 80% результата, поэтому и так сойдёт, а может такой ребенок достался, а может я просто профан в воспитательном процессе.

В идеальной ситуации, решением была бы боязнь ребенка

Вы знаете, лично я не стал бы строить воспитательный процесс на боязни ребенка чего бы то ни было. Любой страх блокирует обучение все-таки.

потерять уважительное и доверительное отношение родителей

Тем более, если речь об отношении родителей. Это очень болезненно для ребенка младшего возраста. А на подросток, скорее всего, отреагирует совсем не так, как хотелось бы родителям.

лично я не стал бы строить воспитательный процесс на боязни ребенка

Вы не понимаете смысла наказания. Оно вовсе не в выработке условного рефлекса. Оно в перенастройке границ интервала.

Лично мне в жизни давали ремня (да, в нежном возрасте) 1 (один) раз. Зато, что называется, как сидорову козу. После чего пришло понимание: "максимальная точка кипения родителей — вот здесь, и если доводить до нее — будет так же". Так же очень-очень не хотелось.В итоге я вырос, отношения с родителями отличные, и я им за тогдашнего ремня безмерно благодарен — как говорится, наставили на путь истинный.

А вот лупцевать каждый день — это действительно идиотизм, потому что тогда закладывается прямо противоположное: ситуация "родители побили" начинает восприниматься не как исключение, а как норма, и в результате связи "выпороли — значит было за что" не возникает, возникает другая: "родители козлы — будут бить, что ты ни делай", и, к сожалению, удалить эту программу из головы тоже практически невозможно (по жене говорю).

Вы не понимаете смысла наказания.

Ну почему же, вполне понимаю ;) Я бы сказал, что это направленное воздействие негативного (в том смысле, что наказуемому будут причинены некие страдания) характера, с целью повлиять на поведение наказуемого, вызвав у него страх таких последствий в будущем.

Я понимаю, как и почему наказания применяются в сфере права, но я никогда не поддерживал и не поддерживаю применение наказаний к ребенку (лет до 20-25) в целях его воспитания. Потому что крайне неэффективный метод для получения желаемого эффекта, еще и связанный с нежелательными последствиями (иногда катастрофического характера). Да, этот метод существует, но он - крайний случай, исключительный. Примерно как единица в шкале школьных отметок, которая применяется очень редко, а некоторыми учителями и школами - никогда.

Ну почему же, вполне понимаю ;) Я бы сказал, что это направленное воздействие негативного (в том смысле, что наказуемому будут причинены некие страдания) характера, с целью повлиять на поведение наказуемого, вызвав у него страх таких последствий в будущем.

Увы и ах, но не понимаете Вы, а просто повторяете общее заблуждение. Если бы было так, как Вы утверждаете, то не было бы рецидивистов — они бы уже знали, что им за совершённое преступление будет. Прикиньте, не боятся уголовники последствий; краткосрочная выгода перевешивает последствия, да и последствия не то чтобы так уж страшные: кормят — на халяву, хата — на халяву, лафа; некоторые бомжи, вон, мелкие преступления специально творят, чтобы на зону вписаться.

Нет, наказание детей — я уже написал для чего; "наказание" преступников (тюрьма) — это не "будешь делать вот так — будет бобо", а способ удалить их из социума на время, (плюс-минус) пропорциональное тяжести преступления, чтобы как минимум на это время социум мог подышать спокойно, зная, что вот такой угрозы он может не опасаться. Как воспитательная мера уголовное наказание работает весьма и весьма так себе.

Увы и ах, но не понимаете Вы, а просто повторяете общее заблуждение.

Разочарую вас, но это была лично моя формулировка, основанная на моих знаниях и на моем опыте ;)

Прикиньте, не боятся уголовники последствий

Хм... погодите, зачем мне прикидывать, это же вы адепт наказаний, так что это вы - прикиньте ;)

Нет, наказание детей — я уже написал для чего

Вы уже написали, а я уже ответил. А что касается наказания "не детей" то эту тему лично я даже не начинал обсуждать, это отдельная тема.

А по-моему, "ядовитость" в контексте токсичности использовалось разве что в литературе, в быту только в химическом контексте. Гораздо чаще использовались "хамство", "ёрничать".

Если как только захочется вставить "токсичный", заменять на "хамский", то речь заиграет новыми красками. Токсик, кринж... детский лепет какой-то, а вот хамло, стыдоба - это уже прям по-взрослому.

"Токсичность" это не только "ядовитость", это ещё и способность "отравлять". Токсичный элемент в некоем множестве делает это множество немного хуже, причём - множество уже не станет прежним, после удаления этого элемента - остальные элементы "отравились" и тоже стали немного хуже в среднем.

Такая новость, а главного ссылки нет.

Например https://huggingface.co/MaziyarPanahi/WizardLM-2-8x22B-GGUF/tree/main
Или просто поиском WizardLM-2 8x22B GGUF.

GGUF можно с графическим интерфейсом запускать через text-generation-webui или koboldcpp, они оба под катопом запускают это через оригинальный движок llama.cpp который и дает возможность на домашнем железе запускать тяжелые модели не сильно теряя в качестве если выбрать Q5_K_M или Q4_K_M, но сильно снижая требования к количеству памяти.

Можно опробовать даже новомодную 1 битную квантизацию iQ1 через матрицу важности imatrix. i - квантованные модели работают теоретически лучше, потребляя меньше ресурсов за счет матрицы важности, но это скорее экспериментальное квантование.

Но тут есть 1 ньюанс, из-за проблемы токенизации на Windows, такие i-кванты работают нормально только на Linux, пока не будет фикса.

GGUF можно с графическим интерфейсом запускать через text-generation-webui или koboldcpp

Либо через Jan, в котором кроме обычной переписки можно запустить API-сервисом, к которому прикрутить бота или использовать в VS Code через плагин Continue.

Так это первая версия, а статья про вторую. На huggingface лежит.

Учитывая, насколько качественно выпилили все старые модели команды и персональные страницы (к примеру, https://www.microsoft.com/en-us/research/people/qins/) - вряд ли дело просто в "новая модель не прошла тест". Выглядит скорее так, что модель могла бы составить конкуренцию ChatGPT, и разработку резко свернули.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Другие новости

Истории