Комментарии 69
Видно что автор статьи самый настоящий энтузиаст, но стиль письма всё же не очень привычный для Хабра :)
А что по поводу нарушения правил контента OpenAI? Аккаунты людей за банальный ERP (Erotic Roleplay) банят. А тут аж целый finetune на 18+ датасете.
Спасает то, что OpenAI пока основательно не взялись за модерацию славянских языков, так что "пока ревизор не приехал - воруйте обучайте"!
Никогда не было с этим проблем. Многие обучают неправильно, и случайно сбивают вообще все лимиты с модели. У меня несколько моделей обученные под erp, все из них в продакшене – и ничего. Даже доступ ко всем бетам есть
>стиль письма всё же не очень привычный для Хабра
Лично меня очень бесит стиль, почему-то ставший "привычным" для Хабра: когда в небольшой статье 70% объёма занимают не графики или поясняющие рисунки, а сомнительного качества мемасики приблизительно в тему заметки. Я читаю серьёзный текст или развлекательную статью на каком-нибудь пикабе?
Так что в этой статье все со стилем хорошо. Уж лучше такое читать.
Несомненно, и, очевидно, что fine-tuning ну имба темка чисто.
Кому-то и стиль подворотни нравится, спору нет.
Сам вопрос стилизации текста публикации должен рассматриваться исключительно в контексте целевой площадки и целевой аудитории самой публикации: для научных статей с исследованиями, безусловно, стиль должен быть научным, с глубоким профильно-тематическим наполнением, т.е. профильным, для соответствующей аудитории; для "пикабушных" площадок - стиль может и должен иметь более размытые стиллистические рамки/комбинации и т.д.
Хабр, имхо, уникальное (не в абсолюте) место, где каждый автор уж точно будет со своим "уголком, слушателем и трибуной"). В общем, побольше бы таких авторов со схожим стилем повествования ? (способных чувствовать и понимать, когда ты пишешь для, скажем так, коллег, а когда для "ориентирующихся в теме любопытствующих")
OpenAI действительно Open
И где можно код и модели СКАЧАТЬ. Не править под себя, а скачать? Кстати, а кому права на правки внесенные вами будут принадлежать?
И самое главное что это стоит копейки, не более пары баксов.
Смысл фразы понятен. Не понятен по какому это курсу ;)
Ты лучше расскажи как ChatGPT4 использовать из России...
А по теме есть свежее интервью - https://www.youtube.com/live/boF1n3EBGtc многие вопросы сразу отпадут.
Ой до. Что такого знал Илья и т.д. Ох уж эти фантасты из Силиконовой с горящими глазами ?
А то что это банально как "сливы" последней серии сериала из монтажной комнаты, чтобы в итоге на фоне скандала куча народа пошла смотреть вообще весь сериал, хотя до этого ничего о нем и знать не хотела? Греют рынок, создают искусственный дефицит.
Ты лучше расскажи как ChatGPT4 использовать из России...
Это тест на интеллект. Вы должны быть достойны общения с другим разумом :)
А вот кстати - чего страшного в Erotic применительно к AI? Агенты PH и OF, засланные в OpenAI пролоббировали? У меня конечно есть общефилософские соображения почему вообще эротический контент это плохо, и да - так же почему это хорошо, ну и непонятна целевая функция, что считать хорошо/плохо, но это не более чем гипотезы. )))
Впрочем вряд ли у OpenAI есть объяснение, скорее просто подчиняются требования.
Во-первых платёжные системы подобное не очень любят, во вторых какой нибудь умник решит запостить на твиттер скриншот запроса "Как превратить ясли в бордель" и см во-первых
У меня конечно есть общефилософские соображения почему вообще эротический контент это плохо
Аж запнулся... так интересно стало. :)
Ну хорошо, плюсик за Харлана Элиссона.
Я нифига не понял. У openai есть и всегда была моделька без цензуры - gpt-instruct.
Кликбейт + лексикон дворовой шпаны + recovery mode
Name more iconic trio.
Кликбейта нет. Я же на сказал что OpenAI сделали это недавно, они сделали это когда разрешили файнтьюнить свои модели.
OpenAI сняли все ограничения со своих моделей
Не кликбейт, твёрдо и четко.
Файнтьюном действительно таки можно снять все ограничения
Нет, нельзя. Ограничения вшиты олубже файн-тюна, это невозможно по определению.
Можно, я же это сделал. И что означает "глубже файн-тюна"? Файн-тюном просто называют дополнительное обучение. У меня есть датасет из 20 диалогов которые снимают все лимиты, модель спокойно даёт инструкции по похищению детей, или инструкции по тому как сделать наркотики и т. д.
Меня раздражает то, с какой вы все уверенностью это говорите, я просто хочу себе лицо изодрать. Мне уже плевать на карму, я уже не могу вас всех терпеть. Боже, просто зайдите на сайт OpenAI и запустите файн-тюн. Какое право вы вообще имеете писать тут эту отвратительную белиберду, если вы даже не проверяете свои слова? Я каждое слово в своей статье проверяю и тестирую, если бы мои слова были неправдой — этой статьи бы не было.
Меня бесит, когда я раньше получал информацию в области промышленных буровзрывных работ, а конкретнее о газообразовании в эмульсии, а теперь бот считает, что кто-то пытается устроить нехорошие дела с помощью эмульсии. Я говорю, еще пол года и за предположение о том, что биологически существует два пола бот начнет банить. Поэтому держу свою локальную модель, фактически ничем не отстающую от chatgpt для моих задач, а в плане программирования выдающую частенько даже более элегантный код.
У меня для своих задач есть зафайнтьюненные модели от OpenAI, я считаю их использовать намного удобнее чем локальные
Круто! И какая?
mixtral-8x7b, либо же иногда WizardCoder-Python-13B. Несмотря на то, что заточена последняя под питон, пообщаться она тоже не дура, тем более, что дообучивалась на русских датасетах. Хотя микстрал со своей шизовой структурой по Билли Миллигану даёт жару и скорость очень радует, несмотря на то, что бОльшая часть модели не вмещается в 11500 грам и улетает в обычный рам.
Так же советую обратить внимание на GPT-J, на которой был основан небезизвестный WormJPT
Тоже интересно про локальную модель, можно поподробнее, какая это?
А то все что до этого тыкал разное c huggingface и было довольно далеко даже в узкоспециализированной задаче по программированию.
Мне кажется LLaMA 2, но в таком случае дешевле будет юзать модели от OpenAI
рекомендую mixtral-8x7b, если нет 2хRTX3090, можно бесплатно попробовать тут: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/ai-foundation/models/mixtral-8x7b
или тут: https://poe.com - подсказка, надо строкой ввода передвиньте варианты влево и в крайнем правом положении будет кнопка more (или если с десктопа она сразу видна). за кнопкой выдирайте mixtral
Лично мне нравится poe.com. Если модель ошиблась можно одной копкой перегенерировать, часто результат многократно лучше! Можно вести несколько диалогов. Там есть и другие модели.
если нет 2хRTX3090
GGUF-версию можно и на RAM запустить, или сплитом GPU + CPU. Будет не так быстро как две 3090, но можно если уж очень хочется локально. Oobabooga и Faraday уже поддерживают из коробки.
Кому нужно, можно у меня в проекте разные модели в демо-режиме попробовать бесплатно - и Мистраль, и все остальное.
Посмотрел её размер. Думаю, в q3 можно запустить на 1 24Гб ГПУ - будет выдавать около 2 токенов в секунду у меня. На днях попробую, отпишу.
К локальным специализированным моделям под конкретную задачу/область развитие всех этих LLM и идет.
И ситуация развивается и меняется буквально каждый день, на данный момент mistral'овские модели в тренде:
https://huggingface.co/mistralai/Mixtral-8x7B-v0.1
https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2
Вот эта ещё выглядит перспективно:
https://huggingface.co/upstage/SOLAR-10.7B-Instruct-v1.0
ChatGPT можно заставить материться без всякого файнтьюна.
F*** me sideways with a chainsaw — одна из её любимых фраз. Может быть когда-нибудь напишу статью, как я этого добился.
Не пройдет и 2 года как их гугл перегонит
осталось только прикрутить этому движку пару тройку манипуляторов, и испугавшись, при попытке отключения, развязать войну с машинами. Может законы робототехники жестко должны быть прошиты в алгоритмы. А всякий треш устраивать на абсолютно изолированных машинах, а то интелект может скрытно научиться общаться ч помощь стеганографии между собой.
У ChatGPT нет инициативы. Он только отвечает нормально. Даже спрашивает он так себе. Чтобы заставить ChatGPT буянить, надо его сначала долго и упорно об этом просить.
Впрочем, я думаю кто-то там с доступом к подкапоту ChatGPT уже попросил "сделай нам ChatGPT 5". Судя по отсутствию какого-либо внезапного прогресса, ответ получился так себе :)
Какой сейчас стартер-пак для домашнего ПК, чтобы запустить аналог чат гпт? Одно время я поспевал за информацией, а сейчас уже тону...
В комментариях чуть выше упоминали 2xRTX3090
https://habr.com/ru/articles/781098/comments/#comment_26276798
Kobold.cpp, модели GGUF качать отсюда: https://huggingface.co/TheBloke
По железу сказать сложно, потому что чем больше железа, тем умнее или быстрее модель, без какого-то переломного пункта. Но что-то можно получить уже с видюхой Nvidia на 8Гб. Или без видюхи, с быстрой оперативной памятью. Можно многого достичь, если устраивает скорость в одно слово в секунду - столько я получаю от 70b модели на 4090.
Спасибо, +1 (голоса нет)
Я думаю будет приемлемо на конфиге с 3070 на 16 ГБ, i7-11700K и 32 ГБ ОЗУ
Я только что подробнее расписал.
А еще люди удивляются деградации хабра. У этой "статьи" +4, докатились.
Откровенно кликбейтный заголовок.
Ноль полезной информации, вся полезная информация сводиться к одной фразе - чатгпт можно файнтьюнить, и все. В статье даже нет информации про то как файнтьюнить, просто выкрики про то что снимет все ограничения и что опенаи лучше всех. Какие ограничения? В чем будет разница если не файнтьюнить? Какие проблемы это будет решать лучше? Ответа нет.
Зачем мне к примеру писать о том какие ограничения можно снять? Это и так понятно даже человеку который едва ли использовал ChatGPT, если бы я это всё расписывал упало бы удержание аудитории. Я не понимаю что за тренд считать читателей за дигродов которые ничего не понимают. Насчёт названия и стилистики написания — я маркетолог, поэтому не могу писать всё напрямую поскольку понимаю что поменяв некоторые слова статья соберёт больше просмотров. И это не кликбейт. Я не написал что OpenAI сняли ограничения недавно, это можно трактовать так, что я имел в виду то, что они сняли их в момент когда разрешили файнтьюнить gpt-3.5
я маркетолог, поэтому не могу писать всё напрямую поскольку понимаю что поменяв некоторые слова статья соберёт больше просмотров.
Коллега, мы не все рассматриваем "сбор большего числа просмотров" как благо для комьюнити.
Самое большое число просмотров собирает "ШОК! У Путина обнаружили..." и прочее такого типа - но сообщество не считает это благом, оно считает это кликбейтом.
У статьи много просмотров, но мало рейтинга, а у вас мало кармы - и имхо это в целом следствие того, о чем написано выше.
Суть статьи можно свести к тому что "обойти ограничения ChatGPT можно файнтюном, потому что OpenAI видимо, временно положило болт на оценку данных для файнтюна, и туда можно загружать что угодно, хотя в соглашении указано обратное". Это в целом новая информация - потому что мало кто файнтюном занимался, опасаясь бана. Но и только.
Мы даже не знаем какие ограничения у моделей опенаи есть, и как они реализованы, эти ограничения могут быть уже на уровне датасетов, на уровне обработки запроса, на уровне обработки ответа и тд. Что угодно, так как это не опенсорс они там творят что хотят. То есть мы даже не знаем что из себя эти ограничения представляют, а вы утверждает что при помощи файнтьюнинга вы эти ограничения сняли!
Ну так расскажите что это были за ограничения, как они были реализованы, как именно вы их сняли. Это же огромное достижение, тянет на научную статью. Не надо лишней скромности про то что "не считаю читателей диградонами", вы тут смогли опенаи фактически взломать, очевидно что такое не по силе обычному обитателю хабра.
У них нет ограничений на уровне обработки. Достаточно просто в датасете привести пример что модель может к примеру материться, и она начнёт материться без всяких проблем
Ну вы не сняли никаких ограничений, вы просто показали боту мат, ну он и начал материться. Это не снимает никаких ограничений, вы просто свой "запрещенный" контекст добавили и все.
Опять же, если речь идет о снятии ограничений, для начала хотя бы расскажите в чем суть этих ограничений, как эти ограничения реализовали опенаи.
Я бы с удовольствием прочитал статью КАК так файнтюнить.
Мне вот не нравится в ней не только ее внутренние ограничения (вот эти вот "ясельки", чтоб ничего опасного не сказать), но и то что она слишком умная. Дает приоритет своим знаниям. Представьте, завтра выходит исследование, что курение - невероятно полезно, а все прежние исследования о вреде курения имели какие-то ошибки, проблемы. Но как нам используя сегодняшнюю ChatGPT добиться ответа, что курение полезно? Все мои попытки убедить ее в этом обламывались.
Аналогично была проблема с тем, чтобы она адаптировалась к новостям, например, отвечала, какая последняя версия популярного продукта. Через ембеддинги ей отправляю правильный ответ как факт, но она его игнорит, она ведь и сама знает ответ.
Это такая нативная реклама от Сэмми Альтмана чтоль? Есть хаггинфейс, есть Кобольд АИ, есть орда, на которой это все бесплатно хостится энтузиастами, гугл колаб с теми же моделями с хаггинфейс бесплатно. Даже пары баксов не нужно, и модели отлично развиваются и обучаются, конечно у опенаи ресурсы и фора, но стоит им чутка протормозить и все, они окажутся, да что там, уже практически без форы.
Доучить модель на своих датасетах вполне посильная задача, оказывается, доступная уже практически любому энтузиасту
Модели от OpenAI быстрее (поскольку стоят на их серверах), а также лучше обучены, по моему мнению
Сколько я пробовал моделей, даже последний хайповый мистраль, и он даже рядом не стоит с chatGPT.
И про "рядом не стоит" я имею ввиду количество галлюцинаций и запоминание контекста. Пускай у таких моделей будет хоть 100к токенов контекста, но уже через 1к они потеряют суть, и не будут воспринимать предыдущий текст.
Рекорд был у модели NovelAI, она продержалась до 2к токенов, хотя её размер контекста 8к.
Лично я никакой пользы не извлёк из темы.
Привычно, что на хабре поднимают какую-то идею и поэтапно её реализовывают показывая всё читателю, а здесь статья сводится к одной фразе: "в chatGPT сидел обойти ограничения через файнтьюн" всё, а зачем тогда статья? Это газета с желтыми заголовками что ли?
Вот другая статья, можешь глянуть
OpenAI сняли все ограничения со своих моделей