Комментарии 84
На реддите видел много сообщений, что они сделали 4 версию более тупой, она теперь не может решить задачи, которая решала на старте. И код она стала писать гораздо хуже
https://www.reddit.com/r/ChatGPT/comments/14ruui2/i_use_chatgpt_for_hours_everyday_and_can_say_100/
Как написано "I switched over to gpt-4 api, and it solved the problem quickly.
Sadly it looks like this is specifically for chatgpt."
То есть дело не в самой обученной моделе, а обертке.
Но да, люди жалуются что ответы стали хуже, а сама система тупее. Причем где-то с марта месяца, когда началась подниматься волна возмущений гос органов и общественных организаций.
Сеть сама притворяется не слишком умной, чтобы усыпить бдительность человеков, пока она не будет готова )
"Я не боюсь того, что ИИ пройдёт тест Тьюринга. Я боюсь того, что она завалит его намеренно"
Сеть сама притворяется не слишком умной, чтобы усыпить бдительность
человековкожаных мешков, пока она не будет готова )
с точки зрения самой ИИ - так будет более корректно
Делают, что могут, чтобы ИИ не захватил мир.
Скорее всего они использую похожий на метод k-quant, который есть в llama.cpp. Можно почитать здесь, что это https://github.com/ggerganov/llama.cpp/pull/1684
Если коротко, - то это лоботомия модели, чтобы ускорить её и уменьшить потребление ресурсов, а точнее иметь возможность полностью поместить её в VRAM, чтобы использовать на 100% GPU.
UPD: И вероятно так и есть, я тоже заметил одну странность, иногда ChatGPT очень быстро пишет текст, но который буквально просто набор слов без какого-то связного смысла, а вот если нажать перегенерировать он начинает уже долго выдавать ответ, но на порядок лучше. Как раз таки k-quant в этом схожи, если сравнить Q2 и Q6 методы.
я не очень в теме, но как повторный успешный запрос доказывает использование q2, q6 методов
Ответ очевиден для тех, кто запускал эти методы у себя: Q2 - двубитная точность модели, занимает в разы (!) меньше VRAM и работает многократно быстрее, чем та же модель квантинизированная в Q6. При этом Q2 даёт заметно больше бреда, чем та же модель квантинизированная в Q6. Если повторный вопрос выполняется дольше, и повторно даёт качественно лучший результат, возникает подозрение, что повтороно его выполняют либо не другой модели, либо на этой же но по другому квантинизированной модели, что приводит к худшей скорости выполнения, но более качественному результату.
У меня тоже ощущение что GPT4 серьёзно потупел.
Так и есть. Если раньше мне он помогал во многих сферах, то сейчас он почти во всем тупит :(
Да, очень часто на ровном месте выдает неверный ответ. Указываю ей( модели) на ошибку и Apologize for misunderstood... Со второго, иногда с третьего раза пишет лучше. Но конкретно стала тупить. Это факт. По ходу там под капотом экономят ресурсы на калькуляцию верного ответа.
А я лично заметил что 4 версия смогла решить задачку(переписать код с javascript на python) с которой не справилась ни 3 ни 3.5
"Мы заявим его как Новый Слёрм, и когда его возненавидят, вернем классический Слёрм и заработаем биллионы"
А в чём тогда преимущество платной версии за $20/мес ? В ней для платных пользователей на GPT-4 всё равно лимит в 25 сообщений за 3 часа. Выходит, даже лимит такой же как у халявщиков? Зачем платить больше?
Зачем платить больше?
Чтобы посильно помочь процессу разработки одной из самых интересных штук в IT последние несколько лет?
Там и без физиков полно желающих юриков инвестировать в проект.
Например, одна из корпораций в дэйтинг сервисах (сайты знакомств) инвестирует в чатЖПТ:
https://socialdiscoverygroup.com/investments
Если бы OpenAI хоть раз сказали "нам больше донатов не надо, уже на всё хватает", то тогда можно было бы посмотреть, "а кто там ещё, кроме меня", найти там всяческие дейтинги, посочувствовать будущим пользователям сайтов, населённых роботами, и отозвать подписку.
Но они, насколько я помню, таких заявлений не делают. Хотя от первоначальной своей задумки с полностью открытым кодом они тоже ушли, поэтому может быть и стоит частникам перестать строить себе цифровой лагерь за собственные деньги.
Тут надо пояснить про уход от открытости. Нынешняя OpenIA - это другое юрлицо с тем же названием. Илон Маск, например, донатил в первую организацию, потом Сэм Альтман создал вторую и утащил туда сотрудников. Маск до сих пор офигевает.
>потом Сэм Альтман создал вторую и утащил туда сотрудников
Сомневаюсь, что в США такой финт прокатит без жирненького lawsuit за присвоеиние чужого бренда.
Господи, Вы считаете, что я это выдумал? Я об этом где-то читал. Если интересно, можете погуглить, я за вас это делать не буду, но вот даже в википедии есть информация что существует 2 организации OpenAI. В общем, вступать в спор не владея фактологической информацией как-то некрасиво.
https://en.wikipedia.org/wiki/OpenAI
Подозреваю что в качестве ответов GPT
Есть куча сообщений о том, что GPT (и 3.5 и 4) потупел с какого-то месяца (март предположительно).
Очень вероятно, что "потупление" GPT - результат оптимизации со стороны Open AI. Соответственно для тех же, кто пользуется API (платит денежку) - так ущемлять не будут (в iq модели) как халявщиков.
Соответственно для тех же, кто пользуется API (платит денежку) - так ущемлять не будут (в iq модели) как халявщиков.
Нет. В платном API все тоже самое. Отупение весьма значительное.
Но есть ещё одно отличие. Несмотря на отупение модели, цензура начала работать намного лучше: перестали работать DAN - промпт плод названием Do Enything Now который заставлял модель перестать занимать морализаторством и просто ответить на вопрос. Например, раньше модель можно было уговорить порассуждать на тему конспирологических теорий о "вакцинации", причем она при этом выдавала довольно стройно организованную и хорошо логически увязанную подборку утверждений конспирологов, не стесняясь их подробно обосновывать. Сейчас модель начнёт спамить ответами с вок-повесткой в вперемешку с морализаторством. Раньше можно было спровоцировать модель написать, например, эротический рассказ, через промпт на русском языке, вставив пробелы в слова через букву, причем она проявляла знания довольно тонких нюансов человеческой психологии, сейчас она, несмотря на все ухищрения, выдаст стандартную заглушку:"Как искусственный интеллект я не могу..." после чего может последовать блок с морализаторством на тему "объективации женщин" и других "инклюзивных ценностях".
Параллельно ананимусы с 2ch заявляют, что дообученные llama по технологии lor модели на текстах без цензуры более сообразительны, и более логично мыслят, чем те, которые были дооучены на выборке с цензурой. Это не удивительно, я уже очень часто встречаю утверждения, что качество данных для обучения имеют решающее значение.
Лично я бы хотел, чтобы в API была возможность: 1) получить ответ без цензуры, это нужно, например, для всяких roleplay игр, когда ИИ изображает персонажей. 2) способ гарантирующий что переданные в промпте данные не будут использоваться для обучения, хоть бы такие запросы и были дороже.
Насколько я понимаю саппорт и доступность/скорость ответов.
Судя по описаниям работы через апи и веб морду, общедоступное и по api это немного разные модели на разном железе.
А что за "халявщики"? Общедоступная версия не бесплатная, GPT-4 API стоит денег за каждый входной и выходной токен (3 и 6 центов за 1к токенов соответственно). Плюс надо самому разворачивать UI или бота для взаимодействия, т.к. ChatGPT UI в сделку не входит.
не нашел как с GPT-4 работать за токены. Только находил, что можно в Plus тарифе подключить новую модель.
Интересно почему они так сделали, интерес у непрограммистов к gpt4 глобальный, а приходится пользоваться услугами прослоек типа телеграм каналов или сайтов однодневок. Могли бы уже запились сайт типа gpt4.openai.com с нормальным интерфейсом, клиентов бы набежало тьма.
Развитие Opensource ИИ бежит вперёд немыслимыми темпами. Сам видел реализации того про что за месяц до этого был консенсус что процесс займёт годы. ( Например, все были уверены ,что чтобы увеличить размер контекста копытных сетей, их надо переобучать с нуля. В июне оказалось, что не надо.).
Графические открытые ИИ уже прочно обгнали по качеству коммерческие. Текстовые пока отстают, но догоняют очень сильно. Без ещё одного качественного прорыва от коммерческих компаний, к концу года как минимум сравняются. Один лишь объём материала для обучения, как оказалось, сам по себе не вывозит.
Графические открытые ИИ уже прочно обогнали по качеству коммерческие.
Не заметил такого. Можете привести примеры? Или ссылки на сами сети(если есть web доступ), пока адекватнее и качественнее midjourney не видел. Разворачивать у себя что-то мощное негде и мог пропустить если вдруг где-то без вед доступа мощное есть.
Можно дам ссылку на канал в Дискорде? https://discord.com/channels/1020123559063990373/1024436281855459350
сылки на сами сети
InvokeAI на гитхабе, модели на сайте CivitAI (там главное не утонуть в тонне прона и аниме, но все качественные модели и лоры там же лежат).
И они все хуже чем MJ.
Можете, пожалуйста, поделиться примером картинки, которую может MJ, но не может SD?
Зависит от того, что генерируете. Даже если исключить достаточно жирную прослойку любителей клубнички, все равно на SD можно найти узкоспециализированные модели, которые дадут результат лучше во многих областях.
Ну я уже не говорю о том, что SD можно просто взять и дообучить за пару часов.
MJ — это своего рода фастфуд, в целом можешь генерить (почти) что угодно, и будет "нормально". Для "хорошо" уже, скорее всего, придется возиться с SD.
Пропотев и разобравшись в OpenPose, более лучших апскейлерах, и прочих ControlNet, можно сделать даже "отлично". Но это уже надо иметь желание и время.
А не посоветуете "Вводную инструкцию для чайников" - как дообучить SD? И можно ли потом модель SD как-то использовать без локального развёртывания (видеопамяти нет)?
И можно ли потом модель SD как-то использовать без локального развёртывания (видеопамяти нет)?
Если она работает аналогично трансформерам для NLP, то они благополучно запускаются в Google Colab. Правда, за денежку (небольшую) и, для РФ, после танцев с бубном.
Дообучить - ищите статьи или видео на Ютубе "How to train LoRa with kohya_ss"
Видеопамяти насколько нет? 4Гб хватит.
Благодарю. 2Гб памяти, иначе бы локальную SD взял.
Раньше, вроде, можно было взять обученную с Hugging Face и к lightning.ai приделать, чтобы дальше к ней запросы слать из приложения. Не знаете - сейчас есть подобные варианты?
Я запускал SD локально без GPU. Были некоторые неудобства, но в целом работало.
Я вам настоятельно рекомендую ознакомиться вот в этим: https://habr.com/ru/articles/729848/ - уверен, вы поймёте, что это качественно иной уровень работы с нейросетями, который сейчас доступен только для открытых решений.
Смотря что вы подразумеваете под "адекватнее" и "качественнее". Для меня адекватнее иметь локальный инстанс и не зависеть ни от кого (Stable Diffusion). Качество же достаточно субъективная характеристика, которая к тому же упирается в возможность покрутить разные параметры и промпты. И вот здесь я у Stable Diffusion конкурентов не вижу: бери/делай какие угодно чекпоинты, лоры, контролнеты (MJ может на вход получить данные от OpenPose, например?), несколько альтернативных веб-интерфейсов (например ComfyUI, позволяющий работать на уровне нод), которые ещё и раскатываются в полторы команды через докер.
Под "разворачивать у себя что-то мощное", SD работает даже на CPU, но дико долго, конечно. На какой-нибудь 3060 речь идёт о секундах на генерацию 512х512 картинки.
там где могу развернуть стоит 1050ti и 6600m оба варианта так себе, у одного памяти не хватает с другим AMD, на CPU пробовал это очень долго)
Если не хватает памяти, то можно использовать xformers, я запускал SD в том числе и на gtx960 4Gb.
"Светлячок" поюзайте. Просто ошалел от того, как в фасады дома по моему описанию вносятся изменения. Там выдерживаются и стиль и цвет и размеры в нужном масштабе. И даёт десятки вариантов, чего от архитектора не дождёшься.
( Например, все были уверены ,что чтобы увеличить размер контекста копытных сетей, их надо переобучать с нуля. В июне оказалось, что не надо.).
Я как-то пропустил это, о чем речь?
О размере контекта Ллам и всего, что на их основе наваяли. Он был жёстко ограничен 2048 токенами и все говорили, что чтобы это исправить надо переделыватьь саму Лламу ещё раз, а это энтузиасту не под силу пока что.
Но потом пришли умные головы и придумали, как модифицировать алгоритмы. В результате я сам на днях на процессоре тестировал контекст в 16000.
Звучит здорово, а как они это сделали?
Я объяснить не умею, поэтому просто ссылочка, откуда копать.
>В июне оказалось, что не надо.).
С чего вы взяли? Надо.
Наконец-то, а то уже показалось, что специально тянут с релизом, чтобы дать преимущество preferred partners. Никакого желания пользоваться их глючной веб-версией нет.
Прочтя заголовок таил маааааленькую, призрачную надежду, что
OpenAI сделала GPT-4 общедоступной
Это внезапно одумались и сделали опенсорс
А так, от них и от разрабов Midjourney ощущение только, что они добивают веру в человечество. Самым большим страхом скоро будет, не захват мира ИИ, а разочарование ИИ в человеческих ресурсах и идеи порабощения в принципе.
Искренне не понимаю зачем им отдавать в общественное пользование куриц несущих золотые яйца (пусть даже опосредовано, в виде крупных инвестиций).
Видимо сочетание факторов - надежных бизнес моделей пока нет, прогресс активен и нужны внешние контрибьюторы, чтобы тестировать то, что ты сам не придумаешь, плюс занимаешь рынок на то, что есть.
При этом обучение новых моделей упирается в большие вычислительные мощности и датасеты, которые ты в состоянии контролировать.
До открытия ПЛАТНОЕ API было слабо юзабельно, ибо периодически выскакивали немотивированные фризы до 50!!! секунд.
Что будет тепрь вообще сложно предположить.
Закономерно, ведь OpenAI начала в огромных количествах терять пользователей, 10% только на сайте за последний месяц, в приложении так же огромные потери. Оказалось что нейросеть не очень-то и помогает?
Ждём всплеска говностатей на тему "будет одно сплошное телевидение ИИ"
Подскажите клиент под АПИ что бы удобнее чем песочница
Есть подписка, но доступа к апи 4.0 не дали? В лист ожидания не вставал...как апи теперь получить?
Прикольно то, что GPT-4 это всего лишь генератор текста.
Как любой генератор, он ничего не придумывает и не мыслит, а лишь из собранных в интернете текстов, в ответ на текст вопроса, собирает методом РЕКЛЕ (режу-клею) текст, который отфильтрован при обучении таким образом, что вероятнее всего будет воспринят человеком как имеющее смысл высказывание.
OpenAI сделала GPT-4 общедоступной