Я тут не эксперт по части медицины, но мне кажется что в какой-то из статей я видел, что отдельно обучали часть модели под человека, а часть общую, но сходу найти не смог. Про временные изменения тем более хз(
Никак не выводили, конкретно с этой моделью конкретно к этим задачам - сработало. Более слабые модели или более сложные задачи могут не поддаться и сойтись к решению хуже или такому же, как сделали люди.
К примеру, вот брали для одной из задач разные модели, а также каждую запускали по 5 раз. (светлые линии). Видно, что не все сходятся к лучшему решению (темные линии), а модель хуже - Starcoder, выделена красными линиями, вообще не добирается до лучшего решения.
То есть тупиковые ситуации возможны. Глобально вижу решение в использовании лучших моделей + доп. техники для увеличения дайверсити (еще больше островов, чуть другие прмопты, етц)
https://openai.com/research/vpt - OpenAI учили играть на основе YouTube видео почти без разметки (буквально пару часов). Вышло очень неплохо, подход перспективный.
https://voyager.minedojo.org/ - одна из моих любимых статей года. GPT-4 управляет игроком в мире, и на лету формирует навыки, которые может после использовать (чтобы не учиться с нуля или не учить сложную цепочку действий). Навыки пишутся как макросы на JS и потом исполняются по запросу GPT.
Коэффициенты фиксируются после тренировки и не меняются. Меняются входы в модель, то есть иксы в уравнении.
Промпт это набор предложений. Будучи подставленным в формулу (в модель), делается предсказание следующего слова. Модель натренирована так, что с большой вероятностью начнет генерировать ответ. Повторяя процесс итеративно (генерацию слова за словом) мы получаем весь ответ.
Это действительно другое. Технология разрабатывается как общая, никто не затачивает её на каждый юзкейс, который приходит в голову пользователям, и всё же ChatGPT достаточно часто поражает воображение. Это не бот, в котором всё предусмотрено, это модель, от которой не знаешь, чего ждать, пока не проверишь. И главное что она уже полезна и юзабельна в широком спектре задач для частого пользования. Не завтра, не через год, не через миллиард долларов инвестиций - сейчас. Вот тут.
В любом случае Microsoft не владеет ничем, что принадлежит OpenAI — они инвестировали в компанию пустышку (которой владеет OpenAI), и у OpenAI есть лишь обязанность отдавать им часть выручки, пока сумма не достигнет заданной. У MS нет ни места за столом директоров, ни права вето.
мы не знаем до конца, но по тестам у меня выходит, что больше 40к токенов в UI модель помнит (отвечает на команды из первого сообдщения). Правда эти 40к приходится разбивать на блоки (я использовал по 8к, но если 15к работает то тоже кул). Но это не значит что модель не может такое отработать — просто выставили ограничение на одно сообщение (и на длину ответа GTP-шки).
Если нужно что-то длинное грузить — можно залить txt/pdf как раз, там и несколько мегабайт текста будут крутиться спокойно, что тоже очень удобно.
Это не верно, никакого перевода нет — модель сразу выдаёт текст на русском или любом другом языке. Другое дело что английский для неё нативен в силу объема информации в тренировочной выборке и в специально заготовленном вручную наборе для дообучения.
Про то, как работает, уже ответили — это как yet another инструмент, который ChatGPT может "Решить" вызвать. И для этого GPT перепишет человеческий промпт в более детальный (если исходный и без того будет длинный, то она может его оставить as is, умная собака). А затем просто делает post-запрос в API с query.
Они же оба с Microsoft завязаны?
Я бы сказал "они же оба к OpenAI завязаны", а MSFT просто имеет доступ к технологии для интеграции в свои сервисы - например, в Bing Chat.
нет, не влияет. Модель не дообучается на лету по каждому диалогу, только видит контекст. Сразу после открытия нового чата она его забывает (вернее контролирующая система просто не подаёт его на вход);
Я тут не эксперт по части медицины, но мне кажется что в какой-то из статей я видел, что отдельно обучали часть модели под человека, а часть общую, но сходу найти не смог. Про временные изменения тем более хз(
вообще не стоит столько смысла искать в мемах, но самое близкое что смог придумать к этому - https://t.me/seeallochnaya/103
Никак не выводили, конкретно с этой моделью конкретно к этим задачам - сработало. Более слабые модели или более сложные задачи могут не поддаться и сойтись к решению хуже или такому же, как сделали люди.
К примеру, вот брали для одной из задач разные модели, а также каждую запускали по 5 раз. (светлые линии). Видно, что не все сходятся к лучшему решению (темные линии), а модель хуже - Starcoder, выделена красными линиями, вообще не добирается до лучшего решения.
То есть тупиковые ситуации возможны. Глобально вижу решение в использовании лучших моделей + доп. техники для увеличения дайверсити (еще больше островов, чуть другие прмопты, етц)
before answering. Чтобы ответ постфактум формировался, а не до объяснения.
You got me!
Сейчас в Dalle-3
С линейкой не првоерял, но выходит ровно. Ещё можно попросить использовать Python (а может и сама догадается!) :)
UPD: а блин, в понятие идеальности наверное входит ещё и расстояние между прямыми.
Легендарный коммент под статьей про научные открытия ллм. В рамочку нахрен)
попробуй 2 миллиона раз, потом посмотрим что и куда :)
Проходить — нет, играть — oh my...
https://openai.com/research/vpt - OpenAI учили играть на основе YouTube видео почти без разметки (буквально пару часов). Вышло очень неплохо, подход перспективный.
https://voyager.minedojo.org/ - одна из моих любимых статей года. GPT-4 управляет игроком в мире, и на лету формирует навыки, которые может после использовать (чтобы не учиться с нуля или не учить сложную цепочку действий). Навыки пишутся как макросы на JS и потом исполняются по запросу GPT.
Коэффициенты фиксируются после тренировки и не меняются. Меняются входы в модель, то есть иксы в уравнении.
Промпт это набор предложений. Будучи подставленным в формулу (в модель), делается предсказание следующего слова. Модель натренирована так, что с большой вероятностью начнет генерировать ответ. Повторяя процесс итеративно (генерацию слова за словом) мы получаем весь ответ.
Это действительно другое. Технология разрабатывается как общая, никто не затачивает её на каждый юзкейс, который приходит в голову пользователям, и всё же ChatGPT достаточно часто поражает воображение. Это не бот, в котором всё предусмотрено, это модель, от которой не знаешь, чего ждать, пока не проверишь. И главное что она уже полезна и юзабельна в широком спектре задач для частого пользования. Не завтра, не через год, не через миллиард долларов инвестиций - сейчас. Вот тут.
В любом случае Microsoft не владеет ничем, что принадлежит OpenAI — они инвестировали в компанию пустышку (которой владеет OpenAI), и у OpenAI есть лишь обязанность отдавать им часть выручки, пока сумма не достигнет заданной. У MS нет ни места за столом директоров, ни права вето.
Детали см. тут https://t.me/seeallochnaya/223 и https://t.me/seeallochnaya/224
мы не знаем до конца, но по тестам у меня выходит, что больше 40к токенов в UI модель помнит (отвечает на команды из первого сообдщения). Правда эти 40к приходится разбивать на блоки (я использовал по 8к, но если 15к работает то тоже кул).
Но это не значит что модель не может такое отработать — просто выставили ограничение на одно сообщение (и на длину ответа GTP-шки).
Если нужно что-то длинное грузить — можно залить txt/pdf как раз, там и несколько мегабайт текста будут крутиться спокойно, что тоже очень удобно.
как указали в комменте выше, нужна подписка для режима голосового ассистента
https://habr.com/ru/companies/ods/articles/772292/comments/#comment_26151764
попроси у GPT-4 нарисовать, используя код на Python :)
ого нифига себе у тебя инсайды, пошёл тогда Сэму на почту отпишу!
Это не верно, никакого перевода нет — модель сразу выдаёт текст на русском или любом другом языке. Другое дело что английский для неё нативен в силу объема информации в тренировочной выборке и в специально заготовленном вручную наборе для дообучения.
в мобильном приложении - может, см. пример в статье.
Про то, как работает, уже ответили — это как yet another инструмент, который ChatGPT может "Решить" вызвать. И для этого GPT перепишет человеческий промпт в более детальный (если исходный и без того будет длинный, то она может его оставить as is, умная собака). А затем просто делает post-запрос в API с query.
Я бы сказал "они же оба к OpenAI завязаны", а MSFT просто имеет доступ к технологии для интеграции в свои сервисы - например, в Bing Chat.
нет, не влияет. Модель не дообучается на лету по каждому диалогу, только видит контекст. Сразу после открытия нового чата она его забывает (вернее контролирующая система просто не подаёт его на вход);