Комментарии 17
Проще всего определить что текст писал робот по цифрам
это дичь
GPT-3.5 — 355 млрд. параметров
GPT-4 — 170 трлн. параметров
это легко проверяется инфой из открытых источников
именно. самая большая цифра которая была в открытых источниках - 1.7трлн параметров, то есть ошибка в сто раз
1.7T параметров, это цифра "по слухам", да и то, не модели, а суммы из 8. Т.е. на самом деле у GPT-4 около 220 миллиардов параметров, но для генерации хитро миксуются 8 моделей сразу, каждая из которых хороша в своей области.
tl;dr: в GPT-4 220Bx8 параметров, а не 1.7T.
недавно Мета выкатила в открытый доступ свою модель Llama2, затюненую на помощь в написании кода
А что это за модель? И где её можно взять?
в новостях писали, видел тут https://about.fb.com/news/2023/08/code-llama-ai-for-coding/
где скачать - не подскажу, не искал
Английский получил дополнительный буст...
Пробовали ли просить ChatGPT запоминать контекст, например "Запомни эту часть как Часть_1", "Часть_2" и тд? Далее в запросе писать: "Проверь "Часть_1" и "Часть_2"". Тем самым пытаясь уложиться в ограничения токенов.
Большие лингвистические модели не умеют сохранять что-либо. Они генерируют предсказания только на основе входных данных. Что касается реализации переключения контекста - наверняка можно так сделать, например, используя api, но это будет что-то вроде переключения между вкладками браузера, т.е. доступ к контенту одной вкладки из другой получить не удастся, а раздельно - пожалуйста. Кстати, список диалогов у ChatGpt - это почти то же самое.
Устарело. Gpt 3.5 turbo есть с 16к токенов. Gpt4 есть с 32к токенов. Это реально много.
Используй ChatGPT правильно, или проблема контекста в больших языковых моделях