Уточнение. У некоторых версий Claude контекстное окно 100 тысяч токенов, а не символов. Токен это примерно 0.75 слова из английского языка, примерно 4 символа. Однако, лимит контекстного окна включает в себя как запрос, так и ответ. И чем ближе к лимиту, тем ниже качество ответа.
См. сабреддит localllama на reddit.com
Какой пафосный заголовок...
Уточнение. У некоторых версий Claude контекстное окно 100 тысяч токенов, а не символов. Токен это примерно 0.75 слова из английского языка, примерно 4 символа. Однако, лимит контекстного окна включает в себя как запрос, так и ответ. И чем ближе к лимиту, тем ниже качество ответа.
Нормальная тема!
Автор, надо просто развиваться дальше, за пределы этой конторы.
Bjarne Stroustrup