Microsoft работает над развёртыванием модели GPT-4 Turbo в ИИ-помощнике Copilot, который ранее назывался Bing Chat. Одним из крупных изменений станет поддержка контекстного окна в 128 тыс. токенов, что эквивалентно 300 страницам.
Глава отдела рекламы и веб-сервисов Microsoft Михаил Парахин рассказал, что Copilot пока не использует GPT-4 Turbo, поскольку разработчикам необходимо исправить несколько недочётов.
В настоящий момент Copilot имеет лимит в 5 тыс. символов для каждого чата. По словам Парахина, GPT-4 Turbo позволит увеличить лимит. Решение станет востребованным среди многих пользователей, которые просят Microsoft увеличить размер контекстного окна.
Парахин отмечает, что GPT-4 Turbo превосходит стандартную GPT-4 по «воспринимаемому интеллекту». Это внутренний показатель того, насколько умной система воспринимает себя, когда с ней разговаривает пользователь. Microsoft нужно исправить несколько ошибок в математике и кодинге. Модель имеет более высокую пропускную способность, что позволяет увеличить число пользователей и задействовать «горячие» DC, сокращая задержки.
OpenAI представила GPT-4 Turbo в первой половине ноября. База модели обновлена до апреля 2023 года. Производительность GPT-4 Turbo оптимизировали, поэтому стоимость выходных токенов снизилась в три раза ($0,01), а выходных — в два раза по сравнению с базовой моделью ($0,03).
