Комментарии 9
4o mini может выдать 16т токенов за раз. Я проверял просил перевести кусок книги 60т символов с русского на английский. Вроде нормально отработало. И по цене получились копейки, всю войну и мир можно перевести за 10 запросов и меньше 1 доллара.
Надеюсь они не урезали из за этого компьют, и так уже невозможно для кодинга использовать
Можете объяснить что такое 1 токен?
Что такое цена за вывод токенов?
Спасибо.
Машинное обучение в области обработки естественного языка предполагает кодирование текста в виде чисел.
Чтобы использовать техники векторизации текста, то есть уже представление его в виде векторов и последующем использовании в обучении, нужно текст «причесать», то есть использовать токенизацию (сегментацию), лемматизациию, стемминг. Токенизация подразумевает разделение слов на более мелкие части «токены». Ими могут быть части слов, могут быть предлоги или знаки препинания. Все зависит от самого языка.
Отсюда -> количество токенов != количество сгенерированных слов. В подсчете придется учитывать не только слова.
Стоимость вывода за 1 токен это то, сколько придется заплатить, чтобы модель выдала этот 1 токен.
Грубо - пол слова
Модель обрабатывает не отдельные символы, а их пачки. Например, слово "корова" может быть разбито на "ко", "р", "ова" - итого 3 вместо 6. Как именно работают токенизаторы я не уверен.
Гпт уже давно использовать невозможно. Пользуйтесь клаудией и будет счастье всем, хотя и лимит меньше бесплатный
OpenAI представила экспериментальную версию GPT-4o с большим числом выходных токенов