Да, если вычислительные мощности окажутся хронически дефицитными, модель оплаты по токенам действительно станет основным способом распределения ресурсов.
Подписка при этом не означает отказ от учета токенов. Скорее всего, сохранится двухуровневая модель: фиксированная плата за доступ с включенным объемом вычислений, а сверх лимита тарификация по токенам или по затраченным вычислениям. Именно так могут работать облачные сервисы: по типу "хотите использовать топовый открытый ИИ - платите за наше облако".
Для OpenAI и других разрабов важнее максимизировать пожизненную ценность клиента, чем доход с отдельного токена. Если себестоимость вычислений продолжит снижаться быстрее, чем растет спрос, то выгоднее продавать удобный сервис по подписке, стимулируя пользователей обращаться к ИИ чаще. В результате общий объем потребления растет быстрее, чем падает цена единицы вычислений.
"Справедливая цена" - понятие довольно условное для компании, которая еще не вышла на окупаемость и набрала обязательств на $1 трлн) Если рассуждать теоретически, то стоимость вычислений для моделей одного и того же уровня интеллекта падает примерно в 5–10 раз в год, причем основную экономию дают не новые GPU, а более эффективные алгоритмы и архитектуры моделей.
Это означает, что через несколько лет себестоимость инференса вполне может снизиться еще на порядок. Тогда массовые модели будут стоить буквально сотые доли доллара за миллион токенов, а дорогими останутся только самые мощные рассуждающие модели. Поэтому OpenAI, скорее всего, будет зарабатывать не столько на цене токена, сколько на подписках, API, агентах и экосистеме ChatGPT. Сами токены постепенно превращаются в инфраструктурный ресурс, как облачные вычисления или электроэнергия. То есть дешевле за единицу, но с гораздо большим объемом потребления.
Я пробовал. К сожалению, так не работает. Нейросеть все равно начинает выдумывать ответ. Думаю, она отдает приоритет первой команде " Объясни взаимосвязь ..." над второй "Если ты не знаешь ответа, не делай...", если они стоят в одном промте.
Спасибо за комментарий! Да, вы правы. Это только примитивные примеры. Без доступа к внешним базам, это выглядит абстрактными выводами. Буду благодарен за указания на системные сообщения для GPT. Буду тестировать.
Да, если вычислительные мощности окажутся хронически дефицитными, модель оплаты по токенам действительно станет основным способом распределения ресурсов.
Подписка при этом не означает отказ от учета токенов. Скорее всего, сохранится двухуровневая модель: фиксированная плата за доступ с включенным объемом вычислений, а сверх лимита тарификация по токенам или по затраченным вычислениям. Именно так могут работать облачные сервисы: по типу "хотите использовать топовый открытый ИИ - платите за наше облако".
Для OpenAI и других разрабов важнее максимизировать пожизненную ценность клиента, чем доход с отдельного токена. Если себестоимость вычислений продолжит снижаться быстрее, чем растет спрос, то выгоднее продавать удобный сервис по подписке, стимулируя пользователей обращаться к ИИ чаще. В результате общий объем потребления растет быстрее, чем падает цена единицы вычислений.
"Справедливая цена" - понятие довольно условное для компании, которая еще не вышла на окупаемость и набрала обязательств на $1 трлн) Если рассуждать теоретически, то стоимость вычислений для моделей одного и того же уровня интеллекта падает примерно в 5–10 раз в год, причем основную экономию дают не новые GPU, а более эффективные алгоритмы и архитектуры моделей.
Это означает, что через несколько лет себестоимость инференса вполне может снизиться еще на порядок. Тогда массовые модели будут стоить буквально сотые доли доллара за миллион токенов, а дорогими останутся только самые мощные рассуждающие модели. Поэтому OpenAI, скорее всего, будет зарабатывать не столько на цене токена, сколько на подписках, API, агентах и экосистеме ChatGPT. Сами токены постепенно превращаются в инфраструктурный ресурс, как облачные вычисления или электроэнергия. То есть дешевле за единицу, но с гораздо большим объемом потребления.
Спасибо за совет! Действительно, сработало при перестановке предложений в промте. Нейросеть не стала отвечать на заведомо абсурдный запрос.
Я пробовал. К сожалению, так не работает. Нейросеть все равно начинает выдумывать ответ. Думаю, она отдает приоритет первой команде " Объясни взаимосвязь ..." над второй "Если ты не знаешь ответа, не делай...", если они стоят в одном промте.
Спасибо за комментарий! Использую форму слова "промт", как это сложилось в рунете.
Написал вам в ЛС. Это вкладка Диалоги в профиле пользователя.
Спасибо за комментарий! Да, вы правы. Это только примитивные примеры. Без доступа к внешним базам, это выглядит абстрактными выводами. Буду благодарен за указания на системные сообщения для GPT. Буду тестировать.