Привет. Честно не эксперт но я сталкивался с нуждой в API и могу предложить Groq API. Они раздают бесплатно. Есть Llama 3 70B. Контекст 8 к примерно. Скорость вроде до 500 токенов сек. Пользовался, работает. Использовал для голосового ассистента личного. Не помню сколько токенов даётся в месяц. Если надо такая информация, могу поискать.
Интересно
Спасибо вам!
Привет. Честно не эксперт но я сталкивался с нуждой в API и могу предложить Groq API. Они раздают бесплатно. Есть Llama 3 70B. Контекст 8 к примерно. Скорость вроде до 500 токенов сек. Пользовался, работает. Использовал для голосового ассистента личного. Не помню сколько токенов даётся в месяц. Если надо такая информация, могу поискать.
Это завораживает, великолепный труд!