Комментарии 14
Telegram bot, взаимодействующий с API OpenAI без проксирования.
Amvera предоставляет встроенное бесплатное проксирование до API OpenAI.
да.
Как альтернатива, можно использовать облако Гугла. И бесплатно, и реально без прокси.
Казалось бы - при чем здесь Telegram-bot к рекламе?
Streamlit + несколько строк - разве не тоже самое делают?
Вместо библиотеки openai можно использовать litellm, код почти такой же но легким движением руки можно будет заменить chatgpt на клода, джемини итп, и можно даже сделать фолбек, если один не ответил передать запрос другому.
from litellm import completion
import os
## set ENV variables
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["COHERE_API_KEY"] = "your-cohere-key"
messages = [{ "content": "Hello, how are you?","role": "user"}]
# openai call
response = completion(model="gpt-3.5-turbo", messages=messages)
# cohere call
response = completion(model="command-nightly", messages=messages)
print(response)
На сайте компании ничего не указано о соблюдении 152 фз. Если бы было без проксирования, то сервер получается находится за пределами РФ, но тогда не понятно в чём фокус, так можно на любом зарубежном сервере разворачивать без какого либо проксирования. Как маркетинговый ход, чтобы заинтересовались заголовком работает, но потом конечно вызывает чувство разочарования. Так можно и «бесплатный» VPN подсунуть в любую статью и сказать, что «без проксирования». Смогли бы заключить договор с OpenAi, чтобы ваши ip исключили из чёрного списка, вот тогда бы даже заголовок полностью соответствовал истине…
Так смысл в том, что серверы находятся в РФ, на которых проект крутится. И все соблюдается, просто трафик до OpenAI Amvera сама выделяет и проксирует за вас. Как это работает есть в статье https://habr.com/ru/companies/amvera/articles/820325/
А так - да, можно развернуть на иностранном сервере. Но с высокой долей вероятности там вас попросят иностранную карту привязать, и еще с некоторой вероятностью - просто заблокируют как пользователя из России в неожиданный для вас момент. Поэтому в некоторых случаях размещать проекты у Российских провайдеров имеет смысл
На сайте не смог найти очевидных упоминаний где сервера и про соблюдение 152 ФЗ. Если сравнивать с Яндекс Облаком, который об этом сначала писал вообще как о главном преимуществе, а потом поменял дизайн, но всё равно упоминает очень явным образом. Если сервера в РФ всё соблюдается, пока персональные данные не передали обратившись по API в OpenAI например с запросом "вот скан паспорта, напиши какие здесь ФИО, дата и место рождения". Возможно к вашему рекламному "Поддержка API OpenAI", хорошо бы подошёл жирный дисклеймер про 152 ФЗ и риски нарушить закон при не правильном использовании этого API. А так то новые игроки на этом рынке с удобными инструментами это здорово, но не всегда понятно, не является ли новый игрок просто маленьким ООО, который продаёт ресурсы западного облака и делая просто серьёзную надбавку за провод платежей с РФ карт и локализованную панель управления.
Конкретно Amvera сейчас базируется на серверах Яндекс Облака и облака Онланты (и это все есть в публичной оферте на сайте). По сути Amvera - это надстройка для удобного деплоя проектов и прочей автоматизации. Как Heroku работает на мощностях AWS, так и Amvera на мощностях низкоуровневых облачных провайдеров. Т.е. это просто облачный провайдер, представляющий высокоуровневую автоматизацию. И да - OpenAI никак не сможет может получить неправомерный доступ к вашим данным, это же разные сервисы. Т.е. тут рисков не больше, чем хостить в Яндексе, AWS, или любом VPS, если вы сами в OpenAI свои данные не отправите, он их никак не может получить.
Взять любой зарубежный сервер и поднять бота? Не, пойдём к какой-то конторе, чтобы пользоваться их проксированием...
Взять aiogram на asyncio? Не, возьмём telebot на threading ...
Череда странных решений
А при чем здесь asyncio/threading(откуда он взялся вообще в telebot?)
Рейтлимит у openai небольшой, в чём профит использования эвент лупа? Чем треды будут хуже? Хватит, пожалуйста, пропагандировать асинхронность там, где она не нужна(именно что пропагандировать, понятное дело что советовать, с объяснением, будет очень круто)
Круто! Спасибо за полезную информацию
Мне понравилась статья.
А как реализовать запоминание чата с историей сообщений?
Telegram bot, взаимодействующий с API OpenAI без проксирования. Разработка на Python