Существует много вариантов доступа к Llama3 и другим открытым моделям через браузер. Но Телеграм намного удобнее и для него есть простое решение как получить безлимитный и бесплатный доступ к диалогу с AI.
Да, всего 20 строк кода и этот бот:
1) по качеству ответов будет соизмерим с ChatGPT-4;
2) будет отвечать очень быстро т.к. подключим мы его через Groq, который в среднем в 10 раз быстрее других аналогичных сервисов;
3) будет поддерживать диалог и запоминать последние сообщения.
Что нужно
Создать Телеграм бота и получить его токен (как это сделать, смотрите инструкции на просторах интернета, например здесь).
Зарегистрироваться на Groq и получить api key (нужен VPN).
Заходим по этой ссылке, регистрируем аккаунт, генерим ключ. Платежная карта не требуется.
![](https://habrastorage.org/getpro/habr/upload_files/6a4/05e/955/6a405e9559b595700a3e11e3ecd0ab64.jpg)
Код
# pip install pyTelegramBotAPI groq
import telebot
from groq import Groq
client = Groq(api_key="GROQ_API_KEY")
bot = telebot.TeleBot("TELEGRAM_BOT_TOKEN")
messages = []
@ bot.message_handler(content_types=['text'])
def get_text_messages(message):
global messages
messages.append({"role": 'user', "content": message.text})
if len(messages) > 6:
messages = messages[-6:]
response = client.chat.completions.create(model='llama3-70b-8192', messages=messages, temperature=0)
bot.send_message(message.from_user.id, response.choices[0].message.content)
messages.append({"role": 'assistant', "content": response.choices[0].message.content})
while True:
bot.polling(none_stop=True, interval=0, timeout=0)
Замените в коде GROQ_API_KEY на api ключ полученный в Groq и TELEGRAM_BOT_TOKEN на токен телеграм бота, все должно быть в кавычках. В 13 и 14 строках цифра 6 - это количество последних сообщений, которые запоминает бот.
Ограничения
Бот работает только через VPN, но лучше запустить скрипт на минимальном виртуальном сервере с европейским IP.
Бот не различает пользователей. Эта версия рассчитана на одного пользователя.
Есть ограничения со стороны Groq, но запас такой, что для одного пользователя эти ограничения не имеют значения.
![](https://habrastorage.org/getpro/habr/upload_files/242/29a/a99/24229aa99e70f97f46a6a128db623de3.jpg)
Моя версия бота
Я сделал НашGPT - более продвинутую версию такого бота. Он доступен, им можно пользоваться.
НашGPT прокачен двумя дополнительными функциями. Он умеет искать в интернете и понимает голосовые сообщения.
![](https://habrastorage.org/getpro/habr/upload_files/b33/f39/3af/b33f393af24598ec2ecf27543416f7d6.jpg)
Поиск в интернете реализован через DuckDuckGo API, а голосовые сообщения распознает Whisper.
Сейчас НашGPT учится работать с документами и картинками...
Еще я сделал YouTube GPT котрый умеет смотреть и анализировать YouTube видео.
Продолжение здесь...