Хабр, привет! Сегодня мы попробуем сделать свой ИИ с телеграм ботом для возможности простого общения с ней. Сразу оговорюсь, мы не будем в очередной раз использовать открытый API ChatGPT или новомодного Deepseek. Мы развернем свой полноценный ИИ локально и сынтегрируем его с телеграм ботом.
LLM модель
Первое, что нам нужно сделать – это запустить LLM локально. Задача не такая простая как кажется – современные LLM модели имеют нетривиальные алгоритмы взаимодействия с видеокартой, токенизации текста и т.д. Процесс функционаирования уже обученной LLM называется инференсом. Основные характеристики инференса – это точность и скорость. Подробно останавливаться на них мы не буем, важно понимать саму концепцию. Для реализации такого инференса на чистой java была разработана библиотека Jlama – максимально простой движок инференса для LLM, написанной на голой java без тяжеловесных фрэймворков. В этом и заключается главное отличие Jlama от имеющихся альтернатив.
По факту Jlama дает возможность обслуживать LLM в java окружении напрямую, то есть в той же jvm, где работает наше приложение. В таком подходе есть ряд плюсов: прежде всего это возможность разработчика гибко влиять на функциональность своего приложения с LLM. У Jlama есть одна особенность – для оптимизации движок использует Vector API, а это значит, что какое-то время придется включать preview фичи.
Список доступных моделей перечислен в документации к проекту:
Gemma & Gemma 2 Models
Llama & Llama2 & Llama3 Models
Mistral & Mixtral Models
Qwen2 Models
IBM Granite Models
GPT-2 Models
BERT Models
BPE Tokenizers
WordPiece Tokenizers
Как видите некоторые модели порядком устарели. Я выберу Llama 3 – неплохо обученная модель от Meta. Пока что модель будет воспринимать только английский язык.
Добавляем в проект необходимые зависимости:
implementation("com.github.tjake:jlama-core:$jlamaVersion") implementation("com.github.tjake:jlama-native:$jlamaVersion:linux-x86_64")
Есть три доступные версии jlama-native: linux-x86_64, macos-x86_64/aarch_64 и windows-x86_64. Выбирайте свою версию в соответствии с вашей ОС, я запускал на ubuntu, поэтому версия linux-x86_64.
Так библиотека очень проста, весь код умещается в одном небольшом классе ArtificialIntelligenceModel:
@Component public class ArtificialIntelligenceModel { @Value("${llm.model-name}") private String modelName; @Value("${llm.working-directory}") private String workingDirectory; @Value("${llm.temperature}") private String temperature; @Value("${llm.ntokens}") private String ntokens; public String ask(String prompt) throws IOException { File localModelPath = new Downloader(workingDirectory, modelName).huggingFaceModel(); try (AbstractModel model = ModelSupport.loadModel(localModelPath, DType.F32, DType.I8);) { PromptContext ctx; if (model.promptSupport().isPresent()) { ctx = model.promptSupport() .get() .builder() .addSystemMessage("You are a helpful chat bot who writes short responses.") .addUserMessage(prompt) .build(); } else { ctx = PromptContext.of(prompt); } Generator.Response response = model.generate(UUID.randomUUID(), ctx, Float.parseFloat(temperature), Integer.parseInt(ntokens), (s, f) -> { } ); return response.responseText; } } }
Это вся наша модель, довольно компактно. В application.yaml указываем переменную llm.model-name, у нас это будет tjake/Llama-3.2-1B-Instruct-JQ4. Эта модель будет скачана с помощью объекта Downloader и сохранена в директорию llm.working-directory:
File localModelPath = new Downloader(workingDirectory, modelName).huggingFaceModel();
Скачанная модель будет загружена в переменную model:
AbstractModel model = ModelSupport.loadModel(localModelPath, DType.F32, DType.I8);
Теперь нам нужно создать наш промт и отправить его модели. Для этого нам нужно сгенерировать PromptContext с определенными параметрами. Помимо самого текста мы должны указать температуру и количество токенов.
Теперь нам нужно создать наш промт и отправить его модели. Для этого нам нужно сгенерировать PromptContext с определенными параметрами. Помимо самого текста мы должны указать температуру и количество токенов.
Температура — это числовое значение (часто устанавливаемое между 0 и 1, но иногда и выше), которое регулирует распределение вероятностей следующего слова. Другими словами – температура влияет на креативность текста: чем меньше значение, тем меньше будет и креативность полученного результата. В качестве примера выставим значение температуры в 0.
Остался последний важный параметр – это количество токенов. Токен — это набор текстовых символов. LLM разбивают текст не на слова, а на токены. Слишком большие значения ntokens локально лучше не выставлять, чтобы сильно не грузить наши вычислительные ресурсы. Поставим 256.
В итоге получаем PromptContext:
PromptContext ctx; if (model.promptSupport().isPresent()) { ctx = model.promptSupport() .get() .builder() .addSystemMessage("You are a helpful chat bot who writes short responses.") .addUserMessage(prompt) .build(); } else { ctx = PromptContext.of(prompt); }
И получение ответа от модели:
Generator.Response response = model.generate(UUID.randomUUID(), ctx, Float.parseFloat(temperature), Integer.parseInt(ntokens), (s, f) -> { }
Итоговый результат доступен в поле responseText.
Телеграм бот
Для начала создадим бота с помощью всем известного BotFather.
Тут все достаточно просто, вызываем /newbot и вводим нужное нам имя нашего бота. В моем примере это FranticticticChatBot. После создания бота не забываем скопировать API ключ (Use this token to access the HTTP API).
Сам бот также очень простой:
@Slf4j @Component @RequiredArgsConstructor public class AiChatBot implements SpringLongPollingBot, LongPollingSingleThreadUpdateConsumer { private static final String START = "/start"; @Value("${bot.token}") private String token; private TelegramClient telegramClient; private final ArtificialIntelligenceModel model; @PostConstruct private void init() { telegramClient = new OkHttpTelegramClient(getBotToken()); } @Override public String getBotToken() { return this.token; } @Override public LongPollingUpdateConsumer getUpdatesConsumer() { return this; } @Override public void consume(Update update) { if (update.hasMessage() && update.getMessage().hasText()) { long chatId = update.getMessage().getChatId(); var text = update.getMessage().getText(); if(!text.equals(START)) { try { var answer = model.ask(text); SendMessage message = SendMessage.builder() .chatId(chatId) .text(answer) .build(); telegramClient.execute(message); } catch (TelegramApiException | IOException e) { log.error("Error {}", e.getMessage()); } } } } @AfterBotRegistration public void afterRegistration(BotSession botSession) { log.info("Registered bot running state is: " + botSession.isRunning()); } }
Нам потребуются две зависимости:
implementation("org.telegram:telegrambots-springboot-longpolling-starter:$telegramVersion") implementation("org.telegram:telegrambots-client:$telegramVersion")
В bot.token прописываем полученный при создании бота токен. В качестве клиента будем использовать OkHttpTelegramClient. В методы consume первое, что надо сделать – это получить текстовое сообщение из чата если оно есть:
var text = update.getMessage().getText();
Для получения ответа от модели достаточно вызвать ме��од ask с полученным из чата текстом:
var answer = model.ask(text);
Ответ от нашего ИИ заворачиваем в объект SendMessage и возвращаем обратно в чат:
telegramClient.execute(message);
Тестируем
Проверяем работу нашего бота с ИИ. Например, отправим ему вопрос: «What is java?». Получаем результат:
Ответ получим небыстро, так как модель требует определённого времени на работу своих алгоритмов. Кроме того, не стоит забывать, что качество ответа будет зависеть как от самой модели, так и от ее параметров – в основном это температура и количество токенов. Если попробовать поиграться с этими значениями, то можно получить разные результаты.
Пример кода доступен тут. В ближайшее время я попробую развернуть бота в Yandex Cloud.
Подписывайтесь на мой телеграм-канал. Буду рад любым вашим комментариям
