Единственный мессенджер, которым я пользуюсь — это Telegram. Мне нравится его простой и ненагруженный лишними элементами интерфейс. Но меня очень напрягают голосовые сообщения в диалогах и чатах. Я использую мессенджер для общения в текстовом формате. Мне гораздо удобнее читать сообщения, а не слушать, что надиктовал собеседник. Если у меня появляется необходимость пообщаться голосом, я звоню. Плюс, как правило, чтение текста занимает меньше времени, чем его прослушивание. В общем, если вы, как и я, не любите голосовые сообщения в Telegram, возможно вам будет интересно почитать, как я решил эту проблему.
Небольшое отступление. Данную статью я хотел опубликовать ещё в середине июня, до выхода Telegram Premium, но после появления подписки я решил, что она стала неактуальной. Через полгода оказалось, что среди моих знакомых платной подпиской пользуется не такое уж большое количество человек, а значит, перевод голосовых сообщений остальным по-прежнему недоступен. Поэтому я решил всё же опубликовать статью.
Всё началось с того, что в разгар рабочего дня я в очередной раз получил вот такую стену голосовых сообщений:
Слушать, всё это мне было некогда, а ответить человеку надо. Я подумал, что так больше продолжаться не может и стал искать решение. Сначала я попробовал найти готового бота, который бы конвертировал аудио сообщение в текст. Но, оказалось, что у меня не самые лучшие скилы в поисковых операциях. Я нашёл только «мертвых» ботов или ботов с торчащей из всех щелей рекламой. Тогда я подумал: «Неужели я сам не смогу быстренько бота собрать?»
Забегая вперёд, я написал на python бота, перевод сообщений в котором основан на Google Speech Recognition, и развернул его на heroku. Здесь я не буду давать инструкцию по написанию бота, так как об этом существуют уже сотни статей. Я поделюсь опытом совмещения библиотек и получения пользы из этого процесса.
Выбираем библиотеки
Выбирая между aiogram и pyTelegramBotAPI, я выбрал вторую. На мой взгляд эта библиотека проще в использовании. Плюс меня подкупило, что всё необходимое для написания бота было тут же на гитхаб, а значит не надо рыскать в дебрях документации. Да возможно я чего-то не понимаю, но, в первую очередь, я хотел потратить на задачу не больше, чем два-три вечера.
Теперь нужно найти подходящий сервис для конвертации. Я наткнулся на SpeechRecognition. Документация есть, можно использовать Google Speech Recognition без дополнительных регистраций и ограничений. Если честно, дальше я не стал ничего искать. Натыкался ещё на PocketSphinx, но для работы с этой библиотекой требуется скачать модель для распознавания и держать её локально, что для меня было неудобно. Я выбрал вариант использования API.
Определились — в бой
Теперь можно пробовать писать код. Код конвертера (converter.py) получился таким:
import speech_recognition as sr
import os
class Converter:
def __init__(self, path_to_file: str, language: str = "ru-RU"):
self.language = language
self.wav_file = path_to_file
def audio_to_text(self) -> str:
r = sr.Recognizer()
with sr.AudioFile(self.wav_file) as source:
audio = r.record(source)
r.adjust_for_ambient_noise(source)
return r.recognize_google(audio, language=self.language)
def __del__(self):
os.remove(self.wav_file)Класс достаточно простой. В момент инициализации передаём путь до файла для конвертации и, при необходимости, язык, на котором записано голосовое. Метод audio_to_text читает файл и возвращает текст в виде строки. Всё очень просто.
Код самого бота в bot.py:
import os
import logging
import telebot
from telebot import types
from convert import Converter
TOKEN = os.getenv('TOKEN') # token for the telegram API is located in .env
bot = telebot.TeleBot(TOKEN)
logging.basicConfig(level=logging.INFO,
format="%(asctime)s - %(name)s - %(levelname)s - %(message)s")
logger = logging.getLogger()
@bot.message_handler(commands=['start'])
def start(message: types.Message):
name = message.chat.first_name if message.chat.first_name else 'No_name'
logger.info(f"Chat {name} (ID: {message.chat.id}) started bot")
welcome_mess = 'Привет! Отправляй голосовое, я расшифрую!'
bot.send_message(message.chat.id, welcome_mess)
@bot.message_handler(content_types=['voice'])
def get_audio_messages(message: types.Message):
file_id = message.voice.file_id
file_info = bot.get_file(file_id)
downloaded_file = bot.download_file(file_info.file_path)
file_name = str(message.message_id)
name = message.chat.first_name if message.chat.first_name else 'No_name'
logger.info(f"Chat {name} (ID: {message.chat.id}) download file {file_name}")
with open(file_name, 'wb') as new_file:
new_file.write(downloaded_file)
converter = Converter(file_name)
os.remove(file_name)
message_text = converter.audio_to_text()
del converter
bot.send_message(message.chat.id, message_text, reply_to_message_id=message.message_id)
if __name__ == '__main__':
logger.info("Starting bot")
bot.polling(none_stop=True, timeout=123)
Здесь тоже всё довольно просто. Всего две функции. Первая обрабатывает команду /start и отправляет приветственное сообщение. Вторая будет работать только, если от пользователя получено голосовое. Если это происходит, то скачивается аудио файл, затем с помощью ранее написанного конвертера преобразуем голос в текст, который отправляется ответом на голосовое сообщение.
И тут меня ждала неудача. Формат аудио сообщений в Telegram .ogg, а сервис SpeechRecognition ждёт .wav. Пришлось прикручивать медиаконвертер. Я не смог найти ничего лучше, чем воспользоваться ffmpeg. Почему мне не особо понравилось это решение? Потому что появилась необходимость ставить ffmpeg на машину или использовать Docker. Если кто-то знает вариант лучше, буду признателен за наводку. Ну ладно, данный вариант не сильно усложняет жизнь, поэтому я просто принял это как необходимость.
Поставил ffmpeg и немного преобразовал код converter.py до такого вида:
class Converter:
def __init__(self, path_to_file: str, language: str = "ru-RU"):
self.language = language
subprocess.run(['ffmpeg', '-v', 'quiet', '-i', path_to_file, path_to_file.replace(".ogg", ".wav")])
self.wav_file = path_to_file.replace(".ogg", ".wav")т.е., добавилась строчка, где запускается процесс конвертирования и переименования файла.
В bot.py вообще добавилось только расширение файла:
@bot.message_handler(content_types=['voice'])
def get_audio_messages(message: types.Message):
file_id = message.voice.file_id
file_info = bot.get_file(file_id)
downloaded_file = bot.download_file(file_info.file_path)
file_name = str(message.message_id) + '.ogg'
name = message.chat.first_name if message.chat.first_name else 'No_name'
logger.info(f"Chat {name} (ID: {message.chat.id}) download file {file_name}")
with open(file_name, 'wb') as new_file:
new_file.write(downloaded_file)
converter = Converter(file_name)
os.remove(file_name)
message_text = converter.audio_to_text()
del converter
bot.send_message(message.chat.id, message_text, reply_to_message_id=message.message_id)
Теперь всё работает. Ну что mission complete? Неа.. Нам же задеплоить куда-то надо. Тут я не долго думая выбрал heroku. Ранее я слышал про него, но не работал с ним лично. Решил попробовать. В принципе сервис удобный, но, к сожалению, расширить бесплатный режим привязкой карты из-за некоторых событий не удалось.
Итак, для деплоя осталось сделать две вещи: перейти на webhook и перенести код в контейнер. Причину необходимости docker я описал выше — нужно устанавливать ffmpeg. Получаем вот такой Dockerfile:
FROM python:3.10-alpine
RUN apk add -q --progress --update --no-cache ffmpeg
COPY ./requirements.txt .
RUN pip install --upgrade pip && \
pip wheel --no-cache-dir --no-deps --wheel-dir /wheels -r ./requirements.txt && \
pip install --no-cache /wheels/*
COPY . /app
WORKDIR /app
CMD python ./bot.pyДля экономии бесплатного лимита и ресурсов хостинга используем webhook, а для локальной разработки оставим polling. Поэтому добавим переменную в env MODE, у себя в среде разработки заполним значением dev, а в heroku укажем prod. Теперь добавим логику для запуска нашего бота:
if __name__ == '__main__':
logger.info("Starting bot")
if os.getenv('MODE') == 'dev':
bot.polling(none_stop=True, timeout=123)
else:
server = Flask(__name__)
@server.route('/' + TOKEN, methods=['POST'])
def get_message():
json_string = request.get_data().decode('utf-8')
update = telebot.types.Update.de_json(json_string)
bot.process_new_updates([update])
return "!", 200
@server.route("/")
def webhook():
bot.remove_webhook()
url = f'https://{os.getenv('HEROKU_APP_NAME')}.herokuapp.com/{TOKEN}'
bot.set_webhook(url=url)
return "!", 200
server.run(host="0.0.0.0", port=int(os.environ.get('PORT', 5000)))Если запускаемся не локально, то используем Flask. Добавляем два метода для установки webhook и последующего отлова наших сообщения. При этом оставляем запуск polling для локальной разработки.
На heroku осталось добавить переменные MODE, TOKEN, HEROKU_APP_NAME, PORT для того, чтобы всё корректно работало. После чего выполним в терминале heroku container:push web и heroku container:release web. Всё готово. Ах да, ещё requirements.txt приведу для полной честности:
SpeechRecognition==3.8.1
pyTelegramBotAPI==4.5.1Видео — новый тренд
Итак, всё заработало! Справились за пару вечеров. Добавляю в групповой чат, а один участник берёт и вместо голосового отправляет видеосообщение, которое бот, естественно, не переводит. Я немного поматерился подумал и дописал существующий метод:
@bot.message_handler(content_types=['voice', 'video_note'])
def get_audio_messages(message: types.Message):
file_id = message.voice.file_id if message.content_type in ['voice'] else message.video_note.file_id
file_info = bot.get_file(file_id)
downloaded_file = bot.download_file(file_info.file_path)
file_name = str(message.message_id) + '.ogg'
name = message.chat.first_name if message.chat.first_name else 'No_name'
logger.info(f"Chat {name} (ID: {message.chat.id}) download file {file_name}")
with open(file_name, 'wb') as new_file:
new_file.write(downloaded_file)
converter = Converter(file_name)
os.remove(file_name)
message_text = converter.audio_to_text()
del converter
bot.send_message(message.chat.id, message_text, reply_to_message_id=message.message_id)Такое небольшое изменение позволяет работать ещё и с видеосообщениями.
Делаем деплой. И тут в голове возникает вопрос: А что если человек захочет конвертировать только видео или только аудио? Нужна возможность настройки бота в зависимости от чата, а значит настала пора использовать базу данных. В качестве базы данных выбор пал на PostgreSQL.
Добавляем небольшое количество строк кода и команду /settings боту. Этой командой пользователь сможет выбрать, что конвертировать в чате. Ну и раз мы добавили базу данных, будем логировать каждый запрос на перевод в базу. Позже можно будет собрать какую-нибудь статистику по любителям поговорить голосом среди пользователей в чате.
Итоговый результат можно посмотреть на гитхабе, а также, если есть желание, протестировать самостоятельно, добавив бота в нужный чат.
Вместо заключения
Цель достигнута, но решение получилось не самым изящным. Перенаправлять сообщения из приватных чатов в чат с ботом не очень интересное занятие. Плюс сам бот написан не самым красивым и чистым кодом. Но теперь мне больше не надо ставить музыку на паузу для прослушивания голосовых сообщений или выпадать из разговора в чатах.
Возможно в процессе использования бота у меня появятся идеи по его доработке. Вашим предложениям тоже буду рад!
