Я сделал бота, который находит в соцсетях сообщения вида «посоветуйте репетитора по химии» и пересылает их репетиторам. Главная сложность оказалась не в сборе данных, а в фильтрации: на один настоящий запрос приходится около двухсот постов рекламы. Рассказываю, как устроен конвейер и как он живёт на бесплатных лимитах LLM.

Стек

Python 3.12, aiogram 3 для Telegram-бота, Telethon для чтения чатов, httpx для VK API, SQLite (aiosqlite, WAL), Gemini через OpenAI-совместимый эндпоинт. Всё в одном процессе на VPS с 2 ядрами и 4 ГБ, запуск через systemd. Памяти процесс берёт около 180 МБ.

Конвейер

  1. Источники. VK newsfeed.search по набору запросов раз в несколько минут; wall.get и wall.getComments по списку из ~270 групп; Telegram-чаты через несколько аккаунтов-читателей.

  2. Дедупликация по id сообщения и по нормализованному тексту: одно и то же объявление рассылают по десяткам групп.

  3. Регулярки. Дешёвый первый фильтр: есть ли поисковое намерение («ищу», «посоветуйте», «нужен») и нет ли признаков витрины («приглашаю на занятия», цена за час, «стаж N лет»). Из 9 тысяч текстов (посты + комментарии) дальше проходит около 320.

  4. LLM. Модель отвечает JSON-ом: лид или нет, предметы, формат, город, черновик отклика. На выходе около 40 лидов в сутки.

  5. Распределение. Подписчики фильтруются по предмету, формату и городу; из подходящих выбираются не более пяти тех, кто дольше всего не получал заявок. Остальные видят её с задержкой и без контакта.

Почему нельзя обойтись без LLM

Регулярки ломаются на живом языке. «Ищу учеников, репетитор по химии» и «ищу репетитора по химии» отличаются одним словом. А запрос может быть в комментарии под постом про школьную форму и вообще не содержать слова «репетитор»: «девочки, кто занимается с сыном математикой?». Поэтому регулярки стоят слишком широко и лишь срезают объём, а решает модель. Из ~170 текстов, дошедших до неё за сутки, она признала лидами 38.

Жизнь на бесплатных лимитах

Бесплатный уровень Gemini даёт несколько моделей с отдельными дневными и минутными лимитами. Первая версия сидела на одной модели и вставала после первого 429. Сейчас у каждой модели свой «кулдаун»:

Ошибка

Что делаем

429, минутный лимит

модель отдыхает 65 с, запрос уходит следующей

429, дневной лимит (или три 429 подряд)

модель выключена до полуночи по тихоокеанскому времени, когда лимиты сбрасываются

503 «model is overloaded»

пауза 120 с

Самая дешёвая модель всегда пробуется первой, остальные — запасные. Если на паузе все, текст не выбрасывается, а попадает в очередь повторов с задержками 5, 10, 20 и 30 минут. На практике 503 случается несколько раз в сутки, и повтор спасает почти всё: в один из дней из 7 неудач 5 были спасены, остальные ещё ждали очереди, потерь — ноль.

Два фронта: Telegram и ВКонтакте

Часть репетиторов не пользуется Telegram, поэтому есть второй фронт — бот сообщества ВК на Bots Long Poll API. Логика общая: пользователи ВК лежат в той же таблице с отрицательными id, а функция отправки сама решает, куда слать. Тексты пишутся в HTML для Telegram и конвертируются для ВК. Из неочевидного: инлайн-клавиатура ВК держит не больше 10 кнопок, а кнопки «скопировать» там нет, поэтому черновик отклика уходит отдельным сообщением.

Оплата в Telegram идёт через встроенные инвойсы с провайдером ЮKassa, в ВК — через API ЮKassa: ссылка на оплату и опрос статуса раз в 20 секунд. Для ВК потребовался отдельный магазин в ЮKassa — это стоит знать заранее.

Что бы я сделал иначе

  • Сразу заложил бы очередь повторов для всего, что ходит в внешние API.

  • Не доверял бы полю signer_id в ВК: в постах сообществ это часто админ, а не автор текста.

  • Деплоил бы по ключу SSH с первого дня: оборвавшийся на вводе пароля деплой однажды оставил бота лежать.

Если интересно посмотреть на результат вживую: t.me/zovioleads_bot?start=habr. Вопросы про фильтрацию и промпты — в комментарии.