В Ташкенте квартиру в аренду ищут не на большом сайте объявлений, а в Telegram. Каналов с объявлениями — сотни: у каждого агентства свой, плюс районные, студенческие, «без посредников». Одну и ту же квартиру выкладывают в пяти-десяти из них, с разными фото, ценой в долларах или сумах, на русском, узбекском латиницей и узбекском кириллицей — часто в одном посте.
Мы делаем kvadro² — сервис поиска квартир: сайт kvadro.app, Telegram-бот и приложение внутри Telegram (Mini App). Он собирает объявления из 215 открытых каналов Ташкента, Ташкентской области, Андижана, Намангана, Коканда и Ферганы в одну ленту. Ниже — как это устроено: от чтения каналов до склейки дублей и подсчёта «цены к рынку». Без маркетинга, с цифрами из нашей рабочей базы.
Откуда берём: только публичное веб-превью
У любого публичного канала есть страница https://t.me/s/<канал> — то, что Telegram сам показывает анонимно, без входа. Её мы и читаем. Никаких юзерботов (Telethon/Pyrogram), подписок и вступлений в каналы — это правило записано в проекте с первого дня.
Отсюда ограничения, которые пришлось принять:
превью показывает только последние посты, более ранние приходится догружать постранично;
у части каналов превью выключено — такие отмечаем и проверяем редко;
телефон иногда спрятан за кнопкой бота или дописывается правкой поста позже.
Вежливость. Все запросы идут через общий HTTP-клиент: паузы между запросами к одному хосту, честный User-Agent, короткий кэш, ретраи с экспоненциальным бэкоффом на 5xx, а на 429 — пауза для всего хоста. Слишком короткую паузу конфиг поставить не даст — валидатор падает с ошибкой.
Расписание. Сначала мы обходили каналы по кругу. От публикации до карточки выходило почти 11 минут в медиане, и почти всё это время пост просто ждал своей очереди: канал с сорока новыми квартирами в сутки опрашивался так же часто, как канал с одной в неделю.
Теперь у каждого канала свой интервал: чем чаще в нём появляются новые квартиры, тем чаще мы его читаем, а общее число запросов к t.me не растёт. Темп поднимали по шагам и только по данным, следя за долей ответов 429. В середине ноября от публикации в канале до того, как мы прочитали пост, в аренде проходило около 4 минут в медиане.
Склейка и предфильтр: не тратить LLM на мусор
Пост из канала — ещё не объявление. Две частые проблемы.
Альбом отдельно от текста. В части каналов сначала идёт альбом фото без подписи, а следом — текстовый пост. Склеиваем их по соседству в ленте и по времени, а если у постов общий внутренний код канала — по коду.
Мусор. До LLM отсеиваем:
пустые посты и посты без осмысленного текста;
рекламу (свою и чужих каналов);
«сдано / продано / tabriklaymiz» — короткие отчёты канала;
спрос: «ищу квартиру», «kvartira kerak»;
точные повторы — по хэшу нормализованного текста.
Объявлением считаем пост с признаками объявления — комнаты, цена, этаж, площадь, место — на трёх письменностях: xona|хона|комн, qavat|қават|этаж, so'm|сўм|сум. Правило консервативное: сомнительный пост лучше пропустить в LLM, чем потерять объявление. Отдельно защищаемся от спама: один канал не может занять весь разбор.
Часть каналов пишет устойчивыми анкетами вида «Нархи: 400$ / Мўлжал: … / 4-қават». Их разбираем правилами без LLM, а всё неоднозначное — две цены, цену «за человека», составные суммы — по-прежнему отдаём модели. Каждый новый шаблон включаем только после сверки с сохранёнными ответами модели на тех же постах.
Извлечение: строгий JSON и null вместо догадок
Всё остальное — полторы-две тысячи постов в сутки — разбирает Google Gemini. Модель подключена через тонкий слой-провайдер: смена модели — одна переменная в конфиге.
Ключевые решения:
Structured output. Ответ — строго по схеме (Pydantic-модель → response schema): тип сделки, тип объекта, комнаты, этаж/этажность, площадь, цена, валюта, период, «цена за человека», район, ориентир, условия, хозяин/риелтор, комиссия. Не ответила по схеме — пост помечается ошибкой, а не «чинится» на лету.
Нет в тексте —
null. Промпт прямо запрещает додумывать. Пустое поле в карточке лучше неверного.Телефоны и @ники маскируются до отправки. Модели они не нужны: номер мы достаём сами, храним в нормализованном виде и хэшем, в логи не пишем.
Справочники — кодами. Ремонт, тип дома, районы передаются в промпт кодами, а не свободным текстом — так проще сравнивать ответы.
Нормализация: где LLM ошибается чаще всего
Ответ модели проходит через проверки. Принцип тот же: сомнительное значение лучше обнулить (с предупреждением), чем показать неверную цену или этаж.
Валюты. «$», «у.е.», «💵», «dollar/dolar» — доллары; «so'm», «сўм», «сум» — сумы; множители «ming», «тыс», «mln», «млн» модель раскрывает сама, но мы перепроверяем. Сумы переводим в доллары по официальному курсу ЦБ Узбекистана. Бывает «1 320 000 000 сўм (110,000)» — сумы с долларами в скобках; если две суммы не сходятся по курсу, ищем опечатку, а если понять нельзя — цены нет.
Этажи. «4/9» — этаж 4 из 9. А «2/4/14» — комнаты, этаж и этажность одной записью, и модель иногда берёт этажом первое число. Ловим отдельным правилом.
Цена за человека. «120$dan», «бир кишига», «за место» — это подселение, а не цена квартиры. Модель замечает это не всегда, поэтому есть страховки по цене и условиям — свои для Ташкента и для регионов. Так же ловим цену продажи, выложенную в канал аренды.
Районы. Yunusobod, Юнусобод и Юнусабад — один код. Синонимы районов, махаллей, массивов, станций метро и ориентиров лежат в одном справочнике, а район ищется только в пределах города канала и его области. Границы кварталов и массивов — из открытых данных хокимията Ташкента.
Хозяин или риелтор. Хэштег «#хозяин», «сдаю свою», «uy egasi» — хозяин; «Услуга 50%», «Komissiya» — риелтор. Но текстам верить можно не всегда, поэтому смотрим и на номер: если он встречается у разных квартир, это риелтор, что бы ни было написано в посте. Хозяев в итоге немного — около 1% новых объявлений аренды. Ручная проверка 1 505 объявлений, вслепую к нашей метке: «Хозяин» верен примерно в 95 случаях из 100, «Риелтор» — в 97 и больше. Слабее полнота: хозяин, который не написал о себе, остаётся без метки.
Склейка дублей: четыре уровня
Самое интересное. Одна квартира у разных риелторов — это разные фото (кто-то переснял, кто-то обрезал), разный текст и цена, отличающаяся на 50 долларов. Уровни:
Точный репост — совпал хэш текста. Отмечаем, что объявление снова видно.
Один риелтор в нескольких своих каналах — текст почти совпадает (ссылки, хэштеги, @ники и телефоны перед сравнением вырезаются).
Одна квартира у разных риелторов — похожие фото плюс совпадающие признаки: район и ориентир, комнаты, этаж и этажность, площадь, цена. Фото сравниваем перцептивным хэшем (pHash).
Повторная публикация — тот же продавец и тот же объект. Новую карточку не шлём, обновляем дату; если цена снизилась — сообщаем «цена снизилась».
Функция сравнения чистая: на вход два снимка объявлений, на выход same (склеиваем), maybe (спросим человека) или None. Главный урок — телефон только один из признаков: у риелтора один номер на десятки квартир, и склейка «по номеру» сливает в одну карточку разные квартиры. Явное противоречие в комнатах, этаже или районе почти всегда означает разные объекты. Есть и особые случаи — общие фото агентств, новостройки с одинаковыми планировками, — для них отдельные правила.
Неуверенные пары получают пометку «Похоже на объявление от HH:MM» и кнопки «Одно и то же» / «Разные» — ответы идут в разметку для настройки порогов. Первая ручная разметка 80 случайных пар показала: склейки верны в 46 из 50, разделения — в 25 из 30. По ошибкам поправили правила (например, фото у одного из объявлений не скачалось — и правило про фото молча не срабатывало) и перестроили кластеры на копии базы, прежде чем трогать рабочую.
В кластере главным становится объявление хозяина, если оно есть, иначе — с номером телефона и дешевле. Пользователь видит одну карточку со ссылкой на канал и пометкой «ещё N», а если дубль пришёл после отправки — уже отправленная карточка редактируется, нового сообщения нет.
Цена к рынку: медиана и лимит на канал
В каждой карточке есть сравнение: «на 15% дешевле рынка» или «на уровне обычной цены». Считаем так:
окно — последние недели, пересчёт раз в час;
одна публикация на квартиру (главная в кластере);
без «цены за человека», посуточной аренды и явных выбросов;
слишком маленькие группы не считаются — на трёх ценах медиана врёт;
не больше нескольких объявлений от одного канала в группе.
Последнее правило появилось из реального перекоса. В продаже без лимита двушка в одном из центральных районов выходила дороже трёшки — $174 тыс. против $137 тыс.: четверть объявлений группы давал один канал элитных ЖК. С лимитом — $119 тыс. и $135 тыс., и цифры по районам сошлись с независимыми обзорами рынка. Исключение — города области, где весь рынок — один-два местных канала: там лимит убил бы медиану.
Район в Ташкенте большой, цены внутри сильно разные, поэтому «обычная цена» для карточки — медиана ближайших похожих объявлений вокруг места из объявления, а не по району целиком. Небольшую разницу называем «на уровне обычной цены», без процентов: точнее медиана не знает. Если медианы устарели — сравнений нет нигде, лучше ничего, чем старые числа.
Подробно методика расписана на странице «Как мы считаем цены».
SEO-страницы из тех же данных
Сайт — это те же объявления и медианы, только для поисковиков. Страница района, например аренда в Юнусабаде, показывает, сколько квартир сейчас и новых за неделю, обычную цену 1–3 комнат и свежие объявления. Наружу уходят только наши поля и ссылка на пост в канале — без телефона и без текста оригинала.
Страницы есть на трёх языках, под районы, комнаты, станции метро, кварталы, жилые комплексы и, с ноября, под продажу. Если объявлений мало, страница закрыта от индексации: тонкие страницы поисковику не нужны. Карта сайта строится из базы, а о новых и пропавших адресах мы сообщаем через IndexNow.
Раз в месяц из тех же данных считается индекс аренды Ташкента — медиана новых объявлений месяца. Квартира относится к месяцу, когда впервые появилась в каналах: иначе перевыложенные квартиры «перетекали» бы в следующий месяц и рисовали ложный рост. За октябрь 2026 — 5 888 новых объявлений, однушка $500, двушка $650, трёшка $800; первые 18 дней ноября дали те же медианы на 4 207 объявлениях.
Что мы не делаем
Не копируем пост в карточку целиком: карточка собрана из наших полей по нашему шаблону, оригинал — только в свёрнутой цитате и всегда со ссылкой на пост.
Не храним снятые объявления вечно: через 90 дней стираем телефон, текст и фото, остаются цена, район и площадь для статистики.
Если админ канала просит убрать канал из сбора — убираем, и он больше не включается.
Не ходим на сайты объявлений без разрешения их владельцев.
Что дальше
Открытых вопросов много: пересъёмки одной квартиры с другого ракурса, хозяин «по словам» против хозяина «по номеру», одинаковые квартиры в больших ЖК. Если вы решали похожие задачи — склейку объявлений, извлечение из смешанных языков, медианы на маленьких выборках, — будем рады обсудить в комментариях.
