Скрейпинг Temu в 2025: реальный кейс с антиботом, ротацией и прокси

Разбираем полный цикл построения надёжного скрейпера для Temu: от выбора стека и прокси до обхода JavaScript‑челленджей и сбора тысяч карточек товаров без единого 403.

Проблематика и требования

1. Антибот‑защита Temu

   • JS‑челленджи и динамические куки;

   • блокировка по повторяющимся заголовкам и шаблонному поведению;

   • гео‑таргетинг: часть контента недоступна вне целевых регионов.

2. Цели скрейпинга

   • сбор названий, цен, рейтингов и ссылок на товары;

   • устойчивость к бану при сотнях параллельных сессий;

   • масштабируемость: легко добавить новые категории или регионы.

Технологический стек

• Язык: Python 3.11+

• Браузер: Playwright (Chromium) в headless‑режиме

• Асинхронность: asyncio + встроенные возможности Playwright

• Прокси: ProxyEmpire (ротация IP, порт 5000, аутентификация user:pass)

• Парсинг: CSS‑селекторы; для сложных фрагментов — lxml/BeautifulSoup

Архитектура решения

[Список URL категорий] 
        ↓ (async dispatcher)
[Pool Playwright contexts] ← ProxyEmpire (ротация IP)
        ↓
[Рендеринг страниц → селекторы → парсинг]
        ↓
[Сохранение: CSV / PostgreSQL / MongoDB]

• Playwright contexts изолируют куки и localStorage между задачами.

• Ротация IP при создании каждого context: новый proxy-сервер.

• Логирование всех ошибок и задержек для последующего анализа.

Конфигурация ProxyEmpire

# credentials.py
PROXY_USER = "ваш_логин"
PROXY_PASS = "ваш_пароль"
PROXY_HOST = "gateway.proxyempire.io"
PROXY_PORT = 5000

• Пул из 5000 IP (США, ЕС, АЗИЯ и др.).

• Аутентификация через HTTP Basic.

• Round‑robin ротация на уровне TCP‑соединений Playwright.

Код: асинхронный скрейпер

# scraper.py
import asyncio
import logging
from playwright.async_api import async_playwright, TimeoutError as PlaywrightTimeout

from credentials import PROXY_USER, PROXY_PASS, PROXY_HOST, PROXY_PORT

logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s")


CATEGORY_URLS = [
    "https://www.temu.com/ru/computers-and-office-c-123.html",
    # добавьте другие разделы
]


async def fetch_category(page, url):
    try:
        await page.goto(url, timeout=60000)
        await page.wait_for_selector("div[class*='product-card']", timeout=10000)
        cards = await page.query_selector_all("div[class*='product-card']")
        results = []

        for card in cards:
            title = await card.query_selector_eval("h3", "el => el.innerText.trim()")
            price = await card.query_selector_eval("div[class*='price']", "el => el.innerText.trim()")
            link = await card.query_selector_eval("a", "el => el.href")
            results.append({"title": title, "price": price, "link": link})

        logging.info(f"[{url}] Собрано {len(results)} карточек")
        return results

    except PlaywrightTimeout as te:
        logging.warning(f"[{url}] Таймаут: {te}")
    except Exception as ex:
        logging.error(f"[{url}] Ошибка: {ex}")

    return []


async def worker(name, url_queue, output):
    proxy_url = f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True)
        while not url_queue.empty():
            url = await url_queue.get()
            context = await browser.new_context(proxy={"server": proxy_url})
            page = await context.new_page()
            data = await fetch_category(page, url)
            output.extend(data)
            await context.close()
            await asyncio.sleep(1)   # необходимая задержка
            url_queue.task_done()
        await browser.close()


async def main():
    url_queue = asyncio.Queue()
    for url in CATEGORY_URLS:
        await url_queue.put(url)

    results = []
    workers = [asyncio.create_task(worker(f"worker-{i}", url_queue, results))
               for i in range(5)]  # 5 параллельных контекстов

    await url_queue.join()
    for w in workers:
        w.cancel()

    # Сохранение в CSV
    import csv
    with open("temu_products.csv", "w", newline="", encoding="utf-8") as f:
        writer = csv.DictWriter(f, fieldnames=["title", "price", "link"])
        writer.writeheader()
        writer.writerows(results)

    logging.info(f"Итого собрано: {len(results)} записей")


if __name__ == "__main__":
    asyncio.run(main())

Ключевые моменты реализации:

• Queue + worker‑pattern для динамического распределения URL;

• Изоляция контекстов Playwright для чистых сессий;

• ProxyEmpire задаётся при создании context;

• Обработка ошибок: таймауты и неожиданные исключения логируются и не прерывают работу.

Тонкости обхода защиты

1. Динамические заголовки

   • Добавить ротацию User‑Agent: список популярных браузеров;

   • Маскировать головы: Accept-Language, Referer.

2. Anti-Detect

   • Включить эмуляцию браузерных свойств:

context = await browser.new_context(
    proxy={...},
    user_agent=random.choice(USER_AGENTS),
    viewport={"width": 1280, "height": 720},
    java_script_enabled=True
)Куки и localStorage

Для части страниц требуется авторизация: сохранять и перезагружать state;

Captcha‑защита

Если появляются invisible reCAPTCHA, можно интегрировать антикапча-сервис.

3.Куки и localStorage

• Для части страниц требуется авторизация: сохранять и перезагружать state;

4.Captcha‑защита

• Если появляются invisible reCAPTCHA, можно интегрировать антикапча-сервис.

8. Выводы и рекомендации

1. Headless‑браузер + прокси — оптимальный дуэт при сложных антибот‑механизмах.

2. Изоляция сессий Playwright избавляет от “протекания” куки между задачами.

3. Тонкая настройка User‑Agent, заголовков и задержек снижает подозрительное поведение.

4. ProxyEmpire с портом 5000 обеспечивает качественную ротацию IP и гео‑таргетинг.

Полезные ссылки

• Playwright Python: https://playwright.dev/python/

• ProxyEmpire: https://proxyempire.io/

• Документация Temu (для разработчиков): https://www.temu.com/