mascai 7 авг 2022 в 00:18

Поиск открытого API сайта или Ускоряем парсинг в 10 раз

4 мин

22K

Информационная безопасность*Python*Data Mining*Data Engineering*

Туториал

Комментарии 10

Terranz 7 авг 2022 в 10:33

Протобаф в вебе? Нет пути!

-4

rdo 7 авг 2022 в 10:51

Это само по себе в 10 раз интересней статьи.

Интересно, зачем они протобаф впихнули туда? Защита от скрипт-киддиз парсеров? Или какие-то непонятные вопросы производительности?

-4

mascai 7 авг 2022 в 15:24

Думаю, да
Две цели
1) Производительность
2) Скрытие данных

-2

kin4stat 7 авг 2022 в 20:11

или бекэнд на плюсах, в которых это единственный +- адекватный способ сериализации данных

s_f1 7 авг 2022 в 11:07

float price_before

«priceBefore»: 218.99000549316406

Точность – никогда не бывает лишней!

mascai 7 авг 2022 в 16:11

Точно)

GingerB 7 авг 2022 в 15:25

from proto_structs import offers_pb2

Это какой-то модуль, написанный Вами? Можно увидеть его содержимое? Спасибо!

mascai 7 авг 2022 в 15:29

Команда

protoc --proto_path=proto_files --python_out=proto_structs offers.proto

создает файл offers_pb2.py в папке proto_structs/

Этот файл содержит описание полей для протобафа. Пример:

# Generated by the protocol buffer compiler.  DO NOT EDIT!
# source: offers.proto
...

_OFFER = _descriptor.Descriptor(
  name='Offer',
  full_name='Offer',
  filename=None,
  file=DESCRIPTOR,
  containing_type=None,
  fields=[
    _descriptor.FieldDescriptor(
      name='name', full_name='Offer.name', index=0,
      number=2, type=9, cpp_type=9, label=1,
      has_default_value=False, default_value=_b("").decode('utf-8'),
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      serialized_options=None, file=DESCRIPTOR),
  ...