Комментарии 20
Мораль: «быстрый язык» — это часто язык, который удачно делегирует …
в Rust =)
Тема с чистым Python осталась не раскрыта. И если скорость наверняка была бы не очень, допустим на уровне Ruby, то число строк вполне могло оказаться 3-4 тыс.
На практике на чистом Python писать парсер влом, ведь проще использовать что-то готовое (pandas итп) - и вот тут как раз можно здорово сэкономить и строки, и скорость выполнения. То что при этом получится не чистый python абсолютно нормально, но сильно ломает логику и смысл подобных компитишнов.
Это всё-таки не компетишн, а скорее промоушн :) Можно и на чистом питоне — https://github.com/romanti3172/fasthtmlparser-pure
Без C, Rust и зависимостей, API тот же, что у версии с Rust внутри. Со скоростью примерно уровень Ruby, чуть ниже. Та же виндовая виртуалка, что в статье:
- разбор страницы books (51 КБ): 2,1 мс. У Ruby без JIT — 1,5 мс, у BeautifulSoup с html.parser — 19 мс, у lxml (C) — 1,6 мс;
- скрапинг 20 книг: 2,6 мс. У BeautifulSoup — 22,5 мс, у lxml — 2,8 мс.
Выходит, от Ruby отстаёт в 1,2–1,4 раза, BeautifulSoup обгоняет раз в 8–9, а с lxml на скрапинге идёт вровень. Версия с Rust внутри, конечно, быстрее ещё в 20–30 раз, потому в статье и была она.
Строк вышло ~4 700 руками плюс 2 500 сгенерированной таблицы HTML5-сущностей, так что ваши 3–4 тысячи почти в точку. Тесты те же, что у остальных портов: на 117 страницах и 569 XPath/CSS-запросах всё совпадает с .NET байт в байт. Повторить замер: python bench/bench.py.
А pandas.read_html, кстати, внутри использует тот же lxml (или BeautifulSoup) и читает только таблицы.
А в поддержке франкенштейны в разы хуже. Нужно разбираться в нескольких языках и в нюансах по интеропу.
Так что забываем про питон, а из остальных трех берём тот, какой лучше знают в рабочей группе.
Зависит от объёмов. Если парсить десятки терабайт в день — разница очень ощутима, в деньгах за железо. А если пару страничек — конечно, то, что удобнее команде.
Windows — Windows 10 LTSC в виртуалке KVM
Похоже на нечестную игру.
Да и сравнивать микросекунды, когда погрешность измерения уже рядом имхо пальцем в небо.
Скорее всего говорить, что парсер на расте тут достиг своего пика не стоит. Надо смотреть исходный код и что в нем написано. Если мы уберем логирование и прочий оверхед мусор, будем держать все в стеке и добавим микроаренку с 1 преаллокацией, то раст может раза в 2 или 3 стать быстрее. А это уже быстрее быстрого. Тем более что тут возможно не только avx2 можно будет применить, но и другие инструкции.
да тут уже все хорошо
Логирования нет вообще. Ни log, ни tracing, ни println. Единственная зависимость — memchr.
Преаллокация уже есть, и она лучше одноразовой «микроаренки». В parse.rs:67 сначала считаются все <, это точная верхняя граница числа тегов. Под неё один раз выделяется массив узлов в thread-local scratch-буфере, который переиспользуется между вызовами. На повторных документах аллокаций на теги нет совсем.
SIMD уже работает. Горячий цикл ищет символы через memchr/memchr3/memmem. Эти функции сами выбирают AVX2, SSE2 или NEON под процессор.
Ленивость. Текст и атрибуты не декодируются при парсинге, только при обращении. Это как раз срезает оверхед
За неделю появились и CSS-селекторы, и XPath 1.0, а сама библиотека переехала ещё на семь языков: Go, Rust, Java, TypeScript, Python, PHP и Ruby.
В заголовке идет речь про "сравнение языков", хотя на самом деле сравнивалась нейрослопная дрисня которую вряд ли даже читали.
В чем ценность статьи тогда?
Лошадка помогала конечно, восемь портов на разные языки за неделю руками никто не напишет. Но «не читали» — мимо: у всех портов общий набор тестов, каждый XPath/CSS-запрос сверяется с эталоном C#-версии по хэшам
А смысл как раз в этом: алгоритм везде один и тот же, ведёт себя одинаково, так что разница в цифрах — это разница языков, а не того, кто как написал. Ну и в своих языках оно реально быстрее того, что было до сих пор.
Но «не читали» — мимо: у всех портов общий набор тестов, каждый XPath/CSS-запрос сверяется с эталоном C#-версии по хэшам
Вы немного не то утверждение опровергаете. То что "тесты прошли" не означает что код был вами прочитан, осознан и утвержден.
так что разница в цифрах — это разница языков, а не того, кто как написал
Нет, разницей языков это бы было если бы каждую имплементацию писал специалист с учетом знания каждого конкретного языка, его рантайма и библиотеки. В вашем сравнении предполагается что LLM выдала идеальный код для каждого языка (тесты же зеленые), а значит на конечную производительность влияет только сам язык а не качество кода что, разумеется, не верно.
Неделю назад я рассказывал на Хабре про z3l.FastHtmlParser — HTML-парсер для .NET, который вместо DOM строит плоский список тегов и разбирает страницу в 10–30 раз быстрее HtmlAgilityPack и AngleSharp.
Во времена XML считалось само собой, что парсер, который не строит DOM (SAX-парсер), и должен быть быстрее, и кушать меньше памяти, и поэтому быть ещё быстрее. Вот только результат годится для узкого набора задач, типа десериализации настроек.
Был ли задействован параллелизм?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Какой язык быстрее? Сравнил 8 языков на одной задаче: Python догнал Rust, а Go проиграл даже Java