Обновить

Какой язык быстрее? Сравнил 8 языков на одной задаче: Python догнал Rust, а Go проиграл даже Java

Уровень сложностиСредний
Время чтения12 мин
Охват и читатели7.6K
Всего голосов 11: ↑6 и ↓5+1
Комментарии20

Комментарии 20

Тема с чистым Python осталась не раскрыта. И если скорость наверняка была бы не очень, допустим на уровне Ruby, то число строк вполне могло оказаться 3-4 тыс.

На практике на чистом Python писать парсер влом, ведь проще использовать что-то готовое (pandas итп) - и вот тут как раз можно здорово сэкономить и строки, и скорость выполнения. То что при этом получится не чистый python абсолютно нормально, но сильно ломает логику и смысл подобных компитишнов.

Это всё-таки не компетишн, а скорее промоушн :) Можно и на чистом питоне — https://github.com/romanti3172/fasthtmlparser-pure

Без C, Rust и зависимостей, API тот же, что у версии с Rust внутри. Со скоростью примерно уровень Ruby, чуть ниже. Та же виндовая виртуалка, что в статье:

- разбор страницы books (51 КБ): 2,1 мс. У Ruby без JIT — 1,5 мс, у BeautifulSoup с html.parser — 19 мс, у lxml (C) — 1,6 мс;

- скрапинг 20 книг: 2,6 мс. У BeautifulSoup — 22,5 мс, у lxml — 2,8 мс.

Выходит, от Ruby отстаёт в 1,2–1,4 раза, BeautifulSoup обгоняет раз в 8–9, а с lxml на скрапинге идёт вровень. Версия с Rust внутри, конечно, быстрее ещё в 20–30 раз, потому в статье и была она.

Строк вышло ~4 700 руками плюс 2 500 сгенерированной таблицы HTML5-сущностей, так что ваши 3–4 тысячи почти в точку. Тесты те же, что у остальных портов: на 117 страницах и 569 XPath/CSS-запросах всё совпадает с .NET байт в байт. Повторить замер: python bench/bench.py.

А pandas.read_html, кстати, внутри использует тот же lxml (или BeautifulSoup) и читает только таблицы.

А в поддержке франкенштейны в разы хуже. Нужно разбираться в нескольких языках и в нюансах по интеропу.

Так что забываем про питон, а из остальных трех берём тот, какой лучше знают в рабочей группе.

Зависит от объёмов. Если парсить десятки терабайт в день — разница очень ощутима, в деньгах за железо. А если пару страничек — конечно, то, что удобнее команде.

В твоей же табличке первые 5 результатов нос к носу. Какая там разница?

Я, кстати ещё бы память смотрел, тот же rss

так это не то что нравится, а вполне конкретная одна либа, с портами на разные языки

Windows — Windows 10 LTSC в виртуалке KVM

Похоже на нечестную игру.

Да и сравнивать микросекунды, когда погрешность измерения уже рядом имхо пальцем в небо.

нечестно по отношению к кому, если есть группа сравнений всех кого можно внутри одно и той же виртуалки?

не честно запихивать одну OS в виртуалку, а другую - нет.

по ним сравнение отдельно идет, отдельно колонка в винде, отдельно в линуксе

Скорее всего говорить, что парсер на расте тут достиг своего пика не стоит. Надо смотреть исходный код и что в нем написано. Если мы уберем логирование и прочий оверхед мусор, будем держать все в стеке и добавим микроаренку с 1 преаллокацией, то раст может раза в 2 или 3 стать быстрее. А это уже быстрее быстрого. Тем более что тут возможно не только avx2 можно будет применить, но и другие инструкции.

да тут уже все хорошо

  • Логирования нет вообще. Ни log, ни tracing, ни println. Единственная зависимость — memchr.

  • Преаллокация уже есть, и она лучше одноразовой «микроаренки». В parse.rs:67 сначала считаются все <, это точная верхняя граница числа тегов. Под неё один раз выделяется массив узлов в thread-local scratch-буфере, который переиспользуется между вызовами. На повторных документах аллокаций на теги нет совсем.

  • SIMD уже работает. Горячий цикл ищет символы через memchr/memchr3/memmem. Эти функции сами выбирают AVX2, SSE2 или NEON под процессор.

  • Ленивость. Текст и атрибуты не декодируются при парсинге, только при обращении. Это как раз срезает оверхед

Вы же просто напросто не читали "вами же" написанный код, если даже на коммент с хабра не в состоянии ответить сами и пересылаете его агенту.

За неделю появились и CSS-селекторы, и XPath 1.0, а сама библиотека переехала ещё на семь языков: Go, Rust, Java, TypeScript, Python, PHP и Ruby.

В заголовке идет речь про "сравнение языков", хотя на самом деле сравнивалась нейрослопная дрисня которую вряд ли даже читали.

В чем ценность статьи тогда?

Лошадка помогала конечно, восемь портов на разные языки за неделю руками никто не напишет. Но «не читали» — мимо: у всех портов общий набор тестов, каждый XPath/CSS-запрос сверяется с эталоном C#-версии по хэшам

А смысл как раз в этом: алгоритм везде один и тот же, ведёт себя одинаково, так что разница в цифрах — это разница языков, а не того, кто как написал. Ну и в своих языках оно реально быстрее того, что было до сих пор.

Но «не читали» — мимо: у всех портов общий набор тестов, каждый XPath/CSS-запрос сверяется с эталоном C#-версии по хэшам

Вы немного не то утверждение опровергаете. То что "тесты прошли" не означает что код был вами прочитан, осознан и утвержден.

так что разница в цифрах — это разница языков, а не того, кто как написал

Нет, разницей языков это бы было если бы каждую имплементацию писал специалист с учетом знания каждого конкретного языка, его рантайма и библиотеки. В вашем сравнении предполагается что LLM выдала идеальный код для каждого языка (тесты же зеленые), а значит на конечную производительность влияет только сам язык а не качество кода что, разумеется, не верно.

Неделю назад я рассказывал на Хабре про z3l.FastHtmlParser — HTML-парсер для .NET, который вместо DOM строит плоский список тегов и разбирает страницу в 10–30 раз быстрее HtmlAgilityPack и AngleSharp.

Во времена XML считалось само собой, что парсер, который не строит DOM (SAX-парсер), и должен быть быстрее, и кушать меньше памяти, и поэтому быть ещё быстрее. Вот только результат годится для узкого набора задач, типа десериализации настроек.

Был ли задействован параллелизм?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации