Как мы нейросеть в браузер тащили

[emaxx]

При компиляции вы используете -Oz, т. е. агрессивную оптимизацию по размеру в ущерб скорости. Сравнивали ли вы с простым -O2 или -O3?

[Balling]

-Os ещё круче, особенно на как раз clang. Еще больше скорости можно выжать из march=native.

[oficsu]

А что значит -march=native в контексте wasm? Кажется, даже разработчики в некотором недоумении

[Balling]

Ну это же легко проверить. Поиск по march в репозитории: https://github.com/emscripten-core/emscripten/search?q=march&type=issues

[oficsu]

Так я и проверил — сразу привёл релевантную ссылку с меткой wontfix в своём исходном сообщении, более релевантных страниц в выдаче не вижу

[Balling]

Да, там используется march=js скрытно. Ну есть еще mtune.

[DustCn]

Это смотря где вы компилируете. Собрано будет под тот сет инструкций, на котором у вас билдовая система, а у пользователя может быть и получше.

[DmitriyValetov]

Верное замечание! Если не ставить никаких флагов оптимизации (без -Oz -flto) то задержка уменьшится примерно в 8 раз на этапе "resizing and preprocessing".

[dkurt]

А можно просто использовать opencv.js. Поддержка моделей в формате TFLite уже есть. А в ближайшем будущем представлю патч для квантованных сетей.

[DmitriyValetov]

Оч жду. Люблю бенчмарки гонять.

[raamid]

Обратил внимание, что в Dockerfile у вас производится запуск ./buld.sh, однако в репозитории я этот файл не нашел. Запускать докер контейнер не пробовал, поленился. Собственно вопрос - откуда там берется build.sh?

[DmitriyValetov]

Это скрипт сборки onnxruntime в /onnxruntime ( команда "WORKDIR /onnxruntime" на 48 строке переводит текущий путь туда)