Google вместе с Debian работают над улучшением проекта Bazel для ковидных исследований

[Paskin]

Кто-то может внятно обьяснить, зачем ученым Bazel — если можно просто сделать

pip install --upgrade tensorflow

или воспользоваться готовым образом от NVidia (или кого-то другого)?

[gecube]

Мне тоже интересно. Видимо, ученые не умеют в докеры )
А насчет pip — небольшая ремарка, что не стоит это делать в системный python, а в venv :-) К сожалению, ученые хороши только в учености и исследованиях, а не в том, как правильно ИТ технологии использовать (в общем-то это и понятно)

[tmin10]

Ну кстати, если использовать одну версию без зоопарка, то установка глобальная особо проблем не несёт.

[gecube]

Ну, все равно лучше опакетить в пакеты, родные для операционной системы. Аргументация: rpm/apt ничего не знают про то, что установлено pip’ом. И следующее обновление системных пакетов может привести к нежданчикам

[Paskin]

Ученые отлично умеют в докеры — как и большинство людей, пытавшихся установить GPU-версию TF без них ;)
Про venv — это написано в большинстве руководств для ученых ;), хотя и не критично для основной дискуссии.

[gecube]

DevOps по принуждению? :-)

[Alex_ME]

На использовал TF. А зачем там докер?

[Paskin]

Чтобы установить TF с поддержкой GPU — нужно сначала установить CUDA, libCNN, libCUBLAS и так далее. Причем их версии должны соответствовать тем, с которыми был скомпилирован сам TF. А смена версии TF — во многих случаях означает как минимум переустановку части вышеописанного.
Поэтому, чтобы так не извращаться — проще взять готовый образ (а они есть для всех версий, наборов команд процессоров и т.п.) — и запустить.

[TheKnight]

Возможно, Bazel нужен для сборки еще чего-то рядом? Ну или у них TF патченный.

[Paskin]

Вероятность того что в процессе изучения COVID понадобится что-то собирать или патчить TF — исчезающе мала.

[suicide_sky92]

Потому что от tensorflow куча зависимостей идёт. Если ты просто его ставишь, то норм всё, но когда у тебя туда туда всякие opencv или не дай бог как то пропатченое ядро с учётом экзотического оборудования(даже не говорю о всяких Movidius и всяких PCI FPGA устройствах, а именно о всяких железках нарисованных и спаяных в лаборатории) это просто ад начинается. Даже бородатые системные инженеры тратят на их стыковку недели, ибо работает всё до первого вызова каких нибудь либ soшных и всё падает в лютый трейс на пару выкуренных сигарет..

[Paskin]

Это да — но причем тут COVID? То, что вы описываете — свойственно для мира edge/RT, а в Big Data важна стабильность и масштабируемость. Никто там ничего не паяет и dev-версии используются очень редко.