Настраиваем VM Instance Google Cloud для задач машинного обучения

[jandevel]

Datalab по сути надстройка над Compute Engine и по-своему хорош, но:
1. Compute Engine более гибок в настройке.
2. Ценовая политика Compute Engine — платишь только за использованное время и это мне импонирует больше. Всё прозрачно.

[a-l-e-x]

Спасибо!

Мне казалось, что в Datalab виртуальную машину (GCE) тоже можно остановить, когда она не используется.

Ценовая политика вроде здесь описана: cloud.google.com/datalab/docs/resources/pricing

И ещё, мне казалось, что там можно всё скриптом (bash) поднять…  и потом ликвидировать таким же образом.

Я не очень уверен, что http и https должны быть открыты.

Наверное я бы грохнул default network тоже и создал другую. И firewall rules порезал бы (например RDP не нужен)…

[Amet13]

Несколько советов, в дополнение к статье.

jupyter notebook --ip=0.0.0.0 --port=8888 --no-browser &

У вас уже в конфиге указан и адрес и порт, можно запускать без этих параметров уже.
И наверное лучше запускать это через screen.

Если надо много раз запускать разные экземпляры, то токен можно указать тоже непосредственно в конфиге:

c.NotebookApp.token = u'haogeeShafee2ie3xebueR5Aek7Fo3'

Также jupyter умеет в SSL, так что еще можно и так сделать:

c.NotebookApp.certfile = u'/srv/keys/jupyter.crt'
c.NotebookApp.keyfile = u'/srv/keys/jupyter.key'

И повесить например на порт 443 (если запускаем jupyter под рутом).

Иногда бывает, что нужны логи:

jupyter notebook --config=~/.jupyter/jupyter_notebook_config.py | tee -a /var/log/jupyter.log

[jandevel]

Благодарю.
Насчет запуска jupiter без параметров ip и порта — это проблема, которую я так и не победил (точнее, не стал этим заморачиваться). Браузер вываливает timed-out error. Указываю параметры явно в строке — всё ок.

[Amet13]

Странно.
Запускаю с такой конфигурацией:
gist.github.com/anonymous/0ffaf37e2e24fab7c1859bc66b29fccf
Через обычную команду jupyter notebook и все работает.
Последняя версия notebook из miniconda.

[RuGrof]

Возможно комуто пригодится докер контейнеры от Nvidia для машинного обучения.