Тренируем нейронную сеть написанную на TensorFlow в облаке, с помощью Google Cloud ML и Cloud Shell

[Sp0tted_0wl]

После выполнения команды

curl https://raw.githubusercontent.com/GoogleCloudPlatform/cloudml-samples/master/tools/setup_cloud_shell.sh | bash

у меня вывалилась ошибка

Command "/usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-urImDr/olefile/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.r
ead().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" build_ext --disable-jpeg install --record /tmp/pip-GHGxvS-record/install-record.txt -
-single-version-externally-managed --compile --user --prefix=" failed with error code 1 in /tmp/pip-build-urImDr/olefile/

Все споткнулось на установке pillow. Помогла ручная установка

pip install --user --upgrade pillow

После которой установка всего остального прошла отлично. Может быть кому-то поможет.

[b0noII]

Спасибо, обновил статью.

[BelBES]

Да, вы все верно поняли, у вас есть полностью бесплатный инстанс с доступом к Shell, к которому вы можете получить доступ из вашей Web консоли.

Поскольку дистанционное обучение стоит денег

Так все таки, что насчет материальной стороны вопроса? Сколько реально стоит обучаться в облаке от гугла?
У того же Amazon, имхо, цены таковы, что покупка железа и локальный тренинг окупится уже через пару месяцев… ибо ~800$ в месяц за один инстанс с GPU + 0.1$ за каждый гигабайт дискового пространства — это как-то дороговато.

[b0noII]

Статью о сравнение финансовой стороноы еще сделаб. Stay tuned =)

[KiloLeo]

Вот на этом шаге:

Чтобы проверить, успешно ли все установлено, нужно выполнить одну простую команду:

➜ curl https://raw.githubusercontent.com/GoogleCloudPlatform/cloudml-samples/master/tools/check_environment.py | python 

Получил проблему:

ERROR: Unable to list Cloud ML models: {
  "error": {
    "code": 400,
    "message": "Field: parent Error: Please make sure that Google Cloud Machine Learning API is enabled for the project.",
    "status": "FAILED_PRECONDITION",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.BadRequest",
        "fieldViolations": [
          {
            "field": "parent",
            "description": "Please make sure that Google Cloud Machine Learning API is enabled for the project."
          }
        ]
      }
    ]
  }
}

[b0noII]

Выполните: gcloud beta ml init-project

я обновил статью что бы теперь это команда была в нужном месте, спасибо

[KiloLeo]

нет,

gcloud beta ml init-project 

даёт ту же ошибку. Надо в настройках Googe Cloud найти Google Cloud Machine Learning API и активировать его. Теперь ошибка другая:

 "Quota failure for project_number:702892795219 -- The allowed Cloud ML quota for API calls in the \"Management (CRUD) requests\"

Как я понимаю, теперь надо пополнить свой счёт в Cloud Platform?

[b0noII]

Не думаю, скорее всего нужно еще где-то тыцнуть «enable Cloud ML» в своем console google cloud, но это лишь предположение. Ну и да, аккаунт дожен быть с Billeng Enabled =)

[Wicron]

Вам стоило как результат и в этой и в другой статье продемонстрировать финальное состояние чат-бота. Зачем обучать нейросеть, использовать это потом, если качество чат-бота убогое? Нельзя на плохих примерах показывать лучшие достоинства тех или иных технологий. К тому же стоило поварьировать длину обучающих диалогов, показать наглядно как при этом меняется поведение чат-бота, по возможности дать вырезки обучающих выборок на которые потом шла проверка ответов.
По опыту прошлой статьи, думаю, не многие поняли как реально обучалась нейросеть, Я неоднократно со стороны видел типовой процесс разработки чат-бота. Учет контекста, шаблоны со звездочками, ветви диалогов, может быть фильтры по тематикам.
Зная коммерческие задачи конца года некоторых IT тендеров, очевидно, что чат-боты двигаются реально в сторону быстро меняющейся модели под задачи «текущего дня». Если сверху говорят «продать больше», обучить на диалоги, где чат-бот впаривает. Если продать дороже, обучите на диалоги, где мало, но дорого. Новый тарифный план — вставьте в шаблоны его название, срочно добавьте ветви диалогов под его описание. Реально хороший пример — вписать возможности нейронных сетей в бизнес-логику компаний.