Комментарии 12
3 секунды на ответ — это же офигеть как много
Ну и раз уж разговор про deep learning, то стоит также отметить, что GPU-инстансов в AWS Lamda пока не завезли. Весь inference – на CPU.
И зачем тут лямбда?
каталоги готовых решений
а поделитесь ссылками на каталоги?
для TensorFlow формат .pb родной?
Спасибо за статью, хотел бы заметить что вы не уточнили одно очень важное ограничение ламбд, а именно эфемерное хранилище не может превышать 512 мб, следовательно если ваша модель больше, ваша ламбда сломается во время запуска.
Мне не совсем понятно зачем закачивать модель с s3 в эфемерное хранилище, скорость чтения с s3 штука непредсказуемая и может выстрелить вам ногу. Смотрите у нас есть след ограничение:
Size of code/dependencies that you can zip into a deployment package (uncompressed .zip/.jar size).: 250mb
Если ваша модель в сжатом виде не превосходит данного ограничения, то просто пакуем ее с кодом ламбды и в рантайме пользуемся из /var/task/YOUR_LAMBDA
.
Так же следовало бы объяснить что ламбды не являются черной магией и тоже построены на контейнеризации, но это все под капотом и конечному пользователю не видно.
На мой взгляд не хватает разъяснений о Serverless.com
который никакого отношения к AWS не имеет ибо является фремворком среди других фреймворков FaaS таких как SAM, Zappa, Claudia JS, итд.
Serverless tensorflow на AWS Lambda