Comments 11
А почему нельзя использовать GPU в Jupyter notebook ? По моему, в tf, catboost.... можно выбрать device на котором проводить вычисления (GPU/CPU) .
Наброшу еще недостатков колаба:
Куций и постоянно уменьшающийся бесплатный тариф. Проплатить из РФ может быть целым приключением
Изначально - только 12 ГБ RAM. Если работать со сколько-то приличным датасетом и/или требовательной к памяти моделью - ООМ обеспечен
Суточная квота - около 6 часов. По моим наблюдениям +- рандом
Необходимо проявлять активность в течение получаса, иначе сессия слетает. Т.е. надолго трениться модель просто так не оставишь
Бывают проблемы с сетью - зависимости могут ставиться долго и далее разбиваемся о пункт 4
Наиболее простой способ обеспечить персистентность данных и выхлопов - через Гугл диск. Но и тут не без проблем - иногда задержка записи в диск может составлять до 12 часов
Из категории свистелки, но все же: медленный автокомплит
Таким образом, при наличии сколько-то серьезной задачи и хотя бы сравнимого по мощности железа оказывается куда выгоднее поднять Jupyter Notebook/Jupyter Hub и жить припеваючи.
Ещё у Колаба местами древнючие библиотеки которые прибиты гвоздями к самому Колабу.
Для меня наиболее простым способом обеспечить персистентность - Bucket в Google Cloud. Это небесплатно (есть триал, и стоимость хранения\трансфера данных [сравнительно] не очень большая). Но в моем случае работает хорошо.
3. Суточная квота - около 6 часов. По моим наблюдениям +- рандом
Сложилось впечатление, что "сутки" у них другие, не как у вас в браузере. Что, пожалуй, и правильно. Иначе было бы слишком легко перевести часы и получить доп время.
Поэтому если вы начинаете отсчет своих 6 часов их утром - вы получите 6 часов. Но если у них произойдет смена суток, вы получите больше (и это хинт, если ожидаются длительные вычисления). И наоборот, у них может считаться, что вы уже потратили часть суточного лимита, хотя у вас уже новые сутки начались, когда вы еще вроде как не работали.
Я так думаю, потому что "неравномерность" шестичасовой квоты особо резко проявляется когда работаешь то [своим] утром, то вечером. Но без гарантий.
Это Вы бесплатный тариф описываете? Естественно, бесплатный тариф для серьёзной работы предназначен быть не может: это же буржуи, они деньги заработать хотят, а не человечество осчастливить. И GPU в бесплатном тарифе, насколько я знаю, тоже довольно слабый.
Про невозможность использования GPU - тут вы несколько ошибаетесь. GPU при наличии его там, где запускается, вполне себе может использоваться. Да, может быть, потребуется настроить, но тем не менее — коллега вполне себе разрабатывает сервисы с нейросетями через Jupyter Notebook и не ждёт ответа по 40 минут на процессоре, а 40 секунд на видеокарте.
На мой взгляд, некорректное сравнение. Google Colab - разве не web-обёртка для JupyterNotebook? Есть нативные веб-сервисы типа JupyterLab. Вот их и можно было сравнить с Colab. А десктоп-версия JupyterLab есть и в VS Code, и в PyCharm. Выглядит как сравнение: что лучше Git или GitHub...
По загрузке файлов в Colab. Можно загрузить файл во временное хранилище (в панели слева) и не мучиться с Google-диском, получив через контекстное меню (ПКМ по файлу в панели слева) относительный путь. Файл будет храниться до конца рабочей сессии. Это же есть и в JupyterLab.
Вы бы лучше Colab с AWS SageMaker сравнили.
Если работать локально - то несравненно удобнее использовать нормальную IDE типа PyCharm.
Сравнивать Google Colab с AWS SageMaker или с PyCharm мне не нужно. Статья имеет четкую целевую аудиторию - студенты и свежие выпускники курсов, преступившие к выполнению своего первого самостоятельного проекта. Они часто не имеют опыта установки Jupyter Notebook, ни опыта работы с Google Colab. Но об этих инструментах слышали, хотят начать их использовать. Мне нужно помочь сделать им выбор - в чем начать работу. Бонусом я отвечаю на вопросы, которые часто получаю от них. Т.е., фактически я просто сокращаю объем своей работы и упрощаю жизнь свежим аналитикам - в начале проекта теперь могу дать ссылку на статью вместо игры в "вопрос-ответ".
С ростом опыта у них появится запрос на использование других инструментов - но "это уже совсем другая история".
Google Colab вместо Jupyter Notebook: плюсы и особенности работы для новичков