Комментарии 12
Спасибо за статью! Очень качественный материал.
Но остались два вопроса. Буду благодарен, если кто-то ответит.
1. Какие есть ограничения на использование моделей? Лицензии и прочее где смотреть?
2. Какие обычно используются инструменты для работы с ИИ-моделями? Например, для создания очередей (Celery или что-то ещё).
Есть отдельный фильтр на лицензии. Также в карточке модели вверху есть теги, там отображается в том числе и лицензия. Сама библиотека трансформерс распространяется под Apache License 2.0 (https://github.com/huggingface/transformers/blob/main/LICENSE).
Ну каких-либо явных ограничений тут нет - какая у вас на работе задействована ту и используйте. Я в своей практике чаще встречаю кафка и RabbitMQ.
Еще в файлах модели обычно выкладвают ридми и там пишут лицензию.
Спасибо за ответ. А Huggingface накладывает какие-то ограничения? Как я понял, модели скачиваются на локальный жесткий диск и потом можно использовать без ограничений (в соотв. с лицензией). Но может есть ограничение на число скачиваний или прочее? В чем выгода Huggingface?
Однако есть такой момент, что загружаемые модели по сути обертка над pickle, который в свою очередь может исполнять любой код, начиная от рикроллинга до более серьезных пакостей.
У знаменитого AI блогера Янника Килхера есть про это даже видео.
Отличный материал, что было бы полезно дополнить: требования по железным ресурсам, которые нужны для обучения моделей. Их где-то можно посмотреть на сайте? У меня ранее был не очень приятный trial & error опыт проверки моделей по очереди, в надежде что обучение влезет в мою GPU.
Косвенно можно оценить по размеру файлов модели. Но и это не точный показатель. В конечном итоге нагрузка зависит от размера модели и кол-ва объектов, которые вы пытаетесь запихнуть в один батч.
Здесь неплохой туториал по эффективному по времени и памяти. Рассказывается про стандарнтый способы уменьшить расход памяти - переход в half precision, gradient checkpointing, gradient accumulation и т.д.
Я так понимаю на Hugging Face можно запускать Python скрипты на их железе и притом это будет бесплатно для тарифного плана HF Hub и даже для Spaces Hardware если используется CPU Basic вариант. Я не совсем понимаю как это сделать т.к. интерфейс у них немного запутанный. Вы так пробовали делать? Если да, можете дать нормальную инcтрукцию как это сделать?
Введение в библиотеку Transformers и платформу Hugging Face