Да, закинуть модельку в тритон и в шаге с моделью дергать по grpc, для этого акведук не нужен. Дальше многое зависит от самой модели. Самое первое что приходит в голову - надо готовить данные для модели, это можно организовать в виде предварительных шагов в акведуке и причем можно готовить данные параллельно, сразу пачкой по 12 штук например. Дальше, на шаге с моделью, если она поддерживает батчирование то акведук поможет собрать батч и вы сможете эту пачку сразу отправить в модель. После модели можно также параллельно обрабатывать данные с уже полученными ответами от модели, это все тоже можно оформить в виде шага акведука после модели. Вот для этого всего подходит акведук.
В конце статьи про это есть комментарий, тритон это мощь, но это способ плейсинга моделей, его вполне можно сочетать с акведуком, который больше про организацию оптимального конвейера вычислений.
Даже не плюсы, а С-шные вставки в критичных местах в акведуке имеются, про это скоро будет отдельная статья от инженера который их делал.
К CUDA пока привязываться нет смысла, так как это можно сделать в самой модели. Уже на усмотрение самого разработчика, можно использовать любые другие способы оптимизации. Например, у нас есть сервис где используется разделяемая память от pytorch на GPU, работает коллоссально быстро, но это кастомное решение под конкретную модель и фреймворк. Поэтому в акведук мы это не выносили.
Спасибо, что заботитесь о пользователях и не оставляете все на самотек.
Скажите, а эти фейковые домены avito.ws, avitosecurity.me — разве не должен роскомнадзор блокировать, он разве не для этого?
И платежные системы/банки как относятся к такого рода мошенникам?
Создается ощущение, что вы в одиночестве боретесь и никому больше нет дела.
Если бы вы прочитали статью, то так бы не думали.
И вообще то это статья не про бизнес, а про науку. Статьи про бизнес и деньги — это на другие ресурсы, к цукербергам там или еще каким.
Заранее извините, если вдруг обидел.
Классная статья! Спасибо, что делитесь профессиональными знаниями. А что используете tensorflow, mxnet? pytorh?
Сколько в итоге модель по времени отрабатывает?
Скажите, а полученный алгоритм выдает первую букву любой хешируемой фразы? Или пока только буква Т для фразы про лисицу. Не может ли это просто быть совпадением?
Существует принципиальная разница между двумя понятиями: семантическая сеть (Semantic Network) и семантическая паутина (Semantic Web).
В данной статье идет как раз подмена понятий, описана семантическя паутина, а выдается она как семантическая сеть.
В этом моя ошибка, я активно занимался проблемой открытого ПО в применении к системам CMS, и решил что все свободное ПО одинаково, но этот пост открыл мне глаза. В каждой области свои законы.
Методика и результат сравнения сильно зависит от области применения ПО,
поэтому и выводы для каждого продукта получаются разные.
И как раз поэтому, люди так горячо спорят на эту тему.
Спасибо.
Да, закинуть модельку в тритон и в шаге с моделью дергать по grpc, для этого акведук не нужен. Дальше многое зависит от самой модели. Самое первое что приходит в голову - надо готовить данные для модели, это можно организовать в виде предварительных шагов в акведуке и причем можно готовить данные параллельно, сразу пачкой по 12 штук например. Дальше, на шаге с моделью, если она поддерживает батчирование то акведук поможет собрать батч и вы сможете эту пачку сразу отправить в модель. После модели можно также параллельно обрабатывать данные с уже полученными ответами от модели, это все тоже можно оформить в виде шага акведука после модели. Вот для этого всего подходит акведук.
В конце статьи про это есть комментарий, тритон это мощь, но это способ плейсинга моделей, его вполне можно сочетать с акведуком, который больше про организацию оптимального конвейера вычислений.
Даже не плюсы, а С-шные вставки в критичных местах в акведуке имеются, про это скоро будет отдельная статья от инженера который их делал.
К CUDA пока привязываться нет смысла, так как это можно сделать в самой модели. Уже на усмотрение самого разработчика, можно использовать любые другие способы оптимизации. Например, у нас есть сервис где используется разделяемая память от pytorch на GPU, работает коллоссально быстро, но это кастомное решение под конкретную модель и фреймворк. Поэтому в акведук мы это не выносили.
Да, для моделей на CPU все тоже самое - разбиваете вычисления на этапы и используете батчирование. В итоге, экономия тоже будет
Скажите, а эти фейковые домены avito.ws, avitosecurity.me — разве не должен роскомнадзор блокировать, он разве не для этого?
И платежные системы/банки как относятся к такого рода мошенникам?
Создается ощущение, что вы в одиночестве боретесь и никому больше нет дела.
И вообще то это статья не про бизнес, а про науку. Статьи про бизнес и деньги — это на другие ресурсы, к цукербергам там или еще каким.
Заранее извините, если вдруг обидел.
Сколько в итоге модель по времени отрабатывает?
Как лучше исправить, перенести запуск в onResume или configChanges мучать?
Как лучше исправить, перенести запуск в onResume или configChanges мучать?
обидно, что не на хабру, но что сделаешь
В данной статье идет как раз подмена понятий, описана семантическя паутина, а выдается она как семантическая сеть.
поэтому и выводы для каждого продукта получаются разные.
И как раз поэтому, люди так горячо спорят на эту тему.
Спасибо.