Потокенный KL-штраф за отклонение от SFT-модели. Важно: во многих работах используется оценка Монте-Карло по одному токену, а мы выбрали именно честно посчитанный KL, и результаты получились куда лучше.
Что вы тут имеете в виду? Что такое "честно посчитанный KL" в этом контексте?
1) Если ходить в triton по grpc, то снова нужна серриализация картинок.
2) Батчинг есть и на стороне тритона -- если использовать его вместе с акведуком, то будет двойной батчинг?
3) Кажется, что из плюшек Aqueduct -- это ассинхронная подгрузка изображений по ссылке. А triton, на сколько я понимаю, этого не умеет и ожидает, что все данные будут переданы в запросе
---
Статья была бы более полной, если бы вы опубликовали сравнение или бенчмарки: Aqueduct / Aqueduct + Triton / Triton / ...
Кажется, нашел ответ на этот вопрос в другой вашей статье - Как мы готовим RL для Alignment в больших языковых моделях: опыт команды YandexGPT под спойлером "Как посчитать KL-штраф"
Что вы тут имеете в виду? Что такое "честно посчитанный KL" в этом контексте?
1) Если ходить в triton по grpc, то снова нужна серриализация картинок.
2) Батчинг есть и на стороне тритона -- если использовать его вместе с акведуком, то будет двойной батчинг?
3) Кажется, что из плюшек Aqueduct -- это ассинхронная подгрузка изображений по ссылке. А triton, на сколько я понимаю, этого не умеет и ожидает, что все данные будут переданы в запросе
---
Статья была бы более полной, если бы вы опубликовали сравнение или бенчмарки: Aqueduct / Aqueduct + Triton / Triton / ...
Для python тоже есть порт.
И вот интересный доклад по теме: www.youtube.com/watch?v=PEVVvZOt7bY