Огромное спасибо за статью! Очень интересно и полезно!
Я не очень понял одно: Вот есть у нас спекулятивный декодинг. Драфт-модель дала нам предсказания на несколько токенов вперёд. Но ведь потом мы запускаем основную модель, которая проверяет эти предсказания? Как это ускоряет инференс?
Для меня сутью этого "проекта" было поковыряться в данных и пощупать инструменты для анализа текстовых данных. При этом, никакой реальной бизнес-задачи тут не стояло. В статье я хотел поделиться первым опытом использования некоторых инструментов, таких как LDA или русскоязычные трансформеры, надеясь, что это окажется для кого-то полезным))
Если у вас есть мысли касательно того, как можно вытянуть из этих текстов более практически-полезную информацию, то я правда буду очень рад выслушать вас и дополнить статью!)
Алексей, огромное спасибо за ваши материалы! Всё супер-актуально и по делу) Спасаете десятки и сотни программистов, которые пробираются через дебри AIOgram.
У меня тут проблемка возникла: Не получается написать handler для голосовых сообщений. Я уже миллион различных способов перепробовал и ни `@audio_router.message(F.voice_note)`, ни `@audio_router.message(F.voice)`, ни `@audio_router.message(F.audio)` не хотят вообще никак реагировать на появление в чате голосовых сообщений. Подскажите пожалуйста, как всё-таки сделать такой handler?)
Огромное спасибо за статью! Очень интересно и полезно!
Я не очень понял одно: Вот есть у нас спекулятивный декодинг. Драфт-модель дала нам предсказания на несколько токенов вперёд. Но ведь потом мы запускаем основную модель, которая проверяет эти предсказания? Как это ускоряет инференс?
Вы абсолютно правы)
Для меня сутью этого "проекта" было поковыряться в данных и пощупать инструменты для анализа текстовых данных. При этом, никакой реальной бизнес-задачи тут не стояло. В статье я хотел поделиться первым опытом использования некоторых инструментов, таких как LDA или русскоязычные трансформеры, надеясь, что это окажется для кого-то полезным))
Если у вас есть мысли касательно того, как можно вытянуть из этих текстов более практически-полезную информацию, то я правда буду очень рад выслушать вас и дополнить статью!)
Алексей, огромное спасибо за ваши материалы! Всё супер-актуально и по делу) Спасаете десятки и сотни программистов, которые пробираются через дебри AIOgram.
У меня тут проблемка возникла: Не получается написать handler для голосовых сообщений. Я уже миллион различных способов перепробовал и ни `@audio_router.message(F.voice_note)`, ни `@audio_router.message(F.voice)`, ни `@audio_router.message(F.audio)` не хотят вообще никак реагировать на появление в чате голосовых сообщений. Подскажите пожалуйста, как всё-таки сделать такой handler?)