Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 37
Если машина научилась слушать наши "ээ" и сама их выкидывать, значит скоро и оправдание "я не то имел в виду" перестанет работать
пытается понять не только слова, но и то, что человек хотел сказать
Так и вижу:
Прораб: Вы чо, вообще там офуели, чудорасы? Нафуя эту фуйню зафуячили?! А ну расфуячиваейте нафуй!
Google-переводчик: Мужики, вы там вообще соображение потеряли? Зачем вы крепите подвесной потолок на шурупы? Разбирайте немедленно — надо ж на дюбели!
Правда нельзя на саморезах?
Широкую на широкую!
Мастер предлагает токарю обработать деталь, ссылаясь на то, что он состоял в интимных отношениях с матерью токаря.
Токарь отказывается обработать деталь, ссылаясь на то, что он состоял в интимных отношениях с матерью мастера, матерью начальника цеха и с самой деталью.
Кстати, есть вариант обратного переводчика
(если не грузится — кто помнит: Obama anger translator)
Неточность: когда говорят о третьих лицах, то обычно упоминают интимные отношения не с их матерью, а с ними непосредственно. То есть токарь имел отношения не с матерью начальника цеха, а непосредственно с начальником.
Да там автоматический фильтр мата от гугла просто сгорит на отечественной стройке) Плотность нецензурщины там превышает возможности любого тензорного ядра
Надо ему скормить эпик "Просрали все полимеры" -- с промтом - "переведи в вежливый уважительный тон, учитывая принципы ненасильственного общения, толерантности, safe-space best practices" - вот это все)
Это не транскрипция, а транскрибация.
Пока выглядит так будто Гугл опять догоняет конкурентов. Модели Whisper всё перечисленное делают давно, доступны бесплатно и запускаются локально на любом компьютере.
Локально поднимать тяжелые модели удел энтузиастов с 4090 на борту. Бизнесу дешевле отсыпать копейки за апи гугла
Ну скажем так не совсем копейки. Около 0.54 бачей/час стриминговое апи. Тот же elevenlabs и то $0.39/час.
У меня нет 4090, у меня 3060, поставил себе эти модели и не нарадуюсь.
В отличие от текстовой информации, автоматически контролировать случайную утечку чувствительных данных в устной речи гораздо сложнее. Так что вполне возможно, что предпочтут не сливать сырую речь наружу.
может быть у нас какие-то разные висперы? тот виспер, который я знаю, не обновлялся с августа 2024 года. Вокруг модельки сделали шустрые врапперы на плюсах, расте и чём хочешь, но от OpenAI подачек в сторону опенсурса я очень давно не видел.
Я однажды своими глазами видел по телику в прямом эфире в Америке в каком-то магазе автоматическую транскрипцию новостей (телик был с выключенным звуком) - Sir gay Lavrov
осталось дождаться когда кто-то натравит эту штуку на политиков, юристов и прочих разговаривающих на своём земноводном
хотя сомневаюсь, что оно справится с переводом на человнческий
[Заказчик] -- Когда будет готово?
[Исполнитель] -- К концу недели...
[Gemini 3.5 Transcribe ] -- В конце той недели, когда будет готово.
Попробовал на русскоязычном отрывке из стрима, включив smart режим. "Э-э" никуда не делись.
Запустите эту нейронку в гудящем опенспейсе с парой индусов на созвоне, посмотрим на ваши пять процентов ошибок :)
КДПВ : обожжи, мясное существо, я зпсываю.
Интересная модель. Пишут: оплата идет по токенам, а не по минутам. Если брать обычный подкаст, по стоимости должно выходить где-то $0.30/hr, что примерно в 3 раза дешевле Chirp 3 (~$0,96/hr), но по-прежнему дороже других сильных конкурентов, вроде модели Universal-3.5 Pro от assemblyai - $0.21/hr или Scribe v2 от ElevenLabs $0,22/hr
Может я чего-то не понимаю..
С выходом Gemini 1.5 pro буквально первое что я сделал, это бота которому я отправляю голосовое сообщение, а он возвращает текст расшифровки. Даже промпт сохранился:
Расшифруй голосовое сообщение и перепиши полученный текст используя литературный русский язык, Потом перечитай что получилось и нормально сделай, без всяких э, мээ. Результат который ты пришлешь: получившийся текст
Сейчас правда уже другой промпт, этот работать перестал.
Есть же мультимодальные LLM, они понимают голосовое сообщение и могут его распознать, отредактировать как указано в системной инструкции и всё, транскрибация сделана.
И вот уже прошло больше двух лет, но почему-то все используют whisper, vosk и т.д.
Проблема транскрибации состоит в том как соблюсти баланс между точностью воспроизведения услышанного и точностью понятого.
Самое интересное начинается когда речь звучит неразборчиво, человек говорит неграмотно, картавит, проглатывает звуки, употребляет сленг и т.п.
В зависимости от задачи вы либо хотите получить текст, близкий к услышанным звукам, либо интерпретированный по смыслу. Так или иначе это будет текст с ошибками, только они разного рода.
Только в их Android клавиатуре до сих пор распознавание речи убогое.
И еще. А может в моих ээ и мм человеческие вотермарки?!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Google выпустила модель распознавания речи, которая пытается понять не только слова, но и то, что человек хотел сказать