Локальный ассистент для зумов, часть 6: полчаса тишины, которых не было в протоколе

[Charoiteai]

Раздельные файлы тоже дыра, видна по одной стороне. Системный звук пока через ScreenCaptureKit tap посмотрю. Предупреждение сделал событием с парой пропал/вернулся, граница по последнему кадру канала. В промпт протокола оно идёт отдельным блоком: это не речь, тишину не толковать как согласие. А tap переживает смену устройства посреди звонка?

[Bedelev]

Очень узнаваемо) у меня та же боль, только с микрофоном.

Два решения, к которым пришёл, может пригодятся:
— системный звук беру не через ScreenCaptureKit, а через Core Audio process tap (есть с macOS 14.4). Это чисто звуковой API, без захвата экрана — экран мне был вообще не нуже
— микрофон и системный звук пишу в разные файлы и склеиваю после. Тогда смерть одного канала не трогает второй, и дыра видна по одной стороне разговора, а не общей тишиной

А ваша главная мысль — что тишина мёртвого канала для модели неотличима от тишины людей — у меня тоже пока не решена до конца. Сейчас предупреждаю, если микрофон молчит во время записи. И наступил на то же, что у вас: предупреждение надо уметь снимать, когда звук вернулся, иначе оно висит и пугает посреди нормальной встречи. Следующий шаг — показывать прямо во время записи, какие дорожки живы.

Но есть пару идей как это пофисить, пока делаю ещё