Как встроить распознавание звуков в ваше iOS приложение на Swift с использованием SoundAnalysis

Введение

В мире, где ваш телефон умеет угадывать настроение по плейлисту, почему бы не научить его распознавать звуки вокруг? С помощью фреймворка SoundAnalysis это проще, чем кажется. Мы расскажем, как легко и с минимальными потерями для душевного здоровья интегрировать распознавание звуков в ваше iOS-приложение.

Основные компоненты SoundAnalysis

• SNAudioFileAnalyzer: Ваш личный детектив по звукам, который досконально исследует аудиофайл.

• SNClassifySoundRequest: Помощник по распознаванию звуков. Дайте ему модель машинного обучения, и он сделает остальное.

• SNResultsObserving: Протокол, который сделает так, чтобы ваш код знал о каждом успешном или провальном моменте анализа.

Шаги по реализации классификации звуков

Подготовка модели машинного обучения

Здесь у вас есть два варианта. Вы можете использовать одну из стандартных моделей, предоставляемых Apple, которая уже умеет распознавать типичные звуки (например, аплодисменты, лай собаки и т.д.). Однако, если вы хотите, чтобы ваше приложение распознавало специфические звуки, например, голос вашего кота, вам нужно создать свою модель машинного обучения. Это может быть сделано с помощью инструментов вроде Create ML, которые позволяют обучить модель на нужном наборе данных.

Настройка анализатора

Создайте экземпляр SNAudioFileAnalyzer и укажите путь к аудиофайлу:

let audioFileURL = URL(fileURLWithPath: "path_to_audio_file")
let analyzer = try SNAudioFileAnalyzer(url: audioFileURL)

Создание и настройка запроса классификации звуков

В нашем случае мы будем использовать стандартный запрос, предоставляемый Apple, который позволяет классифицировать звуки с использованием уже готовой модели:

let soundRequest = try SNClassifySoundRequest(classifierIdentifier: .version1)

Реализация наблюдателя для обработки результатов

Реализуйте протокол SNResultsObserving, чтобы обрабатывать результаты анализа:

class SoundResultsObserver: NSObject, SNResultsObserving {
    func analyzeRequest(_ analysisRequest: SNRequest, didProduce analysisResult: SNResult) {
        guard let classificationResult = analysisResult as? SNClassificationResult else { return }

        guard let topClassification = classificationResult.classifications.first else { return }

        let analysisStartTime = classificationResult.timeRange.start.seconds
        let readableTime = String(format: "%.2f", analysisStartTime)
        print("Результат анализа для аудио на времени: \(readableTime) сек.")

        let confidencePercentage = topClassification.confidence * 100.0
        let confidenceString = String(format: "%.2f%%", confidencePercentage)

        print("\(topClassification.identifier): уверенность \(confidenceString).\n")
    }
}

Запуск анализа

Запустите процесс анализа, связав запрос с наблюдателем:

let observer = SoundResultsObserver()
try analyzer.add(soundRequest, withObserver: observer)
analyzer.analyze()

Расширенные возможности

• Анализ в реальном времени: SoundAnalysis также поддерживает потоковый анализ звуков, делая ваш телефон настоящим аудиошпионом.

• Параллельный анализ: Запускайте несколько запросов одновременно, чтобы покрыть все возможные сценарии.

• Обработка ошибок и исключений: Обрабатывайте ошибки, чтобы приложение было стабильным и не падало при первой же неполадке.

Заключение

Создать приложение, которое распознает звуки, оказывается, не так сложно, как кажется. С помощью SoundAnalysis вы можете добавить в свое приложение способность понимать мир вокруг, а это — шаг к созданию чего-то действительно умного и полезного. И кто знает, может, скоро ваш телефон начнет подсказывать вам, что за странный звук доносится из соседней комнаты.