Звук и анализ аудиоданных - тема сложная, но и интересная.
При прохождении воздуха через голосовые связки возникают вибрации, которые в виде упругих волн распространяются в среде. Каждый звук представляет собой набор волн. Это основной тон - волны гендерной идентификации ( у каждого говорящего базовая частота основного тона индивидуальна и обусловлена особенностями строения гортани, в среднем для мужского голоса она составляет от 80 до 210 Гц, для женского — от 150 до 320 Гц. ). Это волны - обертоны ( призвуки, которые выше основного тона) и волны форманты (распознавание речи) связанные с уровнем частоты голосового тона, которые образуют тембр звука.
Аудиосигнал, как амплитуда ко времени и частоте. Преобразование Фурье разлагает функцию времени (сигнал) на составляющие частоты, которые отображают амплитуду каждой частоты в сигнале. В каждой частоте с помощью признаков (характеристик) анализируем плотность, мощность сигнала, высоту (зависит от частоты (число звуковых колебаний за 1 сек) низкочастотные, среднечастотные, высокочастотные) , длительность, громкость (сила звука, которая определяется амплитудой колебаний: чем она больше, тем звук получается громче), тембр (окраска звука), интенсивность , спектральный состав ( волны основного тона, обертоны, форманты) и другие физические свойства звука в определенный промежуток времени.
Все фичи (характеристики) важны при анализе аудиоданных, так как описывают физические свойства звука: высоту, громкость, тембр и т. д. И все характеристика есть у каждого аудиосигнала. Выбор значимых характеристик зависит от исследователя и той задачи, которую он решает и способа решения.
Для решения своей задачи я использую алгоритм Машинного обучения. У меня в наборе данных - 50000 тысяч аудио записей. И в ручную прослушать записи и найти закономерности просто нереально!
Знание и понимание как выглядит звук и какие признаки (фичи) можно извлечь очень важно для построения модели машинного обучения, чтобы компьютер сам просмотрел 50000 строк и 45 значений в каждой строке (фичи), изучил их, сравнил все фичи и нашел закономерности и далее смог использовать этот опыт для решения той же проблемы в новых ситуациях и на новых данных. Это и есть машинное обучение, которое охватывает статистическую часть искусственного интеллекта.
Процесс обработки звука включает в себя акустические характеристики и визуализацию данных. Это способ показать сложные данные в графическом и понятном виде. Это полезно при исследовании данных, при описании данных. Понимание данных (не только аудиоданных) необходимо при построении модели машинного обучения.
Да, у меня все работает без интернета. Я работаю в Visual Studio Code на Jupyter Server Local. (Visual Studio Code установлен у меня на компьютере и можно работать без интернета)
Да, конечно, если посмотреть на имя пассажира, там явно прослеживается "титул". Но "титул" и имя не влияет на выживаемость и не связан с .возрастом.
Посмотрим на подсчет значений в колонке 'Title'
# Extract a title for each Name
# 'Title'
train_df['Title'] = train_df.Name.str.extract(' ([A-Za-z]+)\.', expand=False)
train_df['Title'].value_counts()
подсчет значений в колонке 'Title'
Мы видим, что Mr - 517 пассажиров, Miss - 182, Mrs - 125, Master - 40 и другие "титулы " ( от 1 до 7)
frequent_titles = train_df['Title'].value_counts()[:4].index.tolist()
train_df['Title'] = train_df['Title'].apply(lambda x: x if x in frequent_titles else 'Other')
train_df['Title'].value_counts()
подсчет значений в колонке 'Title' (где другие титулы объединены в 1 группу)
"Титулы" не связанны с возрастом, но сильно связаны с полом пассажира.
"Титулы" показывают нам принадлежность к полу.
pd.crosstab(train_df['Title'], train_df['Sex'])
"Титулы" показывают нам принадлежность к полу.
Мы видим, что Master и Mr это - мужчины, а Miss и Mrs это - женщины. И мы не можем сказать, сколько им лет.
пропущенные значения возраста и "титул"
Из 36 Master - у 4 не указан возраст, из 398 Mr - у 119 не указан возраст и т д.
PS:
Для более полного детального анализа я создала новую колонку 'Age_NaN' (бинарный классификатор). Провела анализ в зависимости от наличия записи о возрасте , класса. пола и выживаемости ( статья обновлена).
"Четверо из пяти спасшихся людей являлись пассажирами первого и второго классов. Ближе всех к шлюпочной палубе были пассажиры первого класса, каюты которых располагались преимущественно на верхних палубах, поэтому среди них велика доля спасённых (62 %). Большая часть пассажиров третьего класса не смогла выбраться из лабиринта коридоров нижних палуб. Они были отделены от первого и второго классов воротами, находившимися в разных частях судна, многие из которых оказались закрыты"
"Известно, что женщинам из кают третьего класса в большинстве случаев не препятствовали выйти на шлюпочную палубу, наоборот, их всячески призывали к этому, но не всегда эти призывы находили положительный отклик. Многие из женщин, размещавшихся на корме, сначала вообще отказывались покидать свои каюты[157]. Часть пассажиров третьего класса добиралась до шлюпочной палубы в обход барьеров, ограждавших их от остальных: по стрелам грузоподъёмных кранов на корме, по такелажам, перелезая через леера, люди пробирались к трапам и палубам первого и второго классов, откуда беспрепятственно можно было попасть к шлюпкам"
Поиск и захоронение тел
"Экипаж «Маккей-Беннетт» за две недели поисков обнаружил и поднял 306 тел, на его борту быстро закончились бальзамирующие вещества. Согласно санитарным правилам в порт могли быть доставлены только бальзамированные тела, поэтому капитан «Маккей-Беннетта» принял решение захоронить многих пассажиров 3 класса и членов экипажа в море. Кроме того, некоторые тела были настолько повреждены, что опознание было невозможно. На континент были доставлены в основном пассажиры 1 класса, которых определяли по дорогой одежде и личным вещам. Тела остальных зашивали в холщовые мешки, прикрепляли грузило весом 23 килограмма и по одному сбрасывали в море. Всего в море с «Маккей-Беннетта» было захоронено 116 человек, 60 из них не были опознаны "
Пассажиров было много в 3 классе и много погибло (около76% пассажиров 3-го класса), то при опросе у выживших и при осмотре тел погибших могли случайно пропустить возраст пассажира (человеческий фактор).
Это значит, что пассажиры у которых возраст отсутствовал имели меньше шансов выжить. У них также был более дешевый билет и более низкий класс.
Следовательно делаем вывод, что возраст случайно не занесли.
Во второй части анализа аудиоданных я подробно разобрала извлечение значимых характеристик.
Извлечение из Мел-кепстральных коэффициентов - средние значения и стандартные отклонения (по 20 значений);
Извлечение из Спектрального центроида - среднее значение, стандартное отклонение и skew (наклон);
Извлечение из Спектрального спада - среднее значение и стандартное отклонение;
столбец ‘filename’, где указан номер и название файла (Аудиофайлы перемешаны)
столбцы ‘mfcc_mean{i}’ и ‘mfcc_std{i}’ - средние значения и стандартные отклонения (по 20 значений) из Мел-кепстральных коэффициентов;
столбцы 'cent_mean', 'cent_std', 'cent_skew' - среднее значение, стандартное отклонение и skew (наклон) из Спектрального центроида;
столбцы 'rolloff_mean', 'rolloff_std' - среднее значение и стандартное отклонение из Спектрального спада ;
столбец ‘label’ метка
Видео посмотрела. Спасибо!
Спасибо большое!
Спасибо!
Звук и анализ аудиоданных - тема сложная, но и интересная.
При прохождении воздуха через голосовые связки возникают вибрации, которые в виде упругих волн распространяются в среде. Каждый звук представляет собой набор волн. Это основной тон - волны гендерной идентификации ( у каждого говорящего базовая частота основного тона индивидуальна и обусловлена особенностями строения гортани, в среднем для мужского голоса она составляет от 80 до 210 Гц, для женского — от 150 до 320 Гц. ). Это волны - обертоны ( призвуки, которые выше основного тона) и волны форманты (распознавание речи) связанные с уровнем частоты голосового тона, которые образуют тембр звука.
Аудиосигнал, как амплитуда ко времени и частоте. Преобразование Фурье разлагает функцию времени (сигнал) на составляющие частоты, которые отображают амплитуду каждой частоты в сигнале. В каждой частоте с помощью признаков (характеристик) анализируем плотность, мощность сигнала, высоту (зависит от частоты (число звуковых колебаний за 1 сек) низкочастотные, среднечастотные, высокочастотные) , длительность, громкость (сила звука, которая определяется амплитудой колебаний: чем она больше, тем звук получается громче), тембр (окраска звука), интенсивность , спектральный состав ( волны основного тона, обертоны, форманты) и другие физические свойства звука в определенный промежуток времени.
Все фичи (характеристики) важны при анализе аудиоданных, так как описывают физические свойства звука: высоту, громкость, тембр и т. д. И все характеристика есть у каждого аудиосигнала. Выбор значимых характеристик зависит от исследователя и той задачи, которую он решает и способа решения.
Для решения своей задачи я использую алгоритм Машинного обучения. У меня в наборе данных - 50000 тысяч аудио записей. И в ручную прослушать записи и найти закономерности просто нереально!
Знание и понимание как выглядит звук и какие признаки (фичи) можно извлечь очень важно для построения модели машинного обучения, чтобы компьютер сам просмотрел 50000 строк и 45 значений в каждой строке (фичи), изучил их, сравнил все фичи и нашел закономерности и далее смог использовать этот опыт для решения той же проблемы в новых ситуациях и на новых данных. Это и есть машинное обучение, которое охватывает статистическую часть искусственного интеллекта.
Процесс обработки звука включает в себя акустические характеристики и визуализацию данных. Это способ показать сложные данные в графическом и понятном виде. Это полезно при исследовании данных, при описании данных. Понимание данных (не только аудиоданных) необходимо при построении модели машинного обучения.
Спасибо за замечания!
Я выделила части, посвященные отдельным признакам =) действительно было стена текста. Спасибо!
По поводу описания признаков и использования SVM я доработаю и изложу в следующих частях анализа аудиоданных.
Я закончила обучение по анализу данных (все сертификаты в наличии):
Профессиональную специализацию на Coursera IBM Data Science Professional certification - 10/10 курсов
Курс "University of Helsinki - Elements of AI"
Курс на Coursera STANFORD UNIVERSITY - Machine Learning
Да, у меня все работает без интернета. Я работаю в Visual Studio Code на Jupyter Server Local. (Visual Studio Code установлен у меня на компьютере и можно работать без интернета)
Спасибо за дополнение и за пример визуализации с folium!
Да, действительно, "Титул поможет более точнее заполнить пропущенные значения в колонке "Age".
Можно заменить пропущенные значения в колонке "Age" в соответствии с титулом:
Спасибо за идею!
Да, конечно, если посмотреть на имя пассажира, там явно прослеживается "титул". Но "титул" и имя не влияет на выживаемость и не связан с .возрастом.
Посмотрим на подсчет значений в колонке 'Title'
Мы видим, что Mr - 517 пассажиров, Miss - 182, Mrs - 125, Master - 40 и другие "титулы " ( от 1 до 7)
"Титулы" не связанны с возрастом, но сильно связаны с полом пассажира.
"Титулы" показывают нам принадлежность к полу.
Мы видим, что Master и Mr это - мужчины, а Miss и Mrs это - женщины. И мы не можем сказать, сколько им лет.
Из 36 Master - у 4 не указан возраст, из 398 Mr - у 119 не указан возраст и т д.
PS:
Для более полного детального анализа я создала новую колонку 'Age_NaN' (бинарный классификатор). Провела анализ в зависимости от наличия записи о возрасте , класса. пола и выживаемости ( статья обновлена).
Среди пассажиров, у которых значение возраста отсутствовало, были выжившие (около 30%) и погибшие (около 70%) - колонка 'Survived’, True = 0.29 .
Эти пассажиры были в более низком классе:
колонка 'Pclass’ - True = 2.59 (это среднее значение класса)
колонка ‘Fare’ - True = 22.15 (это среднее значение стоимости билета)
Подсчет значений в колонке 'Pclass':
Например, в 3 классе было 491 пассажира (это 55%)
Пассажиров было много в 3 классе и много погибло (около76% пассажиров 3-го класса), то при опросе у выживших и при осмотре тел погибших могли случайно пропустить возраст пассажира (человеческий фактор).
Это значит, что пассажиры у которых возраст отсутствовал имели меньше шансов выжить. У них также был более дешевый билет и более низкий класс.
Следовательно делаем вывод, что возраст случайно не занесли.
Спасибо! Поправила.