В современном мире технологии неуклонно проникают во все сферы нашей жизни, и образование — не исключение. Одним из ярких примеров могут стать большие языковые модели. Так, заметим, что за последние несколько лет сформировался отдельный термин LLM4EDU. По данным Gan W. и соавторов [1] LLM4EDU уже сегодня могут активно использоваться в разных сферах образовательной деятельности:
Однако нейросети могут решать и другие проблемы в образовательной сфере. Так, наша команда столкнулась с необходимостью анализа качества онлайн-обучения.
Изучив возможности решения данной проблемы мы выявили, что на сегодняшний день общепринятыми методами оценки качества обучения в онлайн-среде являются:
прямое сравнение ответов учеников с желаемыми решениями (тесты, контрольные задания и т.д.);
оценка метрик качества обучения (процент возвратов, Completion Rate, Transformation Rate / Success Rate, статистика посещаемости).
Данные методы уже показали свою эффективность на практике, тем не менее, они не позволяют систематически информировать учителей, родителей и разработчиков онлайн-курсов об успехах и неудачах учащихся. Более того, учитывая большое количество проводимых уроков некоторые из данных подходов становятся невозможными.
Поэтому в последние годы активно внедряются автоматические системы анализа качества обучения, основанные на методах машинного обучения. По данному пути пошли и мы.
Функционально разработанная у нас система включает в себя модуль анализа аудио и модуль анализа видео, которые позволяют оценить вовлеченность участников видеоконференцсвязи, их эмоциональный фон и ряд других параметров.
Несмотря на кажущуюся сложность задачи в современных реалиях собрать подобную систему не представляет большой сложности. Ниже соберем подобный проект в качестве доказательства ?
Анализ аудио
В аудио мы будем оценивать эмоциональный фон. Отметим, что аудио представляют собой особую сложность для анализа, так как в аудиозаписях часто имеются посторонние звуки, существуют языковые и индивидуальные особенности проявления эмоций.
Для выявления эмоций возьмем модель HuBERT fine-tuned on DUSHA dataset for speech emotion recognition in russian language. Данная языковая модель обучена на датасете Dusha, который на сегодня является самым большим открытым датасетом для распознавания эмоций в устной речи на русском языке.
Плюсом данной модели являются довольно высокие метрики качества:
accuracy = 0.86
balanced = 0.76
macro f1 score = 0.81 on test set
Заметим, что люди могут распознавать эмоции с точностью от 10 до 95% (в среднем около 65-70%).
Воспользуемся кодом из Hugging Face преобразовав его в функцию:
from transformers import HubertForSequenceClassification, Wav2Vec2FeatureExtractor
import torchaudio
import torch
feature_extractor = Wav2Vec2FeatureExtractor.from_pretrained("facebook/hubert-large-ls960-ft")
model_em = HubertForSequenceClassification.from_pretrained("xbgoose/hubert-speech-emotion-recognition-russian-dusha-finetuned")
num2emo = {0: 'нейтральная',
1: 'злость',
2: 'позитивная',
3: 'грусть',
4: 'другая'}
def recognize_emotion(chunk):
"""Данная функция распознает эмоции из чанков"""
waveform, sample_rate = torchaudio.load(chunk, normalize=True)
transform = torchaudio.transforms.Resample(sample_rate, 16000)
waveform = transform(waveform)
inputs = feature_extractor(
waveform,
sampling_rate=feature_extractor.sampling_rate,
return_tensors="pt",
padding=True,
max_length=16000 * 10,
truncation=True
)
logits = model_em(inputs['input_values'][0]).logits
predictions = torch.argmax(logits, dim=-1)
predicted_emotion = num2emotion[predictions.numpy()[0]]
return predicted_emotion
Прежде чем анализировать эмоции необходимо убрать из файла тишину и разбить его на чанки по паузам в речи. Для этого воспользуемся библиотекой pydub.
# !pip3 install pydub
from pydub import AudioSegment
from pydub.silence import split_on_silence
def split_audio_into_chunks(filepath):
"""Данная функция разбивает аудио на чанки
для дальнейшего выявления эмоций"""
# открываем аудиофайл с pydub
sound = AudioSegment.from_file(filepath)
# разбиваем аудио по тишине (700ms и больше)
chunks = split_on_silence(sound, min_silence_len=700, silence_thresh=sound.dBFS-14, keep_silence=700)
# создадим список для добавления эмоций
whole_emotions = []
for i, audio_chunk in enumerate(chunks, start=1):
# чтобы не сохранять чанки в виде аудиофайлов
# преобразуем их в байты, которые подходят для анализа эмоций
buffer = io.BytesIO()
audio_chunk.export(buffer, format="wav")
buffer.seek(0)
# применим написанную нами функцию
whole_emotions.append(recognize_emotion(buffer))
return whole_emotions
В результате мы получаем список всех эмоций из аудиофайла в хронологическом порядке. Итак, с анализом аудио разобрались. Далее рассмотрим, какую полезную информацию мы можем извлечь из видео.
Анализ видео
При анализе видео мы можем определить расположение лица в кадре, направление взгляда, направление лица. Решение подобной задачи можно осуществить при помощи специальных библиотек, например, Pygaze. Всего несколько строк кода и мы можем провести детекцию лица/лиц, определить расстояние до камеры, углы взгляда, лица, факт взгляда в камеру:
#!pip3 install pygaze
from pygaze import PyGaze, PyGazeRenderer
import cv2
image = cv2.imread("jonas.jpg")
pg = PyGaze()
print(pg.predict(image))
Также по видео мы можем распознать эмоции. Среди наиболее популярных библиотек для решения этой задачи можно выделить FER и DeepFace.
В отличие от FER DeepFace предоставляет комплексный анализ изображения:
# !pip3 install deepFace
import cv2
import matplotlib.pyplot as plt
from deepface import DeepFace
img = '/content/joseph-gonzalez-iFgRcqHznqg-unsplash.jpg'
imageFace = cv2.imread(img)
plt.imshow(imageFace[:,:,::-1])
analyze = DeepFace.analyze(img)
print(analyze)
Фото взято с https://unsplash.com/
Остается лишь разделить видеозапись на фреймы и анализировать каждый по отдельности. С этим нам поможет библиотека imageio:
#!pip3 install imageio[pyav]
import imageio.v3 as iio
for i, frame in enumerate(iio.imiter(video_file_path, plugin="pyav")):
face = DeepFace.analyze(img)
print(face)
gaze = pg.predict(image)
print(gaze)
В дальнейшем эти данные необходимо собрать для анализа, что позволит:
определить тенденции в эмоциональном фоне ученика и учителя;
проанализировать вовлеченность учителя и ученика в процесс обучения.
Также выходные данные можно использовать для прогнозирования приверженность ученика обучению, модерации работы учителя, но об этом в следующих статьях :-)
В будущем, благодаря подобным технологиям, образование станет еще более качественным, безопасным и интегрированным с реальными потребностями и интересами учеников, обеспечивая не только академические знания, но и развитие ключевых навыков XXI века.
