Оцифровка звука FPGA платой MCY316

Вот уже почти закончился сентябрь. Студенты уже давно вернулись за парты и учатся.
Многие начали изучать цифровую обработку сигналов. А как известно, лучше предмет пощупать один раз своими руками, чем десять раз прочитать о нём в учебнике.

В этой статье я расскажу о захвате звукового сигнала платой FPGA MCY316. Захват сигнала это только первый этап перед обработкой. Получим сигнал и передадим эти данные в ПК. Если всё получится, то в следующих работах добавим в ПЛИС цифровой фильтр

Прежде всего, давайте немного о самой плате. Плата MCY316 предназначена для начального ознакомления с технологией ПЛИС студентами и инженерами. Эта плата MCY316 является почти полным близнецом платы MCY112, о которой я уже рассказывал на страницах хабра. Принципиальное отличие этой платы — здесь стоит более новая микросхема ПЛИС Altera Cyclone III с почти 16ю тысячами логических элементов. Да, я согласен, что чип конечно не самый современный, но он очень даже не плох.

Все FPGA проекты от первой платы MCY112 портированы и на эту плату MCY316, практически один в один. То есть здесь и светодиодами поморгать можно, и запустить процессор RISC-V и видео фреймбуффер можно сделать. Все эти проекты уже есть, их можно брать изучать. Теперь мы добрались до обработки звука.

Рассмотрим плату подробнее:

• Кварцевый генератор 100Мгц;
• Две пользовательские кнопки;
• Восемь пользовательских светодиодов и 7-ми сегментный индикатор;
• SDRAM IS42S32200B, 8 (или 16) Мбайт, 32 разряда шина данных (на обратной стороне платы);
• Двухканальная аудио АЦП PCM1801U,16 бит, 48 Кгц;
• Двухканальный аудио выход для Дельта Сигма ЦАП (8бит);
• Три разъема для установки плат расширения, квазисовместимые с Raspberry Pi;
• SPI Flash W25Q16, 2 Мбайта для автозагрузки ПЛИС:
• SPI Flash W25Q16, 2 Мбайта для пользовательских данных;
• Разъем для установки внешнего USB JTAG программатора, например MBFTDI или UsbBlaster

На плате, как вы видите стоит разъем Аудио Jack и микросхема АЦП PCM1801. Мне предстоит работать с ней из FPGA.

Микросхема PCM1801 имеет последовательный интерфейс и может работать в двух режимах FMT: Left-Justified и I2S, но режимы вообще-то мало чем отличаюся. В обоих случаях на микросхему нужно подать частоту SCKI выше частоты оцифровки скажем в 512 раз выше, чем частота оцифровки. Кроме того, на микросхему нужно подать еще сигналы LRCK, который определяет канал передачи и собственно частоту последовательного сдвига BCK. Сигнал DOUT из PCM1801 передает последовательный код старшими битами вперед, по 16 бит на каждый канал.

Вот так временные диаграммы описаны в Datasheet:



Плата MCY316 использует режим работы Left-Justified.

На микросхему PCM1801 я подаю частоту 24МГц, частота BCK у меня будет в 16 раз ниже, чем SCKI, а LRCK будет еще ниже в 32 раза (16 бит * 2 канала). Таким образом, частота оцифровки получится 24000000 / 512 = 46875 Герц.

Код модуля работы с PCM1801 на языке Verilog HDL у меня выглядит вот так:

module pcm1801(
	input wire scki,
	input wire dout,
	output wire lrck,
	output wire bck,
	output reg[15:0]Left,
	output reg[15:0]Right
);

reg [8:0]cnt;
always @(posedge scki)
	cnt <= cnt+1;

assign lrck = cnt[8];
assign bck = cnt[3];

reg [15:0]LeftSR;
reg [15:0]RightSR;

always @(posedge bck)
begin
	if(lrck==1'b1)
	begin
		LeftSR <= { LeftSR[14:0], dout };
		if( cnt[7:4]==4'hF )
			Left<= { LeftSR[14:0], dout };
	end
	if(lrck==1'b0)
	begin
		RightSR <= { RightSR[14:0], dout };
		if( cnt[7:4]==4'hF )
			Right<= { RightSR[14:0], dout };
	end
end
endmodule

В микросхемах FPGA код нельзя отлаживать традиционными программистскими дебагерами, ведь код не исполняется последовательно по шагам. Наоборот, запись во многие регистры проекта происходит одновременно и параллельно. Тем не менее, интересующие нас сигналы можно посмотреть используя специальные инструменты, например у Altera/Intel это инструмент SignalTap. В проект можно добавить специальную логику, которая будет записывать состояния интересующих нас сигналов и потом эти данные можно выкачать на компьютер разработчика через интерфейс программатора JTAG.

Вот так можно посмотреть например уже полученный оцифрованный сигнал синусоиды на двух каналах левом и правом:



А вот это сигналы LRCK, BCK, DOUT:



Можно рассмотреть их поподробнее и убедиться, что они соответствуют описанию в Datasheet.

Обратите внимание на еще один сигнал serial_tx.

Я добавил логику по передаче полученных выборок звука в ПК через последовательный порт. Данные у нас 16ти битные знаковые. То есть теоретически может хватить 4х байт для отправки этих выборок в последовательный порт. Однако, так дело не пойдет, ведь на компьютере придется как-то отличать левый канал от правого, да и старший байт от младшего внутри канала. Поэтому я добавляю в мой протокол передачи еще один пятый байт, заголовок. Старший бит только этого байта будет всегда в единице. У остальных байт я заберу старший бит и перемещу его в заголовок. Тогда программа на ПК принимая поток байтов из последовательного порта сможет легко разобраться, где заголовок, а где данные каналов. Последовательность передаваемых данных получается вот такая:



Скорость передачи 6 Мегабит в секунду.

В программе для FPGA на языке Verilog HDL я описал вот такой сдвиговый регистр для последовательной передачи:

reg [49:0]serial;
always @(posedge clk6)
	if(lrck_edge)
		serial <= {
			//stop, flag, body,           start
			1'b1,   1'b0, Rchannel_r[14:8], 1'b0,
			1'b1,   1'b0, Rchannel_r[6 :0], 1'b0,
			1'b1,   1'b0, Lchannel_r[14:8], 1'b0,
			1'b1,   1'b0, Lchannel_r[6 :0], 1'b0,
			1'b1,   1'b1, 3'b000, Rchannel_r[15],Rchannel_r[7],Lchannel_r[15],Lchannel_r[7],1'b0,
			}; //load
	else
		serial <= {1'b1,serial[49:1]}; //shift out LSB first

assign serial_tx = serial[0];

Для компьютера я написал программу на питоне, которая будет принимать байты и динамически отрисовывать сигнал в окне Plot:

import serial
import time
import sys
import numpy as np
from matplotlib import pyplot as plt
from struct import *

if len(sys.argv)<2 :
	print("Not enough arguments, need serial port name param")
port_name = sys.argv[1]
print(port_name)

port = serial.Serial()
port.baudrate=6000000
port.port=port_name
port.bytesize=8
port.parity='N'
port.stopbits=1
port.open()

#serial data to ADC data
def conv( sd ):
	i=0
	while sd[i]&0x80 == 0 :
		i=i+1
	lc=[]
	rc=[]
	while i<(len(sd)-5) :
		b0 = sd[i+1] | ((sd[i+0]&1)<<7)
		b1 = sd[i+2] | ((sd[i+0]&2)<<6)
		a=bytearray([b1,b0])
		left,*rest = unpack('>h',a)
		b0 = sd[i+3] | ((sd[i+0]&4)<<5)
		b1 = sd[i+4] | ((sd[i+0]&8)<<4)
		a=bytearray([b1,b0])
		right,*rest = unpack('>h',a)
		lc.append(left)
		rc.append(right)
		i=i+5
	return [lc,rc]

def f(adc_data):
	sync_idx = 0
	for i in range(1024) :
		if adc_data[i]<0 and adc_data[i+10]>=0 :
			sync_idx = i
			break
	y=[]
	for i in range(1024) :
		y.append(adc_data[sync_idx+i])
	return y

x = np.arange(0, 1024)

plt.rcParams["figure.figsize"] = [7.50, 3.50]
plt.rcParams["figure.autolayout"] = True
plt.ion()
fig,ax = plt.subplots(2,1)
ax[0].set_xlabel('Idx')
ax[0].set_ylabel('Left Channel')
ax[0].set_ylim([-33000, +33000])
line0, = ax[0].plot(x, f(x), color='red') # Returns a tuple of line objects, thus the comma
ax[1].set_xlabel('Idx')
ax[1].set_ylabel('Right Channel')
ax[1].set_ylim([-33000, +33000])
line1, = ax[1].plot(x, f(x), color='red') # Returns a tuple of line objects, thus the comma
while 1 :
	port.flushInput()
	serial_data = port.read( 1024*10 )
	data = conv(serial_data)
	CL=data[0]
	CR=data[1]
	line0.set_ydata(f(CL))
	line1.set_ydata(f(CR))
	fig.canvas.draw()
	fig.canvas.flush_events()
	#time.sleep(1)

port.close()

При запуске этой программы она открывает последовательный порт и читает из него байты, затем разбирает их и выделяет данные для левого и правого канала звука и рисует их в отдельных субплотах. Основная сложность для меня была именно в разборе потока. Нужно по старшему биту в байте обнаружить заголовок, потом перетасовать биты каналов и главное преобразовать два байта в знаковое целое число. Для этого я использую функцию unpack() модуля struct.

Вот так отображается сигнал в моей питоновской программе:



Теперь еще один вопрос. Для экспериментов с оцифровкой звука нам нужен собственно источник звуковых сигналов. Хорошо, что он есть у каждого из нас в кармане — смартфон.

Существует несколько программ-генераторов звуковых сигналов для Android, которые можно использовать. Например, программа «Генератор частоты»:



Это довольно удобная программа, которая позволяет генерировать синусоидальный, пилообразный, меандр сигнал или сумму нескольких сигналов. Можно менять баланс левого и правого канала, общую громкость или громкость отдельных сигналов в сумме. Можно на лету менять частоты генерируемого сигнала. Выглядит довольно симпатично.

Еще можно порекомендовать программу «Function generator»:



Таким образом, экспериментировать с оцифровкой сигнала для FPGA становится очень удобно. Подключаем проводом смартфон Андроид к плате MCY316 и работаем. Примерно вот так, как показывает это демонстрационное видео:

Здесь показывается и работа с внутрисхемным отладчиком Altera SignalTap и демонстрируется питоновская программа, которая отображает полученный из АЦП сигнал.

Более подробную информацию о FPGA плате можно посмотреть на сайте https://marsohod.org/438-mcy316

Взять исходники этого проекта можно на github: github.com/marsohod4you/MCY316

Я надеюсь в следующих статьях рассказать о цифровом фильтре, реализованном в ПЛИС. Возьму этот проект за основу и добавлю в него полосовой КИХ фильтр.

Таким образом я хочу показать, что эти платы довольно удобны для изучения основ цифровой обработки сигналов. Еще можно добавить, что этот проект будет работать и на плате MCY112, ведь она практически такая же, только стоит первый Циклон, а не третий, как здесь.