Постановка задачи
При разработке очередного устройства на микроконтроллере, столкнулся с ситуацией, где требовалась непрерывная регистрации большого количества данных. Устройство должно было сохранять набор данных, состоящий из метки времени и результатов измерений шести АЦП от 100 раз в секунду на SD карту (назовем этот набор данных — пакетом), а затем эти данные анализировать на компьютере в виде графиков. Также было необходимо параллельно с записью данных на SD карту, передавать их по UART. Эти данные должны были занимать как можно меньше места, так как данных ну уж очень много. При этом нужно было как-то разделять эти пакеты, потому что данные шли непрерывным потоком. Порывшись в интернете ничего хорошего, не нашел, поэтому было принято решении о создании собственного протокола и библиотек под него.
И тут появился он – Packet streaming protocol (PSP1N)
В результате некоторых раздумий было решено следующие: в протоколе данные будут передаваться пакетами состоящими из N байт, где первый бит каждого байта отводится на признак стартового бита для синхронизации пакетов (отсюда и название протокола), остальные семь бит отводятся под данные. Последовательность и размеры данных известны заранее.
Пример:
Под метку времени выделим 32 бита, под измерения АЦП 60 бит (6 каналов по 10 бит), итого требуется 92 бита. Так как у нас в байте можно передать 7 бит полезных данных, то пакет будет состоять из 14 байт (92 бита / 7бит = 13,14… округляем в большую сторону получается 14). В 14 байтах 112 бит информации, из которых 14 бит занято признаком стартового бита 92 бита полезных данных, остается 6 неиспользуемых бит (в которые можно записать еще какую-нибудь информацию, но для простоты примера не будем их использовать).
Где 7-ой бит – признак стартового бита (обозначает начало пакета), 6,5,4,3,2,1,0 – биты данных.
Приемная сторона также знает, что получает пакет из 14 байт в которых первый бит первого байта — стартовый бит (1) (в остальных байтах стартовые биты 0), далее в битах данных по порядку идут 32 бита метки времени, затем 10 бит измерения АЦП№1, затем 10 бит АЦП№2 и так далее…
Аналогично проходит запись на SD карту и чтение с нее согласно протоколу. Итого за одни сутки записи на SD карту у нас получается 115,4 Мб информации (14 байт х 100 измерений в секунду х 3600 сек х 24 часа).
Такая структура данных еще удобна тем, что в последующем мы можем с любого места файла выбрать блоки данных и вывести их в виде графиков, тем самым, не загружая весь файл в оперативную память (который может достигать нескольких десятков гигабайт). А также сможем реализовать удобный скроллинг этих графиков подгружая нужные пакеты.
Пора приступить к программной реализации для микроконтроллера
Библиотеку под микроконтроллер пишем на С++.
Для удобства создадим класс:
class PSP { public: /* Функция инициализации init: startBit - стартовый бит 0 или 1 *arrayByte - указатель на массив байт пакета sizeArrayByte - количество байт в пакете */ void init(byte startBit, byte* arrayByte, byte sizeArrayByte); /* Функция добавления данных в пакет pushData: sizeBit - размер данных в битах value - передаваемое значение (должно умещаться в указанный ранее размер в битах) */ void pushData(byte sizeBit, uint32_t value); /* Функция получения данных в сформированном пакете popData: return пакет данных в массиве байт. */ byte* popData(); protected: byte startBit; //стартовый бит byte* arrayByte; //массив байт пакета byte sizeArrayByte; //размер массива пакета byte position = 0; //текущая позиция в пакете bool clearFlag = false; //флаг инициализации массива void setStartBit(byte &value); //установка стартового бита в байте void clearStartBit(byte &value); //сброс стартового бита в байте };
С методом инициализации думаю все понятно:
void PSP::init(byte startBit, byte* arrayByte, byte sizeArrayByte) { this->startBit = startBit; this->arrayByte = arrayByte; this->sizeArrayByte = sizeArrayByte; }
С методом добавления данных посложнее, здесь путем хитрых поразрядных манипуляций размещаем данные в нашем массиве байт.
void PSP::pushData(byte sizeBit, uint32_t value) { byte free; byte y; int remBit = 0; //для хранения остатка не добавленных бит //Если добавляем данные впервые, то инициализируем массив нулями if (!clearFlag) { for (byte i = 0; i < sizeArrayByte; i++) { arrayByte[i] = 0; } clearFlag = true; } //Начинается цикл разбиения входящего значения на куски по 7 бит и записи в массив while (remBit > -1) { free = 7 - (position) % 7; //количество свободных бит в байте на текущей позиции y = (position) / 7; //текущий номер байта в массиве //Определяем помещается ли значение в текущей позиции remBit = sizeBit - free; //если значение помещается в текущий байт if (remBit < 0) { arrayByte[y] |= value << ~remBit + 1; //помещаем значение в байт, со смещением влево position += sizeBit; //увеличиваем текущую позицию на размер добавленных бит данных remBit = -1; //указываем что все биты значения поместились } //если значение больше чем свободных бит else if (remBit > 0) { arrayByte[y] |= value >> remBit; //записываем в текущий байт столько бит, сколько свободного места position += sizeBit - remBit; sizeBit = remBit; //изменяем размер бит на оставшиеся не поместившиеся биты } //если свободных бит столько же сколько и бит значения else if (remBit == 0) { arrayByte[y] |= value; //добавляем значение в байт position += sizeBit; remBit = -1; //указываем что все биты значения поместились } clearStartBit(arrayByte[y]); //очищаем стартовый бит } setStartBit(arrayByte[0]); //устанавливаем стартовый бит }
Метод получения массива байт пакета:
byte* PSP::popData() { position = 0; //сбрасываем текущую позицию clearFlag = false; //сбрасываем флаг инициализации массива return arrayByte; //возвращаем массив байт }
И напоследок пару вспомогательных функций:
//Функция установки стартового бита в байте void PSP::setStartBit(byte &value) { if (startBit == 0) value &= ~(1 << 7); else value |= 1 << 7; } //Функция сброса стартового бита в байте void PSP::clearStartBit(byte &value) { if (startBit == 1) value &= ~(1 << 7); else value |= 1 << 7; }
Подведем итоги
В результате проделанной работы «родился» компактный протокол потоковой передачи данных PSP1N и готовые библиотеки, которые можно скачать с GitHub тут. В данном репозитории вы найдете:
- ExampleColsolePSP1N/ пример использования библиотеки на C#
- PSP1N_CPP/ содержит библиотеку PSP для работы с протоколом и пример использования ее на Arduino
- PSP1N_CSHARP/ библиотека протокола для .NET
Для демонстрации работы протокола можно прошить скетч в Ардуину и в примере ExampleSerialPortRead на компьютере получать данные с микроконтроллера через COM port. Там эти данные дешифруются и отображаются в консольном приложении. Про библиотеку написанную на C# для приемной стороны я расскажу в другой раз.
TestingConsole:
UPDATE (31.03.19): Изменен алгоритм кодирования и декодирования
