Очередной этап разработки гитары завершен и мы наконец запустили кампанию на Кикстартере!
После публикации предыдущей статьи прошло много времени, наполненного пандемиями, чипапокалипсисами, санкциями, дискриминациями, войнами, блокировками счетов и прочими невзгодами. Все это значительно отсрочило запуск нашего Кикстартера. Но сложа руки мы не сидели. Мы изготовили несколько полнофункциональных красивых прототипов, я существенно доработал аппаратную и софтовую части гитары и мы полностью переработали мобильное приложение.
![](https://habrastorage.org/getpro/habr/upload_files/d70/6fa/08d/d706fa08d092bf1e941cf244fa9da0c9.jpg)
Изготовление механической части заняло практически все время, было очень сложно. Но результат оказался достойным. Для изготовления использовалось множество техпроцессов: 3д печать разными пластиками с покраской, фрезеровка и анодирование алюминия, нанесение маркировки, литье и overmolding силикона.
![Фото в собранном виде Фото в собранном виде](https://habrastorage.org/getpro/habr/upload_files/b4b/fb6/388/b4bfb6388a03ee4c97366020eb4ea6e2.jpeg)
Все заявленные в предыдущей статье функции удалось реализовать. Мы собрали очень много фидбека по UX, так что однозначно будут изменения в конструкции в случае успешного краудфандинга. Они коснутся расположения кнопок, распределения масс, чувствительности датчиков, надежности подпружиненных контактов и узла сгибания.
![](https://habrastorage.org/getpro/habr/upload_files/7ad/64c/8c6/7ad64c8c61d93f7a8265b2de173e60c4.png)
В результате работы над софтовой частью и приложением появилось несколько новых режимов:
Режим игры по табулатурам
![](https://habrastorage.org/getpro/habr/upload_files/be9/fb3/8f2/be9fb38f27c6e526e94495efb6582cf0.gif)
В этом режиме можно выбрать песню из списка табулатур, после чего гитара будет показывать диодами как ее играть. На каждом шагу она ждет правильного выполнения и переходит к следующему. Приложение оценивает правильность игры и выдает баллы в конце.
![](https://habrastorage.org/getpro/habr/upload_files/615/f3c/b6f/615f3cb6fbdf54f6aa5d57e5daec5995.png)
Также можно создавать свои собственные табулатуры и мы даже сделали для этого специальную клавиатуру для ввода символов. В будущем планируем подключить парсинг стандартных табулатур Guitar Pro и облачную библиотеку. Предстоит большая работа с лицензиями на них. Если у кого-то из читателей есть опыт в вопросах лицензий, будем благодарны консультации.
Режим упрощенной импровизации
![](https://habrastorage.org/getpro/habr/upload_files/83a/b00/a98/83ab00a98bffc868874071bee6d54900.gif)
Этот режим импровизации оказался очень удачным. Благодаря подсвечиванию на грифе гитары связанных друг с другом нот (гамма или пентатоника), которые хорошо сочетаются друг с другом, пользователю не нужно тратить месяцы на изучение музыкальной теории. Достаточно просто выбрать нужную тональность на гитаре или в приложении. При желании неподходящие ноты могут быть вообще проигнорированы системой. Тогда на гитаре будет просто невозможно сыграть неправильные ноты.
![](https://habrastorage.org/getpro/habr/upload_files/cb8/49a/83f/cb849a83f7a013d349fa12ff62af3150.png)
Режим импровизации с помощью ИИ
Но мы захотели пойти дальше и сделать режим еще более простой импровизации. Задумка в том, чтобы даже случайное перебирание струн и ладов приводло к адекватной приятной мелодии в рамках выбранного жанра, причем характер перебирания нот влиял на темп и характер выдаваемой мелодии.
Один из вариантов решения задачи - использование нейронной сети, обученной на базе множества midi файлов внутри заданного жанра.
Пока этот режим будет работать только в нашем приложении, но если соберем достаточную сумму, то, может быть, поставим в гитару stm-ку пожирнее и засунем нейронку в нее.
Мы только в начале пути разработки этого режима. Если среди читателей Хабра есть специалисты по нейронным сетям, генеративной музыке или теории музыки, желающие поучаствовать в проекте, прошу написать мне.
Встроенный синтезатор
К встроенному в гитару jack 3.5мм можно подключить наушники или портативную колонку и играть без подключения к внешним устройствам. Встроенный звук, конечно, не ахти, но содержит более 70-ти инструментов от пианино и гитары до барабанов, органа и даже пистолетных выстрелов. При этом ничего не мешает подключить к телефону или компу и записывать миди параллельно.
Вибрато/бенды
Для полноценной игры многим не хватает поддержки таких гитарных техник, как бенды и вибрато. Я наивно думал, что можно использовать модуляцию питч бенда наклоном гитары по акселерометру, но привычные движения рукой это не заменит. Поэтому я решил встроить в гриф датчики силы и интерпретировать изменение силы нажатия на лады как натягивание струн поперек грифа и сдвигать pitch соответствующей струны.
Так что теперь можно забиндить наклон гитары к другим эффектам.
Режим драм машины
Теперь гитару можно положить на стол и настукивать биты на грифе прямо как на midi контроллерах. Осталось адаптировать корпус гитары так, чтобы он не шатался на плоском столе.
![](https://habrastorage.org/getpro/habr/upload_files/113/72b/b76/11372bb76568b1de4cd6089934764f87.png)
Режимы тренажера и обучения в игровой форме
Для изучения нот, аккордов, гамм и отработки мануальных навыков можно включить режим тренажера или аркадную игру в стиле Guitar Hero.
![](https://habrastorage.org/getpro/habr/upload_files/ef0/cd8/3c7/ef0cd83c7275d6a76800c11f7ac11f78.png)
Также за это время мы сняли финальное промо видео:
Мы только что запустили кампанию! Кому интересно следить за новостями проекта или оформить предзаказ – прошу пожаловать на Kickstarter и на наш сайт Sensy. Впереди еще очень много работы и мы надеемся на вашу поддержку.
Спасибо за внимание! Буду рад обратной связи в комментариях.