да, камера, на удивление, оказалась хороша. и изголовье удачно сделано. научиться бы еще ее динамиком управлять, чтобы она озвучивала, допустим, распознанное с одноплатника, куда идет видеопоток с нее... а так вполне себе переносная web камера, со стабилизацией, 4к и маленьким пультом. реклама, пошла реклама.
Очень подробно все расписано, спасибо, будем опираться, когда забудем терминологию. По поводу yolo: - yolo v11 "на дворе". - у yolo есть такой "инструмент" как "sahi" - попробуйте, он как раз и выполняет "кадрирование". А по сути метод скользящего окна по картинке высокого разрешения позволяет применять ранее обученную модель без необходимости нарезки изображения. - по поводу разметки как самого нудного процесса - попробуйте yolo world. Она позволяет с помощью промтов выделять объекты, предварительно из не размечая вообще. - скорее всего модель будет плохо работать в разных погодных условиях и при разной освещенности (не говоря уже о тенях, которые отбрасывают столбики). Поэтому нужны будут дублирующие модели, которые будут делать тоже самое, но для разных обстоятельств.
Сколько труда! 1. Странно, что сети на 640х640 и 320х320 выдают одинаковое время. Может быть там ошибка в export ? Попробуйте 224х224 либо 480х480 обучить. Криво отрисованные боксы, возможно они рисуются на image 640x640 ? Если нет, то что-то было на этот счет для onnx моделей (понятно, что у вас rknn) у ultralytics. 2. Грустно, что только одна камера в наличии и та global shutter. 3. И как результаты передавать ? sim800, здорово, конечно. Но может bluetooth или wifi ?
orange все так же греются как печи, как и раньше ?
Огрызки от just-milk и т.п. лучше не брать, как правило, это мимоидущие проекты, интегрировать которые потребуется еще одна жизнь. Кроме того, практика показывает, что промучившись с noname платой, ты идешь и покупаешь что-то, где уже есть хоть какие, но немного протоптанные дороги. Вот есть, например, распознавание на arduino nano ble 33 -
но оно надо ? Медленно и сложно.
А так тема orange-banana-raspberry на Хабре - вечная.
При этом заметили, что даже если модуль распознал команду корректно, что подтверждается тем, что он правильно повторил её, изредка могут возникать помехи при передаче команды на Ардуино. Предположительно, помехи вносятся двигателями, но глубоко вопрос не изучали, так как не было необходимости.
Все так, из-за посторонних шумов не слышно команд. Плюс, непонятно, как модуль распознавания их интерпретирует. Там вполне может быть уже заложено "впере", "вперетт", "впеееред" и т.д., но не факт. https://youtube.com/shorts/xfJjybJs8GE?si=KB0_mBibBX_OdD1D
Еще соединения типа "лапша к лапше" (без паяльника) могут давать неожиданные результаты.
2. Боксы для батарей убивают батареи, т.к. в них нет защиты от переразряда. Да доставать их оттуда можно только пилочкой для ногтей.
3. На плате с esp, только один микрофон, судя по всему, даже не гряда. Модуль шьется на другие команды ? Сохранилась ссылка приобретения ?
4.Колеса, двигатели и т.п. не комментирую, для детей - пойдет.
qr код получается очень мелким, т.к. на ценнике его буквально негде разместить. а если это все еще и печатается на некачественном принтере - результат предсказуем.
у одного из whisperoв была возможность перегонять real-time речь в текст с микрофона. это может быть решением создания временных файлов. также можно whisperов в докер-образы "настрогать" и туда аудио-chunkи отправлять, если локально whisper не дает распараллелиться.
"Навигатор для незрячих" очень, конечно, громко заявлено. Этот проект был описан на medium.com Там просто детекция объектов на yolo и их озвучивание. Не понятно, зачем там esp32, когда можно было простую камеру для raspberry взять. *ссылка на github по проекту ведет в пустые репо.
через vpn работает, только вот youtube-видео по ссылке не загружает. зато аудиофрагменты анализирует. загрузил ему первый абзац "Демона" Лермонтова:
В отрывке из "демон.wav" описывается Печальный Демон, который находится в изгнании. Он вспоминает о своем прошлом, когда был "чистым херувимом" и жил в "жилище света". В те времена он испытывал радость и любовь, верил и не знал сомнений.
Основные характеристики Демона:
Печальный: Его нынешнее состояние полно грусти и тоски.
Изгнанник: Он изгнан из "жилища света" и вынужден летать над "грешной землей".
Полон воспоминаний: Его мучают воспоминания о счастливом прошлом, которое контрастирует с его нынешним состоянием.
Контраст между прошлым и настоящим:
Прошлое: Жизнь в "жилище света", чистота, вера, любовь, счастье, отсутствие сомнений.
Автор использует выразительные средства, чтобы подчеркнуть трагедию Демона. Например, "бегущая комета" символизирует быстротечность счастья, а "качущие караваны в пространстве брошенных светил" создают образ одиночества и заброшенности.
"когда галактика выглядит как массивная и крякает как массивная, " ?
да, камера, на удивление, оказалась хороша. и изголовье удачно сделано. научиться бы еще ее динамиком управлять, чтобы она озвучивала, допустим, распознанное с одноплатника, куда идет видеопоток с нее... а так вполне себе переносная web камера, со стабилизацией, 4к и маленьким пультом. реклама, пошла реклама.
Т.е. для управления одним компьютером нужен другой рядом постоянно включенный ?
В коде для esp32, который позаимствован от arduino (2011 г), судя по коду на github, распиновка приведена с учетом модели esp32 ?
Есть полная схема, в которой учтены транзисторы и конденсаторы (?) на ногах esp32 ?
https://youtu.be/Exo80gW8g3Q
на cm4-io-base board m2 вроде были -
какая такая Фанкапча ?
cm4-nano-b(a,c)
danilovmy вы про который function composition ? и что за странная ссылка pycon, что там читать ?
Очень подробно все расписано, спасибо, будем опираться, когда забудем терминологию.
По поводу yolo:
- yolo v11 "на дворе".
- у yolo есть такой "инструмент" как "sahi" - попробуйте, он как раз и выполняет "кадрирование". А по сути метод скользящего окна по картинке высокого разрешения позволяет применять ранее обученную модель без необходимости нарезки изображения.
- по поводу разметки как самого нудного процесса - попробуйте yolo world. Она позволяет с помощью промтов выделять объекты, предварительно из не размечая вообще.
- скорее всего модель будет плохо работать в разных погодных условиях и при разной освещенности (не говоря уже о тенях, которые отбрасывают столбики). Поэтому нужны будут дублирующие модели, которые будут делать тоже самое, но для разных обстоятельств.
respeaker.
https://aliexpress.ru/item/1005001829484812.html - попробуйте
1.Cтранно, что вы руками правите в ultralytics. Там все гораздо проще - загрузили модель, потом просто выполнили экспорт.
Например (это python):
from ultralytics import YOLOmodel_yolov8 = YOLO('model.pt', task='detect') # load a custom model
model_yolov8.export(format='onnx', imgsz=320, int8=True)
esp8266 лучше не брать, он чудит, ног мало и т.п. хоть и дешевый. Лучше esp32, nodemcu и т.п.
С камерой можно просто решить - imx500, там вообще все на камере распознается. Но это, как говорится, совершенно другой ценник.
65 градусов прогрев - есть понимание как такое тепло отводить ?
50 fps - отлично! Но расстояния до объектов до 30 см, полагаю ?
Сколько труда!
1. Странно, что сети на 640х640 и 320х320 выдают одинаковое время. Может быть там ошибка в export ? Попробуйте 224х224 либо 480х480 обучить.
Криво отрисованные боксы, возможно они рисуются на image 640x640 ? Если нет, то что-то было на этот счет для onnx моделей (понятно, что у вас rknn) у ultralytics.
2. Грустно, что только одна камера в наличии и та global shutter.
3. И как результаты передавать ? sim800, здорово, конечно. Но может bluetooth или wifi ?
orange все так же греются как печи, как и раньше ?
Огрызки от just-milk и т.п. лучше не брать, как правило, это мимоидущие проекты, интегрировать которые потребуется еще одна жизнь.
Кроме того, практика показывает, что промучившись с noname платой, ты идешь и покупаешь что-то, где уже есть хоть какие, но немного протоптанные дороги.
Вот есть, например, распознавание на arduino nano ble 33 -
но оно надо ? Медленно и сложно.
А так тема orange-banana-raspberry на Хабре - вечная.
Все так, из-за посторонних шумов не слышно команд. Плюс, непонятно, как модуль распознавания их интерпретирует. Там вполне может быть уже заложено "впере", "вперетт", "впеееред" и т.д., но не факт.
https://youtube.com/shorts/xfJjybJs8GE?si=KB0_mBibBX_OdD1D
Еще соединения типа "лапша к лапше" (без паяльника) могут давать неожиданные результаты.
2. Боксы для батарей убивают батареи, т.к. в них нет защиты от переразряда. Да доставать их оттуда можно только пилочкой для ногтей.
3. На плате с esp, только один микрофон, судя по всему, даже не гряда. Модуль шьется на другие команды ? Сохранилась ссылка приобретения ?
4.Колеса, двигатели и т.п. не комментирую, для детей - пойдет.
qr код получается очень мелким, т.к. на ценнике его буквально негде разместить. а если это все еще и печатается на некачественном принтере - результат предсказуем.
у одного из whisperoв была возможность перегонять real-time речь в текст с микрофона. это может быть решением создания временных файлов.
также можно whisperов в докер-образы "настрогать" и туда аудио-chunkи отправлять, если локально whisper не дает распараллелиться.
@nehrung vosk попробуйте. а также base,learge модели whisper русским владеют.
примеры на mojo уже не попробовать - country restrictions.
max из исходников не собрать.
mojo сам по себе работает, но нужен ли он без работающих примеров.
"Навигатор для незрячих" очень, конечно, громко заявлено. Этот проект был описан на medium.com
Там просто детекция объектов на yolo и их озвучивание. Не понятно, зачем там esp32, когда можно было простую камеру для raspberry взять.
*ссылка на github по проекту ведет в пустые репо.
через vpn работает, только вот youtube-видео по ссылке не загружает.
зато аудиофрагменты анализирует. загрузил ему первый абзац "Демона" Лермонтова:
В отрывке из "демон.wav" описывается Печальный Демон, который находится в изгнании. Он вспоминает о своем прошлом, когда был "чистым херувимом" и жил в "жилище света". В те времена он испытывал радость и любовь, верил и не знал сомнений.
Основные характеристики Демона:
Печальный: Его нынешнее состояние полно грусти и тоски.
Изгнанник: Он изгнан из "жилища света" и вынужден летать над "грешной землей".
Полон воспоминаний: Его мучают воспоминания о счастливом прошлом, которое контрастирует с его нынешним состоянием.
Контраст между прошлым и настоящим:
Прошлое: Жизнь в "жилище света", чистота, вера, любовь, счастье, отсутствие сомнений.
Настоящее: Изгнание, печаль, мучительные воспоминания.
Автор использует выразительные средства, чтобы подчеркнуть трагедию Демона. Например, "бегущая комета" символизирует быстротечность счастья, а "качущие караваны в пространстве брошенных светил" создают образ одиночества и заброшенности.