Потому что не дай бог тогда кто-то проверит "а реально ли это работает". И окажется что нихрена это не работает. И так же как и 90% существующих систем работает просто за закрытие глаз. Что можно сделать через mediapipe
Ещё один существуенный вопрос - а если у автора есть свой блог, где его много кто читает и он там постит ссылку на статью, считать ли это накруткой. Классический пример @RationalAnswer (я на него подписан, если что). Текущую ленту с "новым" досататочно сложно читать/настроить, чтобы там было каждый раз что-то интересное. Поэтому я с удовольствием подписываюсь на узкоспециализированных авторов у которых есть телега. Там можно лучше и аккуратнее менеджить подписки и быть уверенным что ничего не потеряется.
В конце концов даже я про свои статьи пишу у себя в каналах (тг, вк, li). И это явно даёт достаточно быстро +5-10 баллов.
А есть ещё профильные сообщества в ML. Тот же Singularis/ODS. И думаю такие не только ML есть.
Короче все непонятно. Я когда-то писал что на мой взгляд тут правильное решение - введение "кураторов" разделов из индустрии. Но это сложно (зато Medium, кажется, так делает, иногда они фичерят мои статьи по тегам). Думаю что последний год реально сделать подборки на базе LLM решений. Но это явно не совсем экспертиза Хабра, а готовых решений на рынке скорее всего нет.
В целом, последнее время, хабр скорее почитываю иногда для души. А информацию получаю из других мест. Так что не знаю даже, надо ли что-то менять.
То что вы сейчас пишите говорит что вы никогда не занимались AI на Edge. Хотя бы то что вы предлагаете там PyTorch запускать:)
Для этой платы - это условный pip install сделать + корректно драйвера через свою систему прокинуть. Примерно на уровне BolgenOS с весёлыми обоями. Но в целом, если BolgenOS для вас отечественная разработка, то да, можно не продолжнать.
Обычный "заурядный" SoM, где вы себе вечно находите полный цикл от руды до готового изделия?
Ещё раз. Основная претензия к многочисленным:
Это уникальное решение для российского рынка
Если бы "мы выпустили решение от нас" - то всё ок. Если бы "мы выпустили дешевле" или "у нас масспродакшн", то тоже ок. Моя позиция что "унакальности" и "российскости" в этом решении кот наплакал.
Иначе не понятно чем оно отличается от Модуля, или даже inmys, где все разведено в РФ с использованием тех же модулей. Почти уверен что Модуль тоже может на Резоните напечатать.
А создание ещё одного непонятного решения без смысла и комерческой выгоды - похоже на попил всегда.
Для всех моделей тут можно брать соседнюю. Например на 32гб плате можно Qwen2VL-7B запустить. Но вот следующего поколения пока нельзя (2.5). Но, как я понимаю, они это поддерживают и для основных моделей выкатывают.
1) Ну, у Модуля что-то есть уже много лет. Кажется ещё лет 5 назад у них на RK3399Pro было что-то. А так, мне регулярно кто-то на канальчик предлагает разобрать очередное отечественное изделние пока не понимают что для этого его в Европу отправиль надо:) Это именно разного уровня "производители". Сейчас уже модные Sophron например, а не рокчипы. 2) Можно тут что-нибудь загонять на тему "отечественного решения". Но кажется использование китайского и швейцарского чипа в основе уже все говорят. Короче очередной попил. 3) Для RK3588 каждые пару месяцев апдейты идут. Например последние драйверы для NPU дают возможность использовать VLM-сетки. Это как раз то почему я говорю что использование 3568 это сомнительно.
У них есть отдельная библиотека с LLM-ками - RKNN-LLM. По скорости особых проблем не вижу. Конечно, ответ не мгонвенный, от от LLM ок его обычно не ожидают. Для 2B моделей примерно скорость речи. Я делал видео про общие их LLM модели и их запуск и про визуальные, такие как Qwen-2VL. Самому новую модель туда можно запихать, но сложно. Я бы использовал те которые у них официально поддерживаются:
1) Никто не позиционирует там это как "уникальное решение". Как я выше писал - разработать решение на базе рокчипа обычно несколько месяцев команды с опытом 2) Там никто не пытается испоганить оригинальный софт. А тут загадочное "Нейтрино" вместо адекватного софта 3) На RK3588 можно LLM-ки запустить. А на 3568 только простенькие сети
Погодите. Они взяли процессор 2022 года (апдейченный процессор не то 19ого не то 20 года). И выпустили на его базе девайсину (все сказки про нейропроцессор не надо рассказывать, он там и так есть). Судя по всему ещё и RKNN (фреймворк для нейросетей) от RockChip отломали и заменили на какую-то поделку "Нейтрино". В проектах где я учавствовал разводка рокчипа + отправка его в печать обычно выполнялась 3-4 людьми за пару месяцев.
Ну либо этот пресрелиз настолько некомпетентно написан...
1) Интерфейс нужен чтобы делать большие батчи при обучении/файнтьюнинге. 2) Прирост на инференсе может быть значительным если модель не влазит в одну GPU. А в других случаях особой разницы быть не должно. 3) Вам надо использовать PyTorch или huggingface для адекватной работы с несколькими GPU.
У меня с неделю назад был пост на эту тему - https://habr.com/ru/companies/recognitor/articles/846936/ Там все эти борды/ускорители там есть. Для большинства из них есть ссылки где я подробнее рассказываю/показываю что они умеют, как их готовить и настраивать.
Ага. Особенно если учесть что по Рокчипам я знаю более 10 вендоров, в которых может быть разный объем памяти:) И у сейчас у Рокчипа порядка 15 чипов плюс-минус в серии:) А всего тут в статье упоминается вендоров 20-30. И у многих такая ситуация.
"размер обрабатываемого изображения при какой частоте кадров" это вообще фикция, на разных моделях разная скорость, разрешение будет проявлять себя по разному на разных платах.
Но повторюсь. Для большинства реальных применений надо начинать с вопросов "а в какой я стране", "сколько у меня есть электричества", "какого размера будет серия". И прочие вопросы. Именно они будут ограничивать сейчас в первую очередь.
К сожалению это бесполезно. Отношение скорости модели A к модели B для платы 1 может быть N, а для платы 2 может быть 5N. Примеры у меня в таблице были. На некоторые платы можно найти тесты. Но опять же, параметров исполнения слишком много чтобы это несло хоть какие-то знания.
Я давно занимаюсь этим хламом, та методика к которой я пришёл - описана в статье. Надо взять все критерии которые я описал, и откинуть то что не подходит по ним. И уже из оставшегося взять 3-4 платы и сравнивать характеристики по ним.
По скорости можно отсекать порядок исходя из того что пишут вендоры. 0-1TOPS, 2-10TOPS, 15-50 TOPS, более 50
Потому что не дай бог тогда кто-то проверит "а реально ли это работает".
И окажется что нихрена это не работает. И так же как и 90% существующих систем работает просто за закрытие глаз. Что можно сделать через mediapipe
Ещё один существуенный вопрос - а если у автора есть свой блог, где его много кто читает и он там постит ссылку на статью, считать ли это накруткой. Классический пример @RationalAnswer (я на него подписан, если что).
Текущую ленту с "новым" досататочно сложно читать/настроить, чтобы там было каждый раз что-то интересное. Поэтому я с удовольствием подписываюсь на узкоспециализированных авторов у которых есть телега. Там можно лучше и аккуратнее менеджить подписки и быть уверенным что ничего не потеряется.
В конце концов даже я про свои статьи пишу у себя в каналах (тг, вк, li). И это явно даёт достаточно быстро +5-10 баллов.
А есть ещё профильные сообщества в ML. Тот же Singularis/ODS. И думаю такие не только ML есть.
Короче все непонятно.
Я когда-то писал что на мой взгляд тут правильное решение - введение "кураторов" разделов из индустрии. Но это сложно (зато Medium, кажется, так делает, иногда они фичерят мои статьи по тегам). Думаю что последний год реально сделать подборки на базе LLM решений. Но это явно не совсем экспертиза Хабра, а готовых решений на рынке скорее всего нет.
В целом, последнее время, хабр скорее почитываю иногда для души. А информацию получаю из других мест. Так что не знаю даже, надо ли что-то менять.
То что вы сейчас пишите говорит что вы никогда не занимались AI на Edge.
Хотя бы то что вы предлагаете там PyTorch запускать:)
Для этой платы - это условный pip install сделать + корректно драйвера через свою систему прокинуть. Примерно на уровне BolgenOS с весёлыми обоями.
Но в целом, если BolgenOS для вас отечественная разработка, то да, можно не продолжнать.
Ага.
OpenCV - это не про нейронные сети
RKNN портировать нельзя, там бинарники, рокчип никому не даёт их собирать
"построения нейросетей" это вообще обычно про PyTorch
Ну да ладно, наклеить на это шилдик "Нейтрино" - и теперь всё становиться уникальной разработкой?
Сами хоть раз на ОСРВ запускали? Просто, из интереса.
Ещё раз. Основная претензия к многочисленным:
Если бы "мы выпустили решение от нас" - то всё ок. Если бы "мы выпустили дешевле" или "у нас масспродакшн", то тоже ок. Моя позиция что "унакальности" и "российскости" в этом решении кот наплакал.
Иначе не понятно чем оно отличается от Модуля, или даже inmys, где все разведено в РФ с использованием тех же модулей. Почти уверен что Модуль тоже может на Резоните напечатать.
А создание ещё одного непонятного решения без смысла и комерческой выгоды - похоже на попил всегда.
Для всех моделей тут можно брать соседнюю. Например на 32гб плате можно Qwen2VL-7B запустить. Но вот следующего поколения пока нельзя (2.5). Но, как я понимаю, они это поддерживают и для основных моделей выкатывают.
Я бы сказал что им достаточно пару контрактиков на сотню миллионов заключить. А все остальное их особо и не колышит:)
В том что в официальном сайте это стало ПО для построения нейросетей:
1) Ну, у Модуля что-то есть уже много лет. Кажется ещё лет 5 назад у них на RK3399Pro было что-то. А так, мне регулярно кто-то на канальчик предлагает разобрать очередное отечественное изделние пока не понимают что для этого его в Европу отправиль надо:) Это именно разного уровня "производители". Сейчас уже модные Sophron например, а не рокчипы.
2) Можно тут что-нибудь загонять на тему "отечественного решения". Но кажется использование китайского и швейцарского чипа в основе уже все говорят. Короче очередной попил.
3) Для RK3588 каждые пару месяцев апдейты идут. Например последние драйверы для NPU дают возможность использовать VLM-сетки. Это как раз то почему я говорю что использование 3568 это сомнительно.
У них есть отдельная библиотека с LLM-ками - RKNN-LLM. По скорости особых проблем не вижу. Конечно, ответ не мгонвенный, от от LLM ок его обычно не ожидают. Для 2B моделей примерно скорость речи.
Я делал видео про общие их LLM модели и их запуск и про визуальные, такие как Qwen-2VL. Самому новую модель туда можно запихать, но сложно. Я бы использовал те которые у них официально поддерживаются:
Я вам дословную цитату из официального сайта даю:
1) Никто не позиционирует там это как "уникальное решение". Как я выше писал - разработать решение на базе рокчипа обычно несколько месяцев команды с опытом
2) Там никто не пытается испоганить оригинальный софт. А тут загадочное "Нейтрино" вместо адекватного софта
3) На RK3588 можно LLM-ки запустить. А на 3568 только простенькие сети
Может они сами путаются. У них на сайте:
QNX Neutrino это RTOS, если я правильно понимаю, которое к нейронкам отношения не имеет.
Погодите. Они взяли процессор 2022 года (апдейченный процессор не то 19ого не то 20 года). И выпустили на его базе девайсину (все сказки про нейропроцессор не надо рассказывать, он там и так есть).
Судя по всему ещё и RKNN (фреймворк для нейросетей) от RockChip отломали и заменили на какую-то поделку "Нейтрино".
В проектах где я учавствовал разводка рокчипа + отправка его в печать обычно выполнялась 3-4 людьми за пару месяцев.
Ну либо этот пресрелиз настолько некомпетентно написан...
1) Интерфейс нужен чтобы делать большие батчи при обучении/файнтьюнинге.
2) Прирост на инференсе может быть значительным если модель не влазит в одну GPU. А в других случаях особой разницы быть не должно.
3) Вам надо использовать PyTorch или huggingface для адекватной работы с несколькими GPU.
Короче очень странная статья...
Не, ну если уж так надо - то полно их
https://www.pishop.us/product/compute-module-4-industrial-iot-base-board-for-all-variants-of-cm4/
У меня с неделю назад был пост на эту тему - https://habr.com/ru/companies/recognitor/articles/846936/
Там все эти борды/ускорители там есть. Для большинства из них есть ссылки где я подробнее рассказываю/показываю что они умеют, как их готовить и настраивать.
Ага. Особенно если учесть что по Рокчипам я знаю более 10 вендоров, в которых может быть разный объем памяти:) И у сейчас у Рокчипа порядка 15 чипов плюс-минус в серии:)
А всего тут в статье упоминается вендоров 20-30. И у многих такая ситуация.
"размер обрабатываемого изображения при какой частоте кадров" это вообще фикция, на разных моделях разная скорость, разрешение будет проявлять себя по разному на разных платах.
Но повторюсь. Для большинства реальных применений надо начинать с вопросов "а в какой я стране", "сколько у меня есть электричества", "какого размера будет серия". И прочие вопросы. Именно они будут ограничивать сейчас в первую очередь.
К сожалению это бесполезно.
Отношение скорости модели A к модели B для платы 1 может быть N, а для платы 2 может быть 5N.
Примеры у меня в таблице были. На некоторые платы можно найти тесты. Но опять же, параметров исполнения слишком много чтобы это несло хоть какие-то знания.
Я давно занимаюсь этим хламом, та методика к которой я пришёл - описана в статье. Надо взять все критерии которые я описал, и откинуть то что не подходит по ним. И уже из оставшегося взять 3-4 платы и сравнивать характеристики по ним.
По скорости можно отсекать порядок исходя из того что пишут вендоры. 0-1TOPS, 2-10TOPS, 15-50 TOPS, более 50