Пишу типа RFC, критикуйте, ведь физику и математику изучал давно, но идеи кажутся очень перспективными.
Сейчас обычно ставят много камер (К) по периметру охраняемой территории или "рыбий глаз" на бампер авто с неприятными искажениями. Во все стороны глядеть – К не напасёшься, особенно если они не широконаправленные, а качественные.
Ведь можно из середины объекта сверху обозреть в принципе всё вокруг и даже вверх/вниз на полную сферу на несколько Гц небольшим "гаджетом" (зеркальный датчик, ЗД) и подсказать самые интересные/опасные объекты с помощью нейросетей (НС), определить расстояние до любого, его габариты, вычислить скорость, направление (Н) движения и текущую опасность. Для всех IT-шников работа найдётся ! ;)
Если просто равномерно вращать К, смотря ею во все стороны по очереди, то смаз за время каждой экспозиции (Э) будет сопоставим с размером всего кадра, его не исправить. Современные матрицы (М) в К умеют стартовать новое накопление яркостей и выгружать данные прошлой Э в параллель. Мы и хотим использовать КПД К максимально, не останавливая монотонное вращение и не делая перерывов между Э. Если повернём на новое место, экспонируя, то всё смажется напрочь. Плюс, обозреть всю сферу одной К на несколько Гц чисто механически будет очень тяжело. И от вращающейся К очень трудно отвести дикие потоки образующихся данных на хост. Т.е. гораздо лучше, чтобы К жёстко стояла рядом с ЦП, а световые потоки ей кто-то специально доставлял.
Всё выглядит очень просто:
Слева вверху схематический вид ЗД сбоку, слева внизу – вид на него сверху, справа – пояснение физического принципа для несмаза экспозиции, ведь всё непрерывно вращается и экспонируется в процессе движения.
Имеем два больших соосных монотонно крутящихся кольца с зеркалами (ККЗ, серые), вращающихся с одинаковой угловой скоростью в одну сторону, на них жёстко прикреплены З (чёрные): с внешнего ККЗ они "смотрят" в разные стороны, куда нам требуется, принимают оттуда пучки света (ПС, красные) и отражают в середину, на внутреннее ККЗ, З которого расположены более регулярно и перенаправляют ПС сбоку вниз, на К+М (тёмно-красная(-ые)). Внутреннее ККЗ должно быть расположено повыше, чтобы отражать вниз было сподручнее. Много чего в ККЗ следует закрасить чёрным, чтобы "обратный путь" от К "наружу" не встречал лишних ПС, засвечивающих изображение, и М "узко" видела только З по очереди и в них – нужное текущее поле зрения (ПЗ).
Всё может быть штампованное из крашеного серебрянкой пластика, но с идеально ровными поверхностями, стоить недорого, ведь основное здесь – быстрая М и плавность вращения. Даже дёшевые смартфоны внизу могут подойти, быстро разобравшись со скоростью вращения ККЗ и подстроив свою кадровую частоту съёмки, и даже управляющие вращением ККЗ по Блютусу. А также общаясь друг с другом, сопоставляя свои картинки для стерео-метода и запуская распознающие НС. Сохраняя всё видео, как авторегистратор, -- на всякий случай. И всё накрыто прозрачным колпаком для механической защиты, вдруг он не сильно испортит картинку.
Глобально, оба ККЗ можно "склеить" в одно (раз между З нет относительных смещений), разместив на нём по кругу несколько призм с двумя отражающими гранями, взамен соседних З на паре ККЗ. Если обычная К в смартфоне имеет размер порядка нескольких миллиметров, то такой набор подающих ККЗ займёт несколько сантиметров в диаметре, а по высоте – в размер зрачка К, ерунда, и призм в штамповке может быть сотня. Даже 3 смартфона можно не суметь внизу скомпоновать ;)
В идеале, если мы хотим на скорости 90 км/ч увидеть и оценить впереди на дороге подозрительный предмет размером порядка 10 см в 10 пикселах на расстоянии 100 м через М размером 2К точек для точного распознавания и представления уровня опасности (это 1 см в 1 пиксел, синус угла 1/10000), то угол зрения К должен быть порядка arcsin(0.2)≈12°. Если абсолютно всё вокруг регулярно осматривать таким ПЗ, то нужно сделать порядка (90/12==7.5)*4*(7.5*2)/1.5 снимков, т.е. 300 кадров. Современные М могут и больше Гц, но лучше всё же разумно ограничить области интереса. Если М порядка 5К в диаметре, это сейчас обычно, то, исходя из точной формулы площади сферы, на ней "уместится" порядка 4 * PI * R * R / 5К / 5К ≈ 50 наших М без перекрытий, ПЗ 30°, это ещё оптимистичнее для обработки. В стерео – в 2 раза медленнее.
Лучше М иметь вообще круглую чуть крупнее, и подворачивать снимаемые со всех сторон с перекрытиями прямоугольные изображения на соответствующие их Н разные углы, чтобы со всех Н видеть в НС верх сверху, а низ снизу.
Если впереди/сзади резкий поворот, подъём, перегиб горы, или на перекрёстке нужен AI для лихачей сбоку, пролетающих на красный свет, собак, котов и слепых бабушек, то лучше иметь ПЗ на 360° кругом и по высоте на ±30°. Короче, со временем "наука достигнет" полной сферы обзора хотя бы на 10 Гц, а НС становятся всё быстрей и умней…
Пробку из машин или упавшее поперёк бревно за 100 м увидеть точно нужно, чтобы успеть затормозить, но для них не требуется уже такое большое разрешение.
На автомобиле в движении ещё бывает дорожная тряска, дрожь от двигателя, повороты ПЗ от руля, это отдельные проблемы, в отличие от равномерного вращения ККЗ на столбе. У ККЗ будет какая-то стабильность за счёт вращения, типа гироскопа, но нам его дрожания не страшны, раз ПС выйдут по любому параллельно.
А как-то помягче подвесить К просто необходимо, без гашения ВЧ тремора в ЗД никак, ну и гироскоп внутри небольшой может пригодиться, точно фиксирующий характер текущего общего сдвига за время Э, позволив его убрать в постобработке.
Скорость вращения ККЗ может быть любой, современные технологии позволят, ведь в электродвигателях и автомобильных моторах, вентиляторах для ПК очень много Гц, и всё работает годами надёжно. Всё зависит от скоростных способностей К. Там обычно сразу после завершения Э прошлого кадра начинается захват нового и выгрузка прошлого в параллель, задержка минимальна. Ещё надо суметь резко переключить ПЗ К с одной призмы на другую, хотя лучшим выходом будет одновременная Э ПС от 2 и более соседних призм на одну большую М (они сейчас везде вставляются с громадными разрешениями) в одной К – если получится, но в разные места М. Тогда регулярно можно будет забирать кадры с М, суммировать одинаковых соседей. И по соседним Э с одного Н определять самые опасные быстро движущиеся предметы. И даже одним смартфоном обойтись, если пониже его расположить для всех ПС с рисунка, как раз Н ПС будут непараллельными для "стерео", а моменты Э – точно одновременными.
Характер засветки М пятном от ПС одной призмы будет продолжительным, размазанным по синусоиде, оно будет "ехать" по окружности по мере предъявления призмы вверху и разные места отражаемого экспонировать разное время. Начнёт приходить к отверстию над К новая призма – её ПС под другим углом пойдёт "кистью" рисовать в другом месте М...
Перейдём к правой части рисунка, нечёткому доказательству несмаза изображения внутри К на её М при отражении ПС от двух зеркал призмы (зеркальная пара, ЗП). Пока К смотрит на пролетающую над ней ЗП, она экспонирует и должна получать стоячую картинку нужного региона. Хорошо бы в 3D-средах промоделировать ход и преломление ПС в ККЗ, но не владею.
В оптике есть закон – обычная линза все проходящие сквозь себя параллельные лучи собирает в одну точку на своём фокусном расстоянии. Поэтому если тот же самый ПС немного сдвинется параллельным образом, то это нестрашно, лишь бы снова попал в объектив, тогда преломится аналогично и в М попадёт в тот же самый пиксел. С недалёкими объектами есть сложность – при смещении наблюдателя ПС от них существенно меняют свой угол. Муха, например, на 2 м будет нерезкой, хотя и вдруг опасной ;) Но этот эффект можно уменьшить, наблюдая объект "вбок" от радиального Н, когда ЗП смотрит по касательной к ККЗ, ну или максимально близко к касательной, чтобы соседние ЗП не мешали её ПЗ. Тогда смещение Н ПС за время Э будет минимальным.
Вместо вращения ЗП без потери общности оставим её на месте, а изменим угол входящего ПС. Нам нужно, чтобы на выходе угол остался. Имеем 2 ПС – красный и оранжевый. Справа-вверху их отражение от двух параллельных З двумерного случая, там всё очевидно, угол между выходящими ПС ровно такой же, как на входе. Первое отражение изменяет, инвертирует взаимное расположение ПС, а второе – восстанавливает. Поэтому только одно З нам не годится в принципе, и 3 шт тоже, они сразу усиливают смещение ПС, не автокомпенсируют, как 2. Если З непараллельны (справа-внизу), то всё аналогично – после первого отражения угол между красным и оранжевым не изменится, и после второго отражения, и сколько бы их ещё потом не было, лишь бы чётное число. И правда, из здравого смысла, если мы в ближайшем З будем наблюдать ещё много следующих фиксированных З, немного сдвигающихся совместно, то ПЗ самого последнего дойдёт до нас неизменным, просто что-то уедет с одного края, а с другого – появится.
Можно провести произвольные сечения общего 3-мерного случая отражения 2 лучей из ПС от 2 З произвольными плоскостями, и всегда на них получим проекции обоих З и лучей, которые выйдут под теми же углами, что и входили.
По одному отражающему З на ККЗ можно прикреплять, только если их всех вращать монотонно в противоход ККЗ, чтобы в глобальной системе координат они ориентацию не меняли, отражали свои ПС ровно вниз.
...Перейдя теперь обратно к глобальной системе координат, мы увидим, что в процессе любого вращения пары З выходящий из неё ПС от наблюдаемого объекта будет всё время параллельным сам себе начальному.
Для обеспечения процесса одновременной Э от минимум пары близко расположенных призм, как предлагалось выше, можно посылать ПС от каждой призмы вниз в немного другом Н, по отношению к соседней, чтобы на М фокусировка от них происходила в непересекающихся областях. Объектив К тогда будет нужен в два+ раза бОльшим, но и призмы в ККЗ набьются самым тесным образом, без промежутков, исключающих наложение ПС от соседей. Отлично будет, если места попадания ПС от всех призм в М будут чередоваться. Самая первая призма уходит, Э её ПС завершается, Э со следующей призмы продолжается в другом месте, Э с 3-й призмы начинается в 3-е место М, и ещё есть 4-й регион в запасе !.. Т.е. даже можно через большой объектив "всерьёз" экспонировать одновременно 2 призмы с разных Н, а также обеспечивать смену 2 крайних – одна уезжает, а другая приезжает. Все 4 региона М задействованы, да хоть и 8, частичные Э регулярно выгружаются и суммируются с предыдущими, пока есть смысл.
Если меняются условия освещения, то угловые скорости вращения ККЗ можно менять, увеличивая время Э.
Для реалтаймового "стерео" и его отличных "вкусняшек" можно иметь на противоположных краях ККЗ пары З, смотрящих в одно Н и дающих бинокулярное зрение на пару К с достаточно большой базой, при необходимости шире базы наших глаз, а потом сопоставлять все объекты и вычислять дистанции, размеры, скорости, Н. Ещё лучше иметь 3 К по углам правильного треугольника, каждая из граней которого обслужит сектор в 120°, ну или 4 К, или одну – но большую.
Реально обойтись одной К по центру вращения, сделав З на ККЗ вогнутыми, чтобы уже в процессе первого отражения они начали сужать и фокусировать свои ПС, тогда вторые З будут меньшего размера, ближе к оси вращения, и не обязательно по окружности, а в оптимальных чередующихся позициях для Э во все части М, вся конструкция станет компактнее.
Ещё интересная задача – уменьшить количество З, смотрящих в определённый уровень по вертикали. Чтобы, например, только четыре З обозревали самый емкий горизонтальный сектор по высоте –20..30°, три – 30..50°, два – ещё до 70°. Тогда вместо призм будут нужны пары из жёсткого З внутри и ВЗ (вращающегося/прыгающего на несколько позиций З) снаружи. Один круг прошли по всем К данной парой, переключились в ВЗ за приемлемое время на другую позицию З, правее/левее/выше/ниже, ещё круг... Общий размер ЗД существенно сократится за счёт повторного использования З, но работа замедлится, и моторы на 2 оси – неточное, слабое, объёмное и тяжёлое звено. Зато возможный размер З возрастёт, светосила повысится. Тут ещё, раз уж моторы пришлось внедрить, точно можно и по одному З ставить на ККЗ, как упоминалось выше на 5 абзацев.
Глобально, каждый ЗД нужно будет после плотной сборки и любой пересборки юстировать на каком-то оборудовании и в специальном окружении предметами, координаты которых точно известны, чтобы до пиксела выверить выдаваемую точность определения всех позиций.
P.S. Предметные замечания и предложения очень приветствуются ! СпасиБо за понимание.