Pull to refresh

Comments 124

Давно хотел купить себе Arduino, а вот теперь понимаю, что время пришло.
Платформа тут не при чем, это можно реализовать на любом современном микроконтроллере.
Интересно.
Эт не светодиодиком мигать
Arduino, конечно, только регистрирует дрожание камеры.
для обработки снимка ака «исправления» её мощности никак не хватит.
видимо прошивку аппарата меняли… Любопытно.
Да ничего не меняли, это чисто софтовое решение, на пост-обработке. Arduino пишет вот такую вот картинку, основываясь на показаниях акселерометров:



Затем на базе записи этой трехмерной траектории камеры при открытом затворе производится постобработка. Собственно, они лишь предложили новый алгоритм, который (по их утверждениях) сильно лучше чем то, что было до этого.

Arduino тут почти что ни при чём: акселерометры есть в куче современных железок, например, в том же iPhone или почти всех Android-based devices…
UFO just landed and posted this here
Хочется технических и потребительских спецификаций: как крепится, можно ли это сделать самому, сколько стоит, где купить, и т.п.
Сделать можно (в общем, даже и без Arduino) — схемка примитивнейшая: 3 акселерометра, 3 оси гироскопа, питание, кварц.

Стоить будет ~20..30$ за акслерометр, ~10..15$ за гироскоп. Остальное вообще копеечное.

Если совсем наколенно — то подаете выход с этих 6 железок на звуковую карточку, например, получаете 6 оцифрованных потоков, их пишете в файлик.

Если не совсем наколенно — то нужны еще 6 АЦП и что-нибудь микроконтроллеро-подобное, желательно с памятью, в которую это всё писать. После этого нужно еще придумать, как из памяти эту информацию отдавать — например, по USB — значит, потребуется какой-нибудь FTDI для сериального порта и соответствующая программа со стороны компьютера, чтобы по USB подключаться и сливать накопленные данные.

Дальше придется написать программку, которая это обрабатывать будет. Алгоритм описан в их статье, написать соответствующую программку несложно — но вот пользоваться ей в сколько-нибудь масштабных целях, скорее всего, не выйдет — алгоритм они наверняка запатентуют и будут требовать свои законные отчисления.
Как только пустят в продажу, думаю куплю. Правда стоить это будет ~100 $, так что наверное, ещё подумаю :)
Будем ждать ответа из Китая :)
У меня поляризационные фильтры неплохие за 7 долларов (вместо $70), ДУ за 4 доллара (а не за $15), бленды за 5 долларов (вместо $40)… И т.д.
Вот, кстати, на фильтрах Вы зря экономите… «Неплохие» за 7$, тем более поляризаторы, не бывают просто по себестоимости…
Просто я не профессиональный фотограф — денег не хочется платить за дорогие полярики, а «попробовать» китайских фильтров более чем хватает.
Все таки вам правильно советуют. $7 за полярик — этого даже на попробовать не хватит. Не уверен что с подобным фильтром вообще можно увидеть эффект поляризации. Лучше просто отдолжить у знакомых более приличное для «попробовать». А если покупать, то хотя бы Hoya из дешевых серий (например, зеленая серия).
Как ни печально, но фотография — дорогое удовольствие.
>Не уверен что с подобным фильтром вообще можно увидеть эффект поляризации
Можно-можно. У меня есть такой. Именно для «попробовать» есть ли эффект брал. Попробовал — эффект, несомненно, есть :), теперь надо «попробовать» «нормальный», чтобы сравнить полноценно, но пока лениво :).
>Как ни печально, но фотография — дорогое удовольствие.
Да, маркетологи настойчиво нам это внушают. Но бленды за 40 долларов ничуть не лучше бленды за 2 доллара — тот же кусок пластмассы, только лейбла другая. С фильтрами ситуация может быть иной, конечно. А может и не быть…
Не могу понять способ работы. Встроенные в камеры IS имеют подвешенные оптические элементы, которые и делают всю магию. А тут что? Они регистрируют сдвиг, а потом уже смазанную фотку фотошопят сообразно зарегистрированному, или камеру как-то стабилизируют в момент съемки?
RAW данные содержат данные о всём процессе экспозиции во времени, так что да, смазанную фотку можно таким образом собрать обратно.
Понял, спасибо. Логичная идея, странно, что еще не получила массового распространения.
Ну или даже если это не так (я не раз слышал россказни о том что равка хранит порядок попадания света на матрицу, но не видел подтверждения), то тогда эта штука применяет трансформацию на лету.
равка не хранит порядок попадания света
Не совсем так. RAW (в обычных камерах, коих большинство) не хранит «процесс экспозиции по времени». В RAW хранятся сырые данные, полученные с сенсора, как правило там больше разрядность на канал, байеровский фильтр не применяется, также не выполняется баланс белого (соответственно в RAW конвертере больше возможностей вытянуть плохой снимок или улучшить цветопередачу и т.д.).
В приведённом проекте происходит восстановление смазанной картинки с учётом того, что известно _как_ перемещалась камера при экспозиции. В какой-то мере это очень похоже на Винеровский фильтр с той разницей, что известны параметры перемещения, вызывающие нерезкость. Записав эти параметры, можно восстановить нерезкую картинку. На лету там ничего не происходит, данные с сенсоров скидывались на лаптоп по bluetooth, туда же скидывались размазанные картинки, а потом выполнялось поднятие резкости.
очень сомневаюсь что там есть дискретные снапшоты (а ля ролик)
для каждого пикселя пишется суммарная инфа за все время экспозиции. вот размерность этих данных выше (обычно 10-12 бит на цвет)
такчто если на снимке оно уже смазано, то смазано и никакая обработка софтом готового снимка не поможет
иначе в фотошопе уже давно бы такое было
Спасибо, меня самого терзали сомнения) А где можно подробнее почитать про равки? На вики как-то слишком обще — «Sensor data хранит сенсор дата, это большой секрет и у всех по-разному»
ну собсно RAW он и есть «сырые», необработанные данные с сенсора
по разрядности АЦП будет размерность данных оцифровки после считывания информации
затем процессор камеры обрезает младшие разряды для подавления шумов + сжимает в тотже jpeg (с еще большей потерей информации)
В фотошопе нет информации о том, как двигался обьектив во время сьемки. Без этой информации обработка сильно усложняется.
imho даже при наличии этой инфы отфильтровать изображение нереально
изображение уже наложено и просуммировано
по фотке с колой пару основных моментов видно довольно неплохо, но колебания то идут грубо говоря синусоидой
по большому счету надо реально тестить такие вещи на специальном стенде (в частности такой использовался для тестирования систем стабилизации для видеокамер. к сожалению сайт сейчас не найду — еще в апреле смотрел. примерно аналог dpreview только для видеокамер)
Ну уж не так уж и нереально. Вот навскидку статья Шана High-quality Motion Deblurring from a Single Image. Там достаточно картинок, чтобы понять, что метод в общем-то работает. В статье Микрософта приводится сравнение с этим методом (в пользу Микрософта ессно). Математика там не очень простая. С Винеровским фильтром всё чуть проще — есть уже готовые библиотеки, например для того же МатлабаDeblurring with the Wiener Filter. При имеющейся информации о направлении перемещения качество фильтрации можно заметно повысить, о чем и изложено в статье.
С другой стороны, я считаю, повышение качества цифровой фильтрацией не сравнится с качеством механической коррекции.
Ага, а еще на самом деле в равке есть данные о погоде в точке съемки и поле зрения 360 градусов.
RAW содерждит в сыром (raw) виде информацию с матрицы + данные о настройках камеры. На основе этой информации обработчик raw соединяет каналы и получает общую картинку.

Принцип работы фототехники такой, что на определенное время открывается затвор, и за то время, что затвор открыт, происходит «засветка» фоточувствительных элементов.
Когда во время засветки происходит сдвиг источников света, то чувствительные элементы регистрируют половину одной картинки (до сдвига) и половину другой (после сдвига). И полчается «смазывание». То есть информация с матрицы (raw) априорно содержит смазанное изображение. И из нее ничего уже не соберешь. Только путем алгоритмической обработки.
Тут один выход, убрать физический сдвиг, как и работают стабилизаторы в объективах.

Итого: не пойму, как работает этот девайс.
Если равка не хранит таких данных, то единственное что приходит на ум, так это то, что ардуино кричит фотику — «а вот сейчас занос на 3 пикселя влево, так и лови их, ой, ёлы, на 10 вниз, вот же руки у него трясутся!»
Пишет информацию о том, как двигалась камера в процессе экспозиции. Потом эти данные даются на вход фильтра для постобработки.
Итого — алгоритмическая обработка, просто фильтр. Занятно…
Ну очень-очень грубо, как это могло бы работать: (без «специальных алгоритмов — черных ящиков».)
Самый простой вариант, камера движется в плоскости параллельной, плоскому изображению в течении интервала некого интервала времени. (вверх-вниз-диагональ с таким то ускорением.) В итоге у нас на матрице сумма нескольких изображений одного и того же объекта с известными смещениями.
Простейший случай картинка относительно себя сдвинута на пиксель влево.
abcdef
abcdef
Нам известны a и f и суммы a+b b+c c+d d+e e+f
ну вот мою идею придумали. правда я думал о видео. )
Некоторые серьезные люди вполне серьезно полагают, что идея не может принадлежать человеку. Это человек может быть во власти идеи.

А что до девайса, то очевидным образом при выполнении «проводок» он все испортит…
То есть эта штука записывает, как именно дрожала камера, и потом трансформирует равку, ставя свет на своё место? Блин, это же просто гениально.
UFO just landed and posted this here
Угу. Проблема в том, что если свет где-то сняли, то поставить его на место — нельзя. Можно попробовать додумать, что там было, не более того.
Что конкретно и на каком этапе делает этот стабилизатор? А то непросвещенному не очень понятна фраза
автоматически исправляет резкость изображения
Неужели инженеры компании Canon или Nikon не придумали это за долгие годы разработок систем стабилизации, а специалисты Microsoft за раз взяли — и решили эту проблему.
Стабилизаторы у Canon или Nikon механические, а здесь судя по всему чисто программный подход. Возможно просто свежий взгляд на проблему сыграл роль — часто бывает так, что люди, которые годами занимаются проблемой перестают видеть альтернативные пути ее решения просто потому, что очень глубоко зарылись в давно выбраное решение.
Плюс инновационный подход не работает с плёнкой.
Кстати да, старые стабилизаторы могли перекочевать с пленочных аппаратов и никто никогда не задумывался о том, что можно изменить подход.
С пленкой сложнее. Там даже матрицу вертеть нельзя :-). Приходится всю работу сваливать на объектив
Так вроде стабилизаторы в объективах и были. Это потом придумали матрицу трясти.
UFO just landed and posted this here
UFO just landed and posted this here
На дешевых мыльницах применяется и программная стабилизация, но там скорее всего фильтр просто.
Ну да, отличие только в алгоритме самого фильтра и используемых им данных (фотография + данные о движении камеры).
А где это на мыльницах программная стабилизация?
До сих пор все дешевые anti-shake, что я видел, тупо принудительно поднимали чувствительность.
Просто программный способ ограничен, можно лишь немножко искусственно поднять резкость (что и видно на иллюстрациях).

Механический сдвиг матрицы (Sony-Pentax) или оптического элемента (Canon-Nikon-Sigma) позволяет гораздо больше.

В первом случае речь только о фильтрации картинки, во втором уже сразу регистрируются корректные данные.

Хотя для компакт-камер решение с постобработкой отличное.
Так никто не запрещает совмещать оба подхода. Если хода оптики не хватает для коррекции (ну мало ли, у фотографа дикий тремор со вчерашнего =), то можно попробовать компенсировать программно :)
Штука в том, что механическая компенсация позволяет намного больше, чем программная.

Фильтр позволяет лишь чуть поднять резкость, причем, подозреваю, исключительно для линейных сдвигов, а оптический стабилизатор «держит» картинку при довольно больших отклонениях (с «кэноновским» стабилизатором этот процесс можно даже наблюдать в видоискателе).
не перестают видеть, а просто отметают по разным причинам.
собственно после первой же фотки на цифровом фотике я подумал о фильтре, который по трейсу от яркой точки на снимке (блик от солнца или далёкий фонарь) получит более-менее точную позицию камеры в пространстве и отфильтруем картинку используя эту информацию
А вы знаете, зачем нужны механические стабилизаторы?

Потому что никакая программа не стабилизирует датчики автофокуса.
Просто кому-то из Microsoft сильно надоело, что его фотик постоянно смазывает фотки.
Не фотик смазывает фотки, не фотик…
Ну, у пользователя какое ощущение: беру один аппарат — мажет, другой навароченный — не мажет. Значит дело в аппарате.
UFO just landed and posted this here
хех, привяжи гирю к мыльнице и получи идеальный стабилизатор :) все, патентую!
Готов спорить :)
Возьмите советский зеркальный Зенит с его хлопающим зеркалом и возьмите, ну например, Nikon FM2. Достаточно поснимать тем и тем, чтобы убедиться что многое зависит от камеры.
Вибрации, вызванные подъемом зеркала, затухают примерно в течении 2 секунд. Поэтому, даже при съемке со штатива рекомендуется использовать преподъем зеркала и задержку не на 2, а на 10 секунд
что-то колы захотелось… съезжу ка я в магаззино, хватит за компом торчать… :)
Кола — ЗЛО, выпей лучше кваса!
квас не кола — пей квас!
UFO just landed and posted this here
Ну, тут решение проблемы заключается не столько в самой плате Arduino (что с её помощью делается — как раз более или менее понятно), а в фирменном алгоритме (как указано в оригинальной статье, «an “aided blind-deconvolution” algorithm to automatically deblur images with spatially-varying blurs»), выполняющем повышение резкости изображения с учётом реального движения камеры при съёмке.

А алгоритма-то собственно, никто и не показал :)
Алгоритм описан вот здесь. С ядрышками, интегралами и прочими диф.урами.
Да, уже нашёл, правда пока не вчитывался.

P.S. В вашем комментарии ссылка судя по всему куда-то пропала, так что на всякий случай: ссылка :)
Угу, «насадку подключенную к сенсору».
Это не насадка, а весьма ощутимо переделанная камера.
И смысл не в том, что они выданный аппаратом результат обрабатывают, а в том, что за время экспозиции снимают данные с матрицы с повышенной частотой и обрабатывают с учетом показаний датчиков движения, при этом ощутимо убивая динамический диапазон и добавляя шумов.
Читайте внимательней — данные с матрицы никто не трогает. Во время экспозиции считываются лишь показания гироскопа и аккселерометра.
Будем надеяться, технология найдет воплощение в реальных девайсах и поступит в продажу.
Если еще и цены завышать не будут — вообще прекрасно будет. Я бы себе купил :)
UFO just landed and posted this here
Вы вообще пост читали?
«По заявлениям разработчиков, работает лучше, чем встроенные стабилизаторы в даже самых дорогих современных фотоаппаратах».

Если это в самом деле так — то речь не об изобретении велосипеда в стопицотый раз, а о новой технологии или как минимум алгоритме работы. И если он окажется в широкой продаже — я, как быдлофотограф, буду очень рад. А вы?
А я честно говоря, пока сомневаюсь в результате. Встроенный стабилизатор держит картинку резкой уже на матрице. Приведённая схема математически восстанавливает смазанную картинку с учётом показаний сенсоров. Понятно, что приведённая схема будет дешевле оптического стабилизатора в силу меньшего количества механики. Но вот по мне это всё равно что сравнивать оптический зум и цифровой.
Цифровой зум — это не зум, это фикция.
А тут идет работа с RAW форматом, который имеет много избыточной информации о составлении изображения.
Никакой ИЗБЫТОЧНОЙ информации РАВ не имеет, специалист вы наш.

В технологии от Мелкософта вся фишка по стабилизации ложиться исключительно на запись движения + фильтр восстановления картинки.

И выше правильно сказали. Никакой софт не заменит механическую стабилизацию на лету. Другое дело, что подобная стабилизация может помочь там, где бессильна механика (например при ночной съемке, где важно не качество, а сам снимок).
Никакой ИЗБЫТОЧНОЙ информации РАВ не имеет, специалист вы наш
ну тут с какой стороны посмотреть. для монитора (да и для бумаги), все что выше 8 бит — избыточность. Итоговое изображение содержит 8 бит на канал, а сырое — 12—16. Этот запас в 4—8 бит можно назвать «избыточным» и использовать его для «вытягивания» 8-битной картинки
Хорошо, тогда правильно сказать, что никакой избыточной информации для восстановления размытой картинки в RAW нет.

16 бит, кстати, пока еще не делают (и не будут, думаю). 14 предел.
Избыточная, необработанная, не суть разница.
Что есть фильтр восстановления картинки? Насколько я понял из вышесказанного, информация с датчиков записывается в метаданные и уже на стационарном компе восстанавливается картинка.
UFO just landed and posted this here
Я поверю результатам собственного мини-тестирования, когда приду в магазин покупать новую камеру и сделаю несколько проверочных кадров. Или не поверю — это уж как пройдёт :)
Есть большие сомнения. Пока ничего лучше внешний гиростабилизированных платформ не придумано.
А лучшие оптические стабилизаторы позволяют добавлять до 3-3.5 стопов
штатив по любому надежнее :)
прошивка, все такое — когда это войдет в аппарат конечно это будет безусловно кул

но пока взять 3 китайских гироскопа bit.ly/cs7Z2Z, 3 сервы, собрать рамку из алюминия простейшую и собрать механический стаб :) в домашних условиях (можно и на ардуине наклепать — просто сервами аппарат двигать)

и вцелом это немного напоминает историю про придумывание ручки для космоса, при возможности писать карандашом :)

у мну в соньке матрица «плавающая» (аналогично в Pentax)
данные снимаются все с тех же гиродатчиков и матрица сдвигается на соответствующее расстояние
и двигать матрицу весом в несколько грамм намного легче (момент инерции никуда не деть) чем килограммовую тушку камеры с оптикой
ну речь же про самоделку — стаб механический примерно как я описал — я делал дома
Круто! Было бы интересно почитать о Вашем опыте.
не сильно круто — ибо то что я делал откровенно безтолково, ибо руки все же не очень :)
привел пример ниже — народ видео снимает, да много кто — самодельные подвесы делает для АФ сьемки со стабилизацией
Присоединюсь к пожеланию, особенно интересно про алгоритмы обратной связи.
чем килограммовую тушку камеры с оптикой

ага, особенно с чем-то таким:
Если у вас есть деньги на подобное стекло — самоделки вам уже я думаю не нужны :)

А если цели и возможности другие то можно и собрать :) www.cinema5d.com/viewtopic.php?f=33&t=1143
Чел перед покупкой ещё и подкачался :)
Ну или после ))
Скорее в процессе
Мне почему-то кажется, что это фотошоп: эта сигма весит почти 16 кг — я с трубом представляю, чтобы её человек так держал, толком не напрягая мускулы. На практике ее никто без штатива же не будет…
нифигасебе, толком не напрягая.
у него ж сейчас трицепс лопнет и жилы на локте повздувались. и бицепс раздулся как шарик. и пальцы аж белые.
да ну ладно вам.
Видел где-то видое-инструкцию по созданию простейшего стабилизатора — болтиком прикрутить снизу к фотику веревку, на свисающий конец веревки наступить ногой, а руками с фотоаппаратом натянуть веревку. В таком натянутом состоянии руки не дрожат так как это типа-дополнительного упора )
Это не наши, случайно, придумали? :) Гениальное изобретение.
Сильно сомневаюсь, что напряженные руки, которые натягивают веревку, не будут дрожать, скорее наоборот — будут дрожать еще сильнее.
Купите штатив или монопод, это точно поможет.
штатив или монопод нужно еще и взять с собой и донести до места съемки, а по поводу веревки — зря сомневаетесь.
Вы сами-то пробовали? Я сужу по себе: в состоянии напряжения руки более подвижны, и вероятность небольшого смаза выше.
И потом, не знаю как вы, но многие вместе с фотоаппаратом скорее берут с собой небольшой штатив/монопод, а не кусок веревки.

Да, пробывал.
Суть не в том, что тянуть нужно что есть силы, а в том что бы просто натянуть, а натянув движение рук будет ограничено плоскостью сферы. 1-1,5 стопа добавляет.
Монопод ведь тоже не сам стоит.
Не сомневайтесь, проверьте. Этот пример приводился в старых советских книгах по фотографии (возможно и в зарубежных тоже). Пару лет назад на фото.ру этот метод всплыл и местные фотографы проверяли на практике — действительно работает.
Что ж, хоть и необходимости такой нет, но из интереса обязательно проверю.
Да набросьте на линзу петлю и болтики не надо вкручивать.
круто, все гениальное просто!

p.s. эхх недодумали, надо две! (формально лучше три) веревки, к земле под некоторым углом (по одной на ногу, третью соседу) только тогда будет исключено движение камеры в любую сторону (и веревка с минимальным натяжением).
UFO just landed and posted this here
Лучше бы винды допилили до мак оси а не всякую ненужную хрень выдумывали. Вибростабы в объективах вполне справляются.
в некотором роде да, только в данном случае идет еще и сложение последовательных кадров и способ получения информации о смещении другой
Кому что, я увидел Порш у сотрудника майкрософт, яростно завидую! :)
UFO just landed and posted this here
Почему-то кажется, что фотки сняты на телефон Нокия, а не на ФФ с L-кой.
UFO just landed and posted this here
Была мазня по всему кадру, стала мазня почти по всему кадру…
Понятно что софтовая стабилизация — способ, сравнительно недорогой, но приведенные примеры никак не склонили в ее пользу. Мне кажется что стабилизированная матрица, на данном этапе, куда интереснее (кажется, пентакс такое делает).
Стабилизированная матрица не дает стабилизированных датчиков автофокуса. Это, прямо скажем, не подарок.
Судя по фото с холодильником, алгоритм еще есть куда совершенствовать.

Кроме того, есть определенные сомнения в том, что вычислительная мощность фотоаппарата позволит фильтровать изображения мгновенно (полагаю, там приходится решать систему из тысяч уравнений и переменных, а затем все найденные решения проверять на правдоподобность). Т.е. некоторое время пользователь не будет знать, удалась ли фотка или нет, и это создаст неудобства при реальной съемке.

Вы удивитесь, но при «реальной съемке» даже на цифре «пользователь» далеко не всегда знает, удалась ли фотка — экранчик сильно неполноценен. Что уж говорить про пленку…
У меня такое чувство, что те фото сделаны так: на штативе сделали хорошее фото, а потом в фотошопе сделали его плохим и вышло 2 изображения :) Из хорошего → плохое.
Просто если руки трясутся, то не может быть 2х таких одинаковых фото…
«по заявлениям разработчиков, работает лучше, чем встроенные стабилизаторы в даже самых дорогих современных фотоаппаратах»
Я вот никак не могу найти, а где же разработчики это сказали? А если сказали, то где две картинки для сравнения?
Sign up to leave a comment.

Articles