Стабилизирования псто...

[lazy-flyer.livejournal.com]

Оригинал взят у lazy_flyer в Стабилизирования псто...

Не только лишь все знают, что в эпоху мегапиксельных матриц одной из самых-самых проблем есть смаз.
Не стану вдаваться в детали, откуда он берётся, это сейчас не имеет значения. Важно, что он есть, он неприятен и с ним нужно бороться.
Есть два пути. Стабилизация оптики.

Когда для компенсации вибраций шевелят частью объектива.
И стабилизация матрицы. Почему то называется 5-ти осевой.

В мире БЗК считается дурным тоном не иметь такого, а у зеркальщиков кажется только Pentax.
Принципы разные, цель одна - борьба со смазом. Но в фотоаппарате, даже дважды обрезанном 4/3 размер пикселя матрицы будет просто гигантским по сравнению с матрицой тапкофотика. А ведь там уже давно идёт гонка мегапикселей. И точно так-же существует проблема микросмаза.
До сих пор в телефонах применялся только метод оптической стабилизации.

Но вот на днях компания OPPO показала матричный стабилизатор.

В отличии от фотоаппаратов, где размер позволяет затолкать в корпус сложную, большую и тяжёлую систему из магнитов, катушек и подвесов, система OPPO использует технологию MEMS - микроэлектромеханическую.

Характеристики обещают заманчивые.
Точность на уровне 0,3 микрометра, по сравнению с 3-5 для оптической системы. Что крайне важно для матрицы с пикселями в 1 микрометр.
Скорость - 15 миллисекунд, по сравнению с 50 и более для оптической схемы.
Ждём появления первого тапкофотика с матрицой 20 МП и pixel-shift...

Comments

[drvit.livejournal.com]

Есть три пути: третий это преобразование обратное данному "смазу". Замеряется при съёмке датчиками ускорения, исправляет "смаз" давно, очень хорошо и по нынешним вычислительным мобильным мощностям очень быстро (доли секунды). Одна из давнишних работ на эту тему:
http://research.microsoft.com/en-us/um/redmond/groups/ivm/imudeblurring/
Иногда можно даже без замера, вслепую, но это дольше и менее качестенно. Часть теории простым языком описана, например, тут: https://habrahabr.ru/post/147828/

[lazy-flyer.livejournal.com]

Не путайте пожалуйста борьбу со смазом и борьбу с последствиями смаза.

[drvit.livejournal.com]

С точки зрения пользователя никакой особой разницы нет. Если на выходе есть хорошее резкое фото, никого, кроме инженеров, не волнует, как оно было получено.

[lazy-flyer.livejournal.com]

Вы наверное достаточно смутно представляете себе, какие требования к качеству фотографии выдвигают фотографы?

[drvit.livejournal.com]

Требования простые -- нажал на кнопку и дома и чем резче, тем лучше. Поэтому в борьбе за максимальную резкость алгоритмам особой альтернативы в общем-то и нет: как ни бейся в "физическом мире", а даже и без "шевелёнки" небольшие ХА всё-равно есть, да и даже в зоне резкости PSF это далеко не точка, особенно в непараксиальной области.

[lazy-flyer.livejournal.com]

Какой стороной смаз от движения к хроматике, которая произрастает из оптики?
(http://ic.pics.livejournal.com/lazy_flyer/24720684/271268/271268_original.jpg)
(http://ic.pics.livejournal.com/lazy_flyer/24720684/268875/268875_original.jpg)
(http://ic.pics.livejournal.com/lazy_flyer/24720684/265091/265091_original.jpg)
(http://ic.pics.livejournal.com/lazy_flyer/24720684/265705/265705_original.jpg)
(http://ic.pics.livejournal.com/lazy_flyer/24720684/265934/265934_original.jpg)

Если у вас нет информации - вы не сумеете никакими приобразованиями её получить. Её просто нет. Если вопрос стоит отличить на фото пса от кота - то это одно. А если нужна оптическая детализация - совсем другие проблемы.

[drvit.livejournal.com]

ХА это просто пример ещё одного искажения, с которым борьба идёт в том числе и алгоритмически. Сейчас это вставляют включенным в фотоаппараты по умолчанию, а до этого в популярных фото-редакторах это появилось лет 15 назад, и все этим пользуются, как раз в погоне на "качеством фотографии".
А информация у нас как раз есть: запись с датчиков IMU в момент съёмки это как раз та самая информация, которая и позволяет повысить резкость фотографии. Даже если на "сыром" фото не видно, кот это или пёс, то это не значит, что там нет информации -- может, просто снято сие было с помощью кодирующей апертуры, так что пара секунд вычислений и резкая картинка готова.
Для коррекции той же ХА недостающая информация добывается предварительными замерами для данного объектива с занесением в базу данных, которая фоторедакторами для улучшения резкости и используется.

Почему повсеместно не используют замеры с IMU для повышения резкости фотографий при "шевелёнке"? Полагаю, законы рынка таковы, что это пока не очень выгодно чисто экономически. Но стоит одному производителю не удержаться и преподнести это как конкурентное преимущество, как через год-два это появится у всех, потому что технически к этому всё уже давно готово.

[lazy-flyer.livejournal.com]

Эээээээ...
Скажите, какая должна быть разрешающая способность датчиков перемещения для компенсации смаза при размере пикселя матрицы в 4 микрона?
Как компенсировать алгоритмически смаз, который возникает при перемещении камеры во время съёмки с выдержкой 1\30 секунды, к примеру?
Как бороться со смазом, который банально заезжает на соседние пиксели, а нужна попиксельная резкость?

[drvit.livejournal.com]

Разрешающая способность датчиков перемещения точно такая же, как у датчиков перемещения, по показаниям которых формируются управляющие сигналы для стабилизатора в объективе или на матрице. Рынок мемс-датчиков перемещения вышел на асимптотику по точности довольно давно (а жаль). На все остальные вопросы ответы даны подробно и с картинками по ссылке из моего комментария выше, даю прямую ссылку на картинки и пояснения: http://research.microsoft.com/en-us/um/redmond/groups/ivm/imudeblurring/DeblurringSlidesSiggraph10.zip

[lazy-flyer.livejournal.com]

У вас по ссылке zip файл. Даже не стану пытаться открывать. :))
Так вот, программное лечение смаза.
Съёмка на 1\15 сек.
Вы пишете куда то в файл данные о перемещении матрицы.
Перемещении в течении 1\15 сек.
Которые из данных принимаются как исходные при восстановлении?

[drvit.livejournal.com]

По ссылке показан результат с выдержкой 1/3 сек с рук на типовых ФР. Исходными данными являются: "смазанное фото", сведения, полученные от объектива, и запись с датчиков движения фотоаппарата для всего интервала экспозиции.

[govnodima gd (from livejournal.com)]

Ребята мне кажется вы спорите в разные стороны, один утверждает что алгоритмы обработки изображений позволяют получать качественные и красивые фотки для вставить в рамку даже если где то нет фокуса, оппонент настаивает на том что без четкого сигнала с матрицы не получить четкий картографический снимок, ну например чтобы рассмотреть номер дома или понять светофор или просто столб если на снимке они занимают десяток пикселей...
Как часто бывает каждый прав по своему

[lazy-flyer.livejournal.com]

По ссылке я не вижу фото. Вернее, там есть фото. Но не знаю, для кого оно считается нормальным.

[drvit.livejournal.com]

А есть лучшие решения? По возможности с данными съёмки и результатами в виде фото.

[lazy-flyer.livejournal.com]

Вам показать пример фотачек, сделанных объективом со стабилизацией? Или что вам хочется увидеть?
Вами показанное мало кто сможет назвать фотографией.

[drvit.livejournal.com]

Прям как-то не уместно в техническом вроде бы сообществе пояснять, как производится сравнения конкурирующих технологий... В схожих условиях, разумеется. В статье 6-летней давности условия описаны вполне подробно: выдержка -- 1/3 сек, смещение изображения на матрице за время выдержки -- больше 10 пикселей в поперечнике.

[lazy-flyer.livejournal.com]

Видите ли...
Мы с вами под фотографией понимаем несколько отличные вещи.
(http://ic.pics.livejournal.com/lazy_flyer/24720684/160272/160272_original.jpg)
(http://ic.pics.livejournal.com/lazy_flyer/24720684/158720/158720_original.jpg)
(http://ic.pics.livejournal.com/lazy_flyer/24720684/160021/160021_original.jpg)
Вот примеры мазни, сделанной с рук, ночью. Объективом с OS - Nikon 16-85.
Никакой алгоритм обработки не улучшит детализацию.
А фотография подразумевает не картинку, на которой лицо кота можно отличить от лица человека. А что то более качественное.

[drvit.livejournal.com]

После всех пояснений и ссылок упорно приводить для сравнения фото с выдержкой 1/25 секунды, да ещё и с неизвестной амплитудой и скоростью дрожания фотоаппарата, это так по-гуманитарному. Пожалуй, пора заканчивать этот ставший бесполезным тред.

[lazy-flyer.livejournal.com]

Пожалуй пора перестать выдавать невнятную мазню за фотографию?

[asc-ii.livejournal.com]

позвольте некрокомментарий
как сказали выше, вы о разных вещах спорите
OPPO - контора ширпотребная, ей всё это нужно, чтобы в телефоны вставлять
матрицы давно уже нанометрические, 20мп никого не удивляют, тогда как фоточки в 20мп и 32 бита даром никому не упёрлись, слишком огромные получаются
поэтому нет никакой проблемы с 20мп матрицы получать 4мп картинку алгоритмически с помощью кучи имеющихся в любом смарте датчиков

микрософт в люмии так и сделал - захерачил 40мп, из которых процесор получает достаточно информации для резких и с нормальным светом и шумом фоточек на 4-6-8мп

в зеркалке же без стабилизации, конечно, не обойтись, потому что зеркалкой котиков в инстаграмм постить неудобно и глупо, а вот птичек за 500 метров тысячным объективом снимать - очень удобно, только каждый пиксель на счету уже будет для последующей обработки

[lazy-flyer.livejournal.com]

Ээээээ...Комментарий хорош, но я уже малость позабыл суть спора. :)))

[vlkamov.livejournal.com]

Хороший ответ. Если фотографы в состоянии сформулировать требования, то инженеры смогут их реализовать.