Мультиапертурная камера Light L16

[krazzzer.livejournal.com]

Оригинал взят у krazzzer в Мультиапертурная камера Light L16

Ну что же, встречайте будущее фотографии:



Камера пока космически дорогая, $1700. И пока не продается, купить невозможно. Первые поставки обещают через год, но не факт что получится (и совсем не факт что по этим ценам).

Но это пока не важно. Эта камера - первая ласточка, наверняка со временем подтянутся разные кэноны-никоны-самсунги, запустят массовое производство подобных продуктов и цены капитально подсядут.

Но что мы имеем?
Камера в состоянии снимать с разными фокусными - и очччень разными. При этом это не просто фотографии с разных модулей, картинка собирается сразу с десятка камер и пользователь получает синтетическое изображение.
Она может собрать синтетический снимок в разрешении 52 мегапикселя.
Так как изображение синтетическое, то шумы при низком освещении будут намного меньше заметные, чем сейчас.
Ну и самое сладкое - камера может выдавать карту глубины (z-bufer), как уже описанная мною Lytro. А вот это уже неимоверно круто! Вот рекламное видео пока несуществующей камеры:

Кто не понимает что дает карта глубины:

1. Камера в состоянии фокусироваться ПОСЛЕ съемки. То есть размывать ли задний фон и насколько размывать - это решается в процессе пост-обработки. И результат таков, что никакими фильтрами по никакой нарисованной маске так не сделать.

2. Возможно применение фильтров по глубине. К примеру - то, что на переднем плане цветное, но оно постепенно с отдалением переходит в черно-белое. Или все, что в отдалении - закрыто туманом, а при приближении предметы потихоньку из тумана вырисовываются. Или баланс белого на передних предметах уведен в желтое, а на задних в синее... Все это гарантировано будет любимыми фильтрами в инстаграмме :D

Но самое крутое начнется, когда такие камеры научатся снимать видео.
Сейчас, чтобы снять актеров отдельно от фона, нужно снимать их на зеленом фоне (ну или синем), а потом удалять последствия зеленых рефлексов и бороться с зеленоватыми полутонами в развевающихся волосах.
С такой камерой это станет намного проще - можно будет просо обрезать все, что по глубине дальше актеров, и если для студийной съемки это не так критично, то возни с 70-метровыми зелеными экранами на природе уже не будет. Для любителя это вообще подарок, ведь зеленый тканевый хромакей размером 2x4 метра стоит порядка $50, а его нужно еще чем-то освещать, при этом освещать равномерно (и так, чтобы на актера свет не попал).

НО! Представьте себе ситуацию - вы сняли с картой глубины безлюдное пшеничное поле (ну или березовый лес). А потом - сняли в городе толпу народа, которые просто переходят переход, также с картой глубины.

У народа отрезаем по глубине город с проводами и совмещаем оба видео в редакторах по глубине. Результат - люди корректно идут между берез или между колосьев. Сейчас, чтобы это получить, нужно многодневная работа по совмещению. Эта же камера сделает подобную задачу тривиальной. Любители легко смогут снимать фильмы, по спецэффектам сравнимые с сегодняшними профессионалами.

Запасаемся попкорном и ждем результата.

Вот официальный сайт камеры, если кому интересно почитать первоисточник на английском.

Comments

[krazzzer.livejournal.com]

Про голографизацию методик - согласен. Это уже вторая попытка, первая (с Lytro) была еще более "голографична", что ли, там один пиксел снимали с массива пикселей, у которых разные микролинзы.

А вот как раз стереосистема не решает. Попытки получить из нее карту глубины постоянно проводятся, только вот результат плачевный.

То есть еще в фото оно работает, но в видео - плавают контуры и прочие прелести. А что творится с полупрозрачными объектами просто ужас.

Единственный метод, когда помогает глубина со стерео - это построение 3д-модели, на которую натягивается видео как текстура. Всякие Nuke и Fusion это все умеют.

[fan-d-or.livejournal.com]

Если работает в фото - то будет работать и в видео!
Отставание видео объясняется лишь большим объёмом математической обработки - то есть, в конечном итоге мощностью вычислителей.

ХИНТ: конечная точка эволюции 3Д-моделей - это тоже голограмма!
И здесь также очевидна прямая зависимость от вычислителя - по объёмам выборки и по эффективности алгоритмов.
Как только будет достигнута избыточность цифровой компоненты по отношению к первичному образу - так всё и придёт к единственной универсальной технологии.

Что касается пресловутой карты глубины - то это элементарно решается увеличением стереобазы.

ХИНТ: в идеале (при отсутствии ограничений на мощность пост-обработки и разрешение матриц) достаточно иметь три точки фиксации поля.
Увеличение количества точек позволяет компенсировать недостаточное разрешение матриц.

ИТОГО: формально технология проста - по трём точкам фиксации строится виртуальная голограмма, а уж из неё можно вырезать любой художественный образ.

Все ужимки и прыжки разработчиков на сегодняшнем этапе эволюции обусловлены лишь недостаточностью вычислительной мощности и разрешения первичных матриц...

[krazzzer.livejournal.com]

"Если работает в фото - то будет работать и в видео!"

НЕТ
Больше скажу - даже те методы рендера, которые годятся для статической картинки не годятся для видео.
При этом выгляди ужасно - прыгают тени и дребезжат контуры. А если всякими "умными фильтрам" на посте это править, то выглядит не лучше, появляются замазанные зоны, которые сами по себе привлекают внимание.

Тут будет один-к-одному.
Особенно будет рубить motion blur, который в видео должен быть обязателен, иначе появляется строб.

То есть: если картинка на видео статичная и камера не двигается, то будет все более-менее терпимо, а вот как только появится движение - все посыпется к чертям.

Карта глубины не решается увеличением стереобазы. Это дает только распознавание дальше от камеры.
А вот возьмите случай - у вас в комнате идет подоконник, чисто горизонтально, по цвету белый (или стена или другая равномерная плоскость), Получение из такой стереобазы карты глубины - та еще задача. И очень хорошо, если результат хотя бы не гуляет по глубине от кадра к кадру...

>>ХИНТ: в идеале достаточно иметь три точки фиксации поля

А вот похоже, что в этой камере нечто подобное и сделали, уж слишком затейливо расставлены датчики.
Но видео... с мошин блюром... оччччень сомнительно. Эта камера не будет снимать видео.

[fan-d-or.livejournal.com]

>>НЕТ
>>Больше скажу - даже те методы рендера, которые годятся для статической картинки не годятся для видео.
>>При этом выгляди ужасно - прыгают тени и дребезжат контуры. А если всякими "умными фильтрам" на посте это править, то выглядит не лучше, появляются замазанные зоны, которые сами по себе привлекают внимание.

Вы элементарно не понимаете базовую физику - которая строго одинакова и для динамики, и для статики.
Вся видимая на данный момент разница обусловлена лишь урезанностью алгоритмов, используемых для динамики - приходится выбирать быстроту, а не точность.

>> Карта глубины не решается увеличением стереобазы.

Увеличение стереобазы снижает требования к разрешению при определении вектора на первичный пиксел.

ХИНТ: описываемая мной система из нескольких 2Д-матриц, посредством которых производится фиксация кадра, синтезирует 3Д-матрицу, описывающую ПОПИКСЕЛЬНО первичный объект. Именно ПЕРВИЧНЫЙ ОБЪЕКТ, а не его проекцию на фокальную плоскость.
Для вычисления 3Д-матрицы необходимо построить таблицы векторов, связывающих попиксельно 2Д с 3Д. А математика, используемая для этого, простите, называется "тригонометрией" - где тригонометрические функции имеют существенно разные разрешения на разных своих участках.
Поэтому узкая база требует существенного повышения разрешения первичных фиксирующих матриц. Очень существенную.
Увеличение базы выводит функции на участки с приемлемой крутизной - потому недостаточное разрешение фиксаторов вполне можно компенсировать именно увеличением исходной стереобазы...

[0serg.livejournal.com]

Уважаемый fan_d_or, Вы "не в теме" и теоретизируете впустую, а вот Ваш оппонент хорошо понимает о чем говорит. Реконструкция из стерео - задача с неоднозначным (и в существующих методах - очень приблизительным) решением, поэтому для видео важно чтобы оно было согласовано между кадрами. Увеличение стереобазы конкретно для кино бесполезно. Да, это верно что чем больше стереобаза, тем лучше разрешение по глубине но в кино не используют карту глубин "саму по себе", она нужна для реконструкции плоских изображений и точность этой реконструкции практически не меняется от роста стереобазы (и даже ухудшается для существующих методов на большой стереобазе, вообще говоря)

[fan-d-or.livejournal.com]

Кино нынче - это 3Д в гораздо большей степени, чем фотография.
Именно кино идёт к псевдоголографии - несмотря на все проблемы чисто обработческого плана.
Но считать наличие этих временных проблем истиной в последней инстанции - это не понимать именно суть физических процессов.

И ещё раз: с точки зрения теории между видео и фото нет никакой разницы!
Абсолютно!

[0serg.livejournal.com]

Любое 3D кино нынче оперирует плоскими изображениями (как вариант - lightmap-ом, который по сути почти то же самое). Непосредственно "по глубине" системы есть только чисто демонстрационные и унылые. При этом даже если предположить что когда-либо в будущем такие системы будут использованы в кино, то все равно при просмотре с одного "направления" (из зрительского зала с неподвижным зрителем) эффекта от улучшенного разрешения по глубине не будет. Вот если обойти сцену "сбоку" то выгоду от большой стереобазы можно увидеть. Но это уже не кино в современном понимании этого слова будет.

С точки зрения теории разницы нет, а с точки зрения практики - еще как есть

[krazzzer.livejournal.com]

С точки физики - разницы нет. Проблема только в том, что человек не наблюдает этот физический мир непосредственно, а через очень несовершенный прибор - человеческий глаз и при этом обрабатывает не очень совершенным компьютером - человеческим мозгом.

А так как кино появилось не сейчас, то в нем устоялись некие правила показа, весьма далекие от физической реальности, но привычные для обработки мозгом. Поэтому разница ОЧЕНЬ большая, даже гигантская.

Помните - что фотография и кино это продукты потребления и должны именно так и рассматриваться.
Можно сделать очень качественную пищу, которая "не пойдет" потому, что банально невкусно. В пище должно содержаться нечто "вредное", чтобы она была вкусной.

Поэтому при производстве что фото, что кино - есть отработанные алгоритмы добавления этого "невкусного", то есть физически некорректного. Причем для фото и для видео это некорректное - РАЗНОЕ.

[fan-d-or.livejournal.com]

Вы пытаетесь вынужденные ограничения локальных технологий абсолютизировать - только и всего.
При достижении параметров, перекрывающих эти ограничения, разница неизбежно исчезнет.

[krazzzer.livejournal.com]

Разница не исчезнет - даже если входные данные будут абсолютно одинаковы, обрабатывать их будут диаметрально противоположно. Собственно, это и происходит.

[fan-d-or.livejournal.com]

Ну, в очередной раз вы демонстрируете принципиальное непонимание...

[krazzzer.livejournal.com]

Это вы не сталкивались с обработкой ни одного ни второго. На практике - сознательно из одного источника делают разные результаты.

[krazzzer.livejournal.com]

>>Вы элементарно не понимаете базовую физику - которая строго одинакова и для динамики, и для статики

Проблема в том, что я писал не про физику, а про восприятие. То есть тут - вопрос в биологии, с какой задержкой работает глаз и как это потом обрабатывается мозгом.

И на сегодня вопрос не в том, что алгоритмы для статики урезанные - сегодня они РАЗНЫЕ. Я не скажу что будет лет через двадцать, но на сегодняшний день оно именно так, я ходил по этом граблям.

>>Увеличение стереобазы снижает требования к разрешению при определении вектора на первичный пиксел

И увеличивает параллакс, вплоть до ощущения "что-то не так".
То, что хорошо для стереотрубы, убийственно для макро-камеры. Здесь стереобаза наверняка выбрана так, чтобы "и вашим и нашим".

Физика может быть идеальна, а реальный мир всегда подбирает под конкретный случай, увы. Поэтому сейчас много дешевле увеличивать разрешение матриц - вплоть до дифракционного предела, а в случае синтетического изображения с десятка объективов (как здесь) даже выше, чем увеличивать стереобазу за предел десяти сантиметров, когда девайс станет неудобно держать.

[fan-d-or.livejournal.com]

>> Проблема в том, что я писал не про физику, а про восприятие. То есть тут - вопрос в биологии, с какой задержкой работает глаз и как это потом обрабатывается мозгом.

Полагаю, что в этой области вы заблуждаетесь ещё больше.
А физика - она в основе восприятия в любом раскладе...

>> И на сегодня вопрос не в том, что алгоритмы для статики урезанные - сегодня они РАЗНЫЕ.

Они разные именно и только в силу существенного ограничения в быстродействии - что вынуждает урезать обработку, ограничиваясь минимумом-миниморумом.

ХИНТ: всё это проходилось парой десятилетий ранее в отношении цифрового звука - точно так же "теплый аналоговый звук" существовал только в силу недостаточности разрешения в цифровой части.

>> я ходил по этом граблям.

Каждый свободен в выборе граблей для хождения...

>> И увеличивает параллакс, вплоть до ощущения "что-то не так".

Вот опять вы свои собственные ограничения в представлениях проецируете на идеальную систему...

>> Физика может быть идеальна, а реальный мир всегда подбирает под конкретный случай, увы. Поэтому сейчас много дешевле увеличивать разрешение матриц - вплоть до дифракционного предела, а в случае синтетического изображения с десятка объективов (как здесь) даже выше, чем увеличивать стереобазу за предел десяти сантиметров, когда девайс станет неудобно держать.

В каждый исторический момент технологии в целом ограничены наиболее слабым звеном - а это, как уже сказано, и разрешение фиксирующих матриц, и тормознутость алгоритмов пост-обработки.
И добавляется и там, и там, как только появляется возможность - каждый раз новый уровень объявляется прорывным.

Что касается мультиобъективной системы при ограничении размера стереобазы - то это очевидный костыль относительно идеальной системы: дополнительная пространственная информация извлекается всё равно за счёт первичной оптической обработки (разного фокусного расстояния).
Это неизбежно ведёт к потере первичной информации.

[krazzzer.livejournal.com]

>>А физика - она в основе восприятия в любом раскладе

С точки зрения физики съемка что 24 кадра в секунду, что 60 - разницы не будет совсем.
Однако попытки показать в кинотеатра 60 к/с провалились - зрители оценили изображение как "не киношное", "слишком натуралистическое".

Не скажете, как с точки зрения физики оценить "не круто"?

>>И добавляется и там, и там, как только появляется возможность

Да, добавляется.
Проблема только в том, что немногие из этих добавлений "идут". Многие не воспринимаются именно по культурным соображениям. То есть древним как дерьмо мамонта и доставшихся нам даже не из собственного детства, а из детства прадедушек. Вот как пример выше. И потребителям плевать насколько у вас идеальная система. Потребители неидеальны и им "не нужна вечная игла для примуса, они не собираются жить вечно".

И, кстати - потребителю все равно сколько вы потеряли первичной информации. Просто потому, что у потребителя есть порог "годится-не-годится". Когда порог "годится" перейден, остальное избыточно. Расстояние до Парижа хорошо измерить с точностью до километра, но с точностью до микрона... а зачем?

[fan-d-or.livejournal.com]

>> Не скажете, как с точки зрения физики оценить "не круто"?

Элементарно, Ватсон! (с)...

Испортить "теоретический идеал" до "привычного стереотипа" технически не составляет никакого труда - в отличие от попыток подтянуть технический предел до неощутимого органами чувств.

ХИНТ: абсолютно аналогичная ситуация возникла в бродкасте в момент перехода от АМ-вещания к FM - в первом случае полоса ограничивалась на уровне 6...8 кГц, против 12...15 кГц для FM.
В течении нескольких лет сбыт высококачественных приёмников сдерживался привычками потребителей - так, что производителям пришлось принять специальные меры по раскрутке нового стандарта. В частности, были придуманы "комбайны" и "радиолы" - в которых высококачественный радиотракт дополнялся выскокачественным проигрывателем с "микрозаписью" (33 об/мин).

ХИНТ: и ещё - в моём звукорежиссёрском арсенале была куча примочек-ухудшайзеров, имитирующих артефакты "живого" (не стерильно-цифрового) звучания. В том числе, "тейпизаторы", ака имитаторы аналогового магнитофона.

Для получения субъективно комфортного звучания применение подобных примочек было ключевым ноу-хау...

>> Да, добавляется.
Проблема только в том, что немногие из этих добавлений "идут". Многие не воспринимаются именно по культурным соображениям.

И культурные соображения эволюционируют.
И, главное, артефакты обыгрываются Художником - не забывайте, что речь о ХУДОЖЕСТВЕННОМ ПРОИЗВЕДЕНИИ, а не о документировании физического эксперимента.

В чёрно-белом кино - своя прелесть, которая не отменяет шедевров кино цветного.
При этом, получить из цветной ленты чёрно-белую - проще простого.
Вот обратная задача пока не решена (всё, что делается в отношении раскраски старых лент - это вопрос переоформления авторских прав, но нового искусства это не создаёт).

>> И, кстати - потребителю все равно сколько вы потеряли первичной информации.

Но творчески продвинутому Художнику, создающему новые объекты ИСКУССТВА (то есть, новые стандарты зрительского восприятия) очень не всё равно.
И существенная разница состоит в том, чем ограничения задаются - творческой фантазией или чистой технологией.

ХИНТ: что характерно - среди художников точно так же существуют стереотипы восприятия. Я много консультировал музыкантов в части использования цифровых технологий - и знаю, что для большинства много проще сдуру напороться на артефакт и воткнуть именно его в композицию, как фишку - чем вычислить, чего именно хочется в творческом плане и потом это тупо нарулить в оборудовании.
Так, что про то, что "так принято" - мне рассказывать не надо. И возможности технологий "до донышка" я знаю и использую, как мне хочется, а не так, как получится...

[krazzzer.livejournal.com]

>>Испортить "теоретический идеал" до "привычного стереотипа" технически не составляет никакого труда

Да, именно так! Тут вы абсолютно правы. Вопрос только в том, что для фото и видео требуется портить по-разному. И производители техники это знают - и встраивают в сами девайсы такую обработку, чтобы нужно было минимально допорчивать пользователю. И это правильно.

>>И культурные соображения эволюционируют

Да, верно. В случае с кино на это требуется примерно два поколения. Увы.

>>При этом, получить из цветной ленты чёрно-белую - проще простого.
Вот обратная задача пока не решена

А я скажу больше - она НЕ МОЖЕТ быть решена.
Потому что композиция кадра и исходя из нее режиссерские решения построены на черно-белой картинке, где цветные акценты все поломают.
Вспоминаем последний фильм Германа "Трудно быть богом", он не зря черно-белый, я у себя в ливжурнале даже описывал почему это так (http://krazzzer.livejournal.com/25739.html).

P.S. Главное непонимание между нами в том, что вы занимаетесь звуком, а я - картинкой. В звуке соооовсем другие подходы, наверняка сами сталкивались с разницей.

[fan-d-or.livejournal.com]

>> А я скажу больше - она НЕ МОЖЕТ быть решена.
Потому что композиция кадра и исходя из нее режиссерские решения построены на черно-белой картинке, где цветные акценты все поломают.

Безусловно.
Но есть достаточно широкое пространство фильмов прошлых эпох, где цвет отсутствует сугубо по технологическим или экономическим причинам - поперёк воли Художников их создававших.
В этом случае возможно использование более совершенного искусственного интеллекта в роли ремесленника-маляра с правильным результатом.

>> Главное непонимание между нами в том, что вы занимаетесь звуком, а я - картинкой. В звуке соооовсем другие подходы, наверняка сами сталкивались с разницей.

Главное непонимание между нами в том, что вы занимаетесь проблемами одного технического домена и судите исключительно по критериям этого домена, а я занимаюсь проблемами творчества в целом и сужу о проблемах с уровня на несколько структурных этажей более высокого, имея при этом универсальную базовую техническую подготовку также абсолютного уровня.

[krazzzer.livejournal.com]

>>есть достаточно широкое пространство фильмов прошлых эпох, где цвет отсутствует сугубо по технологическим или экономическим причинам

А не имеет значения по каким причинам. Потому что отсутствие цвета это такой же инструмент, как и наличие.
Раскрашивать черно-белые фильмы, это все равно что озвучивать голосом актеров в немых фильмах.

>>а я занимаюсь проблемами творчества в целом

Тогда очень странно, что вы не понимаете базовых вещей творчества, одну из которых я написал строчкой выше.

[fan-d-or.livejournal.com]

Есть конкретный пример, опрокидывающий ваши тезисы - Леонид Быков мечтал снять своих "Стариков" именно в цвете, но плёнку ему не дали.
И раскрашенная лента очень прилично смотрится даже несмотря на убогость нынешних технологий.
Реально фильм становится лучше - "правильней".

А вот Лиозновские "Мгновения" в раскраске - это невообразимый кошмар.
Тут ваши тезисы работают - всё верно.

Но наличие первого пункта показывает, что вы видите картинку не объективную, а желательную вам...

[krazzzer.livejournal.com]

А какая разница в чем он мечтал снимать? И мне (и далеко не только мне) кажется, что цветная версия - более убогая.

И напоминаю - Тарковский снимал "Сталкера" два раза. Первый цветной вариант пошел в брак. То есть он вроде тоже хотел... и даже снимал... ну и что? Цветной вариант оказался никому не нужен.

P.S, Никто не видит объективную картинку, включая вас.