Безлинзовая камера? Объясните суть!

[velikoff.livejournal.com]

Сегодня на одном русскоязычном сайте наткнулся на статейку, перевод недавноизобретенной камеры без объектива. Не буду говорить адрес перевода, приведу две статьи: оригинал и другое изобретение.


Насколько я понимаю, обычный объектив (линза) в котором за счет преломления света из-за разной скорости прохождения света в зависимости от длины волны и толщины стекла, фокусирует наш мир (большое пространство) на поверхность матрицы фотокамеры (маленькое пространство). И элемент в зависимости от параметров, преобразует облучение в электрический сигнал.

В "изобретенном" нет объектива из линз или микролинз. Как я понял, там какая-то решетка. Да плюс еще и элементы матрицы "записывают" так называемую "линейную комбинацию света от множества элементов пространства".

Хочу уважаемых инженеров, техническим, но понятным языком, объяснить мне суть изобретения.

Если решетка, то там что, дифракция происходит? Если элемент матрицы записывает не один, а много элементов информации, то это что, внутренний объектив? И сколько ж глубина должна быть самой матрицы и сколько элементов должно быть? И самое главное, фокус-то как наводится?! Часто ведь нужно резкость навести на определенный объект, как в изобретении это сделать? Решетку двигать? А или вот взять, к примеру, камеру обскура и ее современные реализации, когда из консервной банки делали камеру. Там же масса трудностей была. Для решения их и придумали объектив! Потом, такие нюансы как широкоугольность, как с ней быть? Был прикол, сделать из сенсора мышки камеру. Ну да, текст она могла бы показать, двумерную картинку, не более. Там все без решетки было.
Ну и прочие вопросы...

Comments

[22sobaki.livejournal.com]

Разговор про это (https://geektimes.ru/post/271278/)?

[velikoff.livejournal.com]

Да. Но я не очень люлю хабр и его детища, по этому не ставил ссылку, гуглится и так-легко

[basky62.livejournal.com]

Осподя, да это про это https://nplus1.ru/news/2015/11/25/flat-camera. Просто аффтар не могёт пользоваться контекстным поиском и кипиш плавно переходит в научное сообщество...

[lazy-flyer.livejournal.com]

The disadvantage, at least for the moment, is that it takes time to acquire the data for each image. So the camera only creates images of still scenes.
Это к вопросу о возможностях съёмки.
Unlike a traditional, lens-based camera where an image of the scene is directly recorded on the sensor pixels, each pixel in FlatCam records a linear combination of light from multiple scene elements. A computational algorithm is then used to demultiplex the recorded measurements and reconstruct an image of the scene.
А это к вопросу технологии съёмки.
Очень похоже реализовано в камере светового поля с постфокусировкой - я как то писал об этом (http://lazy-flyer.livejournal.com/258300.html). Но там есть объектив.

[von-hoffmann.livejournal.com]

Это русскоязычное коммьюнити! Если приводите цитату на другом языке, потрудитесь перевести. Для меня, например, текст на английском, французском - бессмысленный набор латинских букв, т.к. я в школе учил немецкий. По-немецки могу немного читать, а англичане перепутали звучание букв латинского алфавита и сделали свой язык абсолютно нечитаемым для носителей других европейских языков, хоть и алфавит один.

[velikoff.livejournal.com]

Читал Вашу заметку. Но это другое, сами заметили.

[paskin.livejournal.com]

Про возможности сьемки - скорее всего никто программу обработки не оптимизировал, написали на Матлабе каком-нибудь, а то и вообще на C#.

[faleevv.livejournal.com]

В своё время работал с голограммами.
Один раз сделал голограмму Денисюка (https://ru.wikipedia.org/wiki/%D0%93%D0%BE%D0%BB%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F#.D0.A1.D1.85.D0.B5.D0.BC.D0.B0_.D0.B7.D0.B0.D0.BF.D0.B8.D1.81.D0.B8_.D0.94.D0.B5.D0.BD.D0.B8.D1.81.D1.8E.D0.BA.D0.B0)
только объект расположил перед пластинкой и в качестве объекта выбрал линзу.
Получил плоскую пластину, которая фокусировала свет. По сути получилась голограмма линзы. И вела она себя соответственно.
Правда был один недостаток - жуткая хроматическая аберрация.
Может и здесь что то подобное?
P.S. Посмотрел ссылку выше в комментах. Смесь муара и фурье.

[garten-besitzer.livejournal.com]

Не, здесь проще, между объектом и детектором (например, одним! фотодиодом) быстро-быстро меняют теневые маски разных заданных конфигураций. И по совокупности пропусканий света от каждой судят об изображению. Ну, математически восстанавливают изображение. А если взять не один детектор, а матрицу, то маска может располагаться довольно близко к её поверхности.

[zinker-a.livejournal.com]

Очень красочно описаны голограммы Денисюка в книге И. Радунской "Крушение парадоксов".
Даже романтично, наверное.

[Дмитрий Рождественский (from livejournal.com)]

Безлинзовый объектив известен дольше, чем линзовый. Пинхол называется. Чем завленное изобретение лучше пинхола можно сказать, только изучив, как конкретно оно устроено: очевидно, что там не просто "решётка". Да и что такое "линейная комбинация света" не очень понятно. Линейная комбинация - это сумма элементов, умноженных на коэффиценты. Как можно интенсивность света умножить до его попадания на сенсор - неясно.

[garten-besitzer.livejournal.com]

Коэффициэнты - 0 или 1. Закрыт или открыт определенный элемент теневой маски. А то, что регистрирует детектор (или матрица) - линейная комбинация интенсивностей света от каждого элемента, она же суммарная интенсивность на фотодетекторе. Это в случае одного детектора. В случае матрицы чуть сложнее.



На картинке с крокодилом коэффициэнты не бинарные.

[laima2001.livejournal.com]

Очень странную картинку с призмой приводите. Такое будет, если призма воздушная (к примеру из стеклянных пластин, внутри пустая), находящаяся в воде.
А по сути: выше 22sobaki дал ссылку на нормальное русскоязычное описание. Можно посмотреть и в Викимпедии - кодирующая апертура.

Ну вот же объяснение

[slava68.livejournal.com]

На третьей странице даташита !


много разных (заранее известных) "пинхолов", а микропроцессор потом составляет полную картинку из различных, наложенных друг на друга, изображений от каждой, конкретной, "дырки".

[shadow-of-raven.livejournal.com]

Шайтан!

[print-design.livejournal.com]

Фокусное расстояние (угол обзора) какое будет?

[boud.livejournal.com]

Определяется конструкцией. Т.е. чем больше информации снимаешь, тем меньше можно сделать фокусное и тем точнее будет информация по краям.

[tzhskz.livejournal.com]

Банальная камера-обскура. Крохотное миллиметровое или ещё менее отверствие. Или дырдочка. Достоинство: полное отсутствие хроматических и геометрических аберраций. Недостаток: очень длинная выдержка. Но для съёмки неподвижных пейзажей очень вкусно, для чего, соб-сно, обычно и используется.

[lazy-flyer.livejournal.com]

Там нет дырочки.

[tzhskz.livejournal.com]

Банальная камера-обскура. Крохотное миллиметровое или ещё менее отверствие. Или дырдочка. Достоинство: полное отсутствие хроматических и геометрических аберраций. Недостаток: очень длинная выдержка. Но для съёмки неподвижных пейзажей очень вкусно, для чего, соб-сно, обычно и используется.

[velikoff.livejournal.com]

Дырок там не то, что нет, а есть решетка-много дыр. Но вопрос с фокусом не ясен и то, какой масштаб матрицы относительно обрабатываемой картинки.. А то матрица 3х3 метра не очень нужна, пусть и с лист толщиной.

[plc ООО ИТМ (from livejournal.com)]

Если Вы хотите из космоса (орбита, например, 500 км) увидеть муравья, то что Вам 3Х3метра, если весит это 5 кг, вместо нынешних 500 кг, которые видят с разрешением 0,7м/пиксель? При этом ваша камера может быть сразу гиперспектральной, и не нужно выводить 3-4 камеры, как делают американцы, например для своего марсианского аппарата. Кроме того, даже повреждение части камеры может быть компенсировано программными расчётами (примерно так же как сейчас интерполируются битые пиксели). Здесь есть конкретное будущее, просто надо продвигать. Но как Вы думаете, надо ли это ЛОМО или Красногорску (Швабе), если они пойдут "по миру"?

[djag-5319.livejournal.com]

Давно известная в оптике вещь, дифракция света. Тот же эффект, что от линзы, только с проблемами. Видимо научились их обходить.

Проще?
Открой школьный учебник физики!

[georgy-golovin.livejournal.com]

Обход дифракции уже чуть ли не со времен Леонардо известен - регулирование диаметра отверстия пинхола в зависимости от расстояния до фокальной плоскости. Я думаю, что они таки банальный пинхол придумали, просто вместо одного отверстия используют решётку...

[probawxy.livejournal.com]

Ничего не знаю про данную технологию. На основании приведённого автором текста могу только предположить, что возможно применение кольцевой диффракционной решётки с расположением матрицы сразу за ней, при этом матрица будет регистрировать пространственное фурье-преобразование изображения, по которому впоследствии можно численно восстановить и само изображение.

[0x8.livejournal.com]

Здесь решетка - не кольцевая. Маска гораздо сложнее. Больше похоже на получение коэффициентов DCT преобразования в виде освещенности сенсоров.

[cat-miaow.livejournal.com]

Фишка основана на возмущении волнового фронта по заданному закону.
Если у вас есть нечто, возмущающее волновой фронт (т.е. маска) по заданному закону (она не периодическая, если вы заметили, т.е. не решётка), то по возмущённому сигналу вы можете восстановить искомый волновой фронт. Всё просто =)

На похожем принципе основана работа камеры Lytro - light field photography (фоторгафирование светового поля) которая фоткает не плоскость, а объём, и поэтому фокус на фотографии можно менять уже после съёмки. Как бы один снимок содержит информацию о многих фокусных плоскостях пространства.

ЗЫ: Никаких камер обскура там и близко нет.

[vlkamov.livejournal.com]

В общем случае нужен какой-то оптический элемент который на общий световой поток накладывает какую-то функцию от угла. Это могут быть решетки, знаменитые дырявые очки, линзы, кривые зеркала, которые создают на матрице какой-то рисунок f(x, y). А уж рисунок можно конвертировать в изображение вычислительными средствами. Любой в любой.
Другой принцип - развертка, вплоть до одного датчика на который подается световой поток с разных направлений - нечто подобное было в первых телекамерах.
Оба принципа можно сочетать в любых пропорциях, вот инженеры и балуются.

[plc ООО ИТМ (from livejournal.com)]

Если у Вас инженерный интерес к данным исследованиям, то можно сообщить следующее:
В настоящее время в развитых западных странах ведутся интенсивные исследования в области оптических систем с кодированной апертурой. Такие системы основаны на математической цифровой обработке апертурного волнового поля, закодированного специальной кодовой маской. Идея таких систем состоит в следующем.
Между светочувствительным приемником и объектом наблюдения помещается специальная кодовая маска. В результате взаимодействия кодовой маски с волновым полем апертуры на матрицу светочувствительного приемника поступает модулированный маской кодовый сигнал, содержащий информацию об объекте наблюдения. Далее, при помощи процессора выполняется декодирование полученного кодового сигнала, в результате чего на выходе декодера получается изображение объекта наблюдения.
Операция кодирования изображения кодовой маской математически эквивалентна свертке волнового поля апертуры с кодовой маской.
Y = K**I, (1)
где, Y – закодированное изображение на линейном приемнике
K – линейная кодовая маска
I – одномерное изображение объекта
** - операция свертки
Выражение (1) можно представить, как умножение вектора изображения на матрицу кодовой маски, каждая строка которой сдвинута на один элемент относительно предыдущей.
Y = H*I; (2)
Исходное изображение можно найти, решив линейную систему уравнений (2)
I = H-1 *Y; (3)
Однако, решение задачи (3) требует использования огромных объемов памяти и астрономического количества математических операций, что практически не реализуемо.
Так, если необходимо восстановить закодированное изображение размерности 1000*1000 элементов, то матрицы Н и H-1 будут иметь размерность 10в 6ст*10 в 6ст, для нахождения обратной матрицы потребуется 10в 24степени арифметических операций, для хранения полученной обратной матрицы потребуется не менее 10в16степени байт памяти (10 миллионов терабайт). Для умножения этой обратной матрицы на вектор изображения размером 10 в 6 степени потребуется 10в 13степени арифметических операций. Если время обработки ограничить, например, одной десятой секунды, то потребуется процессор с быстродействием не менее 10в14степени операций за одну секунду, что значительно превышает возможности современных процессоров. Очевидно, что практическая реализация «в лоб» такой оптической системы невозможна.
Известны попытки реализации безлинзовой камеры в США с использованием составных кодовых последовательностей (что существенно уменьшает объем памяти и количество операций, но сильно ухудшает качество полученного изображения, т.е. то, что мы и видим во всех сообщениях о подобных "достижениях" из США) и цифровой обработки на основе Быстрого преобразования Фурье (что позволило уменьшить время обработки). Получены изображения невысокого качества, время цифровой обработки – доли секунды. Если это достижение, то для требовательного Заказчика - нет...

[plc ООО ИТМ (from livejournal.com)]

Теперь, если Вы интересуетесь в плане сделать так, как "должно быть", т.е. правильно и качественно...
Преимущества безлинзовых систем визуализации очевидны:
1. Возможность работы в любом диапазоне частот от рентгеновского до миллиметрового диапазона без применения специальных дорогостоящих линз.
2. Снижение стоимости и веса приборов в десятки и сотни раз.
3. Расширение температурного диапазона работы приборов.
4. Отсутствие искажений, характерных для линзовых систем.
5. Возможность создания приборов с огромной апертурой (сотни квадратных метров), в том числе криволинейной формы, что позволяет принципиально решить проблемы сверхчувствительности и сверхразрешения. Например, кодовая маска прибора может быть выполнена в виде аэродинамического элемента (крыла, фюзеляжа), одновременно выполнять роль солнечной батареи, или, например, выполнять роль крыши или стены здания и т.п.
6. Без механического перемещения элементов системы решаются проблемы фокусировки полезных и дефокусировки мешающих объектов, обеспечивается стереоскопическое зрение и формирование 3D изображения.
7. Без механического перемещения элементов обеспечивается масштабирование объектов в широких пределах, то есть цифровое зуммирование без потери качества, что позволяет, например, детально рассмотреть мельчайшие детали ранее записанного изображения с камер видеонаблюдения.
8. Возможность получения и обработки гиперспектральных изображений.
Нами разработаны принципиально новые алгоритмы быстрой корреляционной обработки сверхдлинных сложных сигналов, которые позволяют создавать безлинзовые оптические системы с практически неограниченными размерами кодовой апертуры и реализовать декодирование изображений высокого качества в реальном времени.
Наиболее эффективно, на наш взгляд, применение технологии в космическом и авиа (в том числе БПЛА) направлении, затем - автомобилестроение, видеомониторинг и т.д.
Традиционный объектив обеспечивает фокусировку изображения объекта на поверхности светочувствительного приемника. Математически эта операция эквивалентна преобразованию Фурье над полем апертуры объектива. При этом чувствительность и разрешающая способность оптического прибора пропорциональны площади объектива. Однако, большой объектив оптического прибора приводит к резкому увеличению его стоимости и веса. Так, для традиционных фотоаппаратов космической и аэроразведки стоимость объектива и его вес составляют более 90 процентов от стоимости и веса оптического прибора.
По мере возрастания практического интереса к ультрафиолетовому и инфракрасному диапазону частот, удельная стоимость объектива еще больше возрастает! Так, в длинноволновом инфракрасном диапазоне могут быть использованы только специальные линзы из германия, сапфира и других полудрагоценных кристаллов, что существенно увеличивает стоимость объектива. При реализации безлинзовой камеры могут быть значительно более дешёвые технологии.

Компания Хитачи год назад объявила о возможности получения видео до 30 кадров в секунду с обработкой на ноутбуке, правда, утаивают размер матрицы, но горда говорят о том, что им удалось в триста раз ускорить расчёты. Это серьёзное заявление! Если наши учёные будут сидеть и... даже не знаю что сказать. то мы опять будем плестись в конце прогресса и кусать локти. покупая за бешеные деньги за рубежом куски песка.

Безлинзовые камеры через 10-15 лет в ряде направлений могут полностью вытеснить традиционную оптику за счёт простоты изготовления и качества получаемых изображений. Можно уже в ближайшем будущем убрать знаменитый "наплыв" на камере айфонов! Вопрос только "кто платит деньги?"!

[plc ООО ИТМ (from livejournal.com)]

Теперь, если Вы интересуетесь в плане сделать так, как "должно быть", т.е. правильно и качественно...
Преимущества безлинзовых систем визуализации очевидны:
1. Возможность работы в любом диапазоне частот от рентгеновского до миллиметрового диапазона без применения специальных дорогостоящих линз.
2. Снижение стоимости и веса приборов в десятки и сотни раз.
3. Расширение температурного диапазона работы приборов.
4. Отсутствие искажений, характерных для линзовых систем.
5. Возможность создания приборов с огромной апертурой (сотни квадратных метров), в том числе криволинейной формы, что позволяет принципиально решить проблемы сверхчувствительности и сверхразрешения. Например, кодовая маска прибора может быть выполнена в виде аэродинамического элемента (крыла, фюзеляжа), одновременно выполнять роль солнечной батареи, или, например, выполнять роль крыши или стены здания и т.п.
6. Без механического перемещения элементов системы решаются проблемы фокусировки полезных и дефокусировки мешающих объектов, обеспечивается стереоскопическое зрение и формирование 3D изображения.
7. Без механического перемещения элементов обеспечивается масштабирование объектов в широких пределах, то есть цифровое зуммирование без потери качества, что позволяет, например, детально рассмотреть мельчайшие детали ранее записанного изображения с камер видеонаблюдения.
8. Возможность получения и обработки гиперспектральных изображений.
Нами разработаны принципиально новые алгоритмы быстрой корреляционной обработки сверхдлинных сложных сигналов, которые позволяют создавать безлинзовые оптические системы с практически неограниченными размерами кодовой апертуры и реализовать декодирование изображений высокого качества в реальном времени.
Наиболее эффективно, на наш взгляд, применение технологии в космическом и авиа (в том числе БПЛА) направлении, затем - автомобилестроение, видеомониторинг и т.д.
Традиционный объектив обеспечивает фокусировку изображения объекта на поверхности светочувствительного приемника. Математически эта операция эквивалентна преобразованию Фурье над полем апертуры объектива. При этом чувствительность и разрешающая способность оптического прибора пропорциональны площади объектива. Однако, большой объектив оптического прибора приводит к резкому увеличению его стоимости и веса. Так, для традиционных фотоаппаратов космической и аэроразведки стоимость объектива и его вес составляют более 90 процентов от стоимости и веса оптического прибора.
По мере возрастания практического интереса к ультрафиолетовому и инфракрасному диапазону частот, удельная стоимость объектива еще больше возрастает! Так, в длинноволновом инфракрасном диапазоне могут быть использованы только специальные линзы из германия, сапфира и других полудрагоценных кристаллов, что существенно увеличивает стоимость объектива. При реализации безлинзовой камеры могут быть значительно более дешёвые технологии.

Компания Хитачи год назад объявила о возможности получения видео до 30 кадров в секунду с обработкой на ноутбуке, правда, утаивают размер матрицы, но горда говорят о том, что им удалось в триста раз ускорить расчёты. Это серьёзное заявление! Если наши учёные будут сидеть и... даже не знаю что сказать. то мы опять будем плестись в конце прогресса и кусать локти. покупая за бешеные деньги за рубежом куски песка.

Безлинзовые камеры через 10-15 лет в ряде направлений могут полностью вытеснить традиционную оптику за счёт простоты изготовления и качества получаемых изображений. Можно уже в ближайшем будущем убрать знаменитый "наплыв" на камере айфонов! Вопрос только "кто платит деньги?"!