Оценка этой статьи по мнению читателей:
Каждый раз, делая обзор на очередной смартфон и упоминая «сенсор глубины», я чувствую, что ввожу читателя в заблуждение.
Сегодня этот загадочный датчик глубины встречается на подавляющем большинстве устройств, ведь он так важен для портретного режима с красивым размытием фона (эффект боке, живой фокус, режим диафрагмы и пр.).
А может и не важен вовсе? Возможно, вы встречали на просторах интернета разоблачения, в которых люди полностью заклеивали сенсор глубины, а смартфон продолжал размывать фон на портретных снимках, как ни в чем не бывало. Получается, телефоны умеют определять глубину сцены и без сенсора глубины? Зачем же он тогда нужен?
Ну и главный вопрос — как вообще устроен этот «сенсор»? На чем основан принцип его работы?
Бегло просмотрев несколько популярных статей и роликов в интернете, я с удивлением обнаружил, что многие люди думают, будто этот сенсор посылает световые импульсы и определяет время задержки отраженного луча. То есть, как-то активно участвует в построении карты глубины.
А вот, к примеру, на сайте Popular Science (Популярная наука) приводится следующее объяснение (в моем вольном переводе):
Датчик глубины (depth sensor) предназначен именно для определения глубины сцены. В топовых современных смартфонах датчик глубины постепенно исчезает, так как его заменяют другие камеры, умеющие ощущать глубину и объем сцены, например широкоугольная или телеобъектив.
popsci.com/extra-lenses-in-your-smartphones-camera-explained
Камеры, ощущающие глубину — это, конечно, очень интересно, но давайте разберемся, что же происходит на самом деле.
Зачем вообще нужен какой-то сенсор глубины?
Современный смартфон должен не просто «видеть» через камеру плоскую картинку, но и «понимать», на каком расстоянии находится каждый объект в сцене. То есть, он должен уметь «ощущать» глубину сцены. И на это есть целый ряд причин.
Например, благодаря умению построить карту глубины, телефоны научились делать красивые фотографии с размытием фона. Да, часто на таких снимках заметна искусственная обработка, но иногда результат практически не отличим от работы зеркального фотоаппарата:
Сделать что-то подобное при помощи оптики нереально, так как единственный параметр, отвечающий за степень размытия фона — это диаметр входного зрачка объектива (проще говоря, размер дырки, через которую свет попадает в объектив смартфона).
На самых дорогих камерофонах он не превышает и 4 миллиметров, в то время, как даже у бюджетного объектива зеркального фотоаппарата он будет минимум в 2 раза больше (а у дорогих объективов — в 10-15 раз).
Помимо этого, на смартфоны постепенно приходит дополненная реальность (AR), позволяющая определять размеры объектов, расстояние между предметами и делать много всего удивительного (примерять вещи и различные аксессуары, смотреть, как будет выглядеть мебель в интерьере своего дома и многое другое).
Также умение определять глубину позволяет создавать более надежные и удобные способы блокировки смартфона (например, технология FaceID, которая делает «трехмерный» снимок лица).
Многие производители пытаются придумать новые способы управления смартфоном при помощи бесконтактных жестов, а для этого также нужно хорошо понимать положение рук в пространстве.
Но как смартфоны определяют глубину и какие датчики для этого используются?
Три кита
На сегодняшний день существует всего 3 основных метода, позволяющие смартфонам «ощущать» объем:
- Стереозрение. Это и есть «сенсор глубины», который используется в подавляющем большинстве современных смартфонов и о котором мы дальше поговорим подробнее.
- Структурированный свет. Самый популярный пример — это уже упомянутая технология разблокировки по лицу FaceID на iPhone. Суть ее заключается в том, чтобы осветить сцену каким-то невидимым для глаз шаблоном (рисунком) в виде точек, размещенных в определенном порядке, или в виде горизонтальных/вертикальных линий, а затем сделать снимок и проанализировать искривление шаблона.
- Измерение времени полета света (ToF-сенсор). Сегодня на рынке существует не более десятка моделей смартфонов с таким сенсором глубины. Он буквально измеряет время, которое требуется свету, чтобы долететь до каждого объекта в сцене и вернуться обратно на сенсор. А зная скорость света, можно легко вычислить и расстояние. К этому методу относится также лидар (LiDAR), дебютировавший на мобильных устройствах с выходом iPad Pro 2020.
Открою небольшую тайну. В некоторых смартфонах в качестве всем нам знакомого датчика приближения (тот, который блокирует экран во время входящего звонка) используется самая настоящая ToF-камера с лазерным излучателем и специальным высокочувствительным сенсором, измеряющим время полета света и определяющим точное расстояние до объекта. Работает он, естественно, гораздо точнее и качественнее обычных инфракрасных датчиков, встречающихся на подавляющем большинстве устройств.
Так вот, возвращаясь к нашей теме, горькая правда заключается в том, что для первого метода определения глубины сцены (стереозрение) не нужны дополнительные датчики.
Если на смартфоне уже есть две камеры (например, основная и ультраширокоугольная, или основная и телеобъектив), использовать еще третий «сенсор глубины» (то есть, еще одну камеру) нет никакого смысла.
Дополнительный «сенсор глубины» на 99.9% смартфонов — это банальная попытка ввести покупателя в заблуждение.
Возьмем, к примеру, смартфон Redmi Note 9 Pro, у которого сзади размещено 4 камеры:
Здесь уже есть основная и ультраширокоугольная камеры (две верхние). И этого более, чем достаточно для определения глубины сцены по принципу стерео-зрения. Но компания пытается обмануть покупателя, показав больше камер, чем у конкурентов. И таких примеров масса: Samsung Galaxy A51, Xiaomi Poco X3, OnePlus Nord, Huawei Y8p и мн. др.
Так как «сенсор глубины» — это самая обыкновенная камера с очень низким разрешением, то стоимость такой матрицы составляет от 30 центов за 2 Мп сенсор до 50-60 центов за 5 Мп сенсор (правда, за последний год цены немного выросли из-за колоссального спроса на столь дешевые компоненты).
Производитель за пару баксов может легко набросать пару лишних камер на корпус и затем использовать это количество в качестве конкурентного преимущества, внушая покупателям, что смартфон с пятью камерами снимает ну почти как зеркалка.
Еще раз повторю ключевую мысль прежде, чем мы продолжим: все современные смартфоны, за исключением буквально 10-15 флагманских моделей, определяют глубину сцены при помощи двух обыкновенных камер и метода под названием стереозрение. Да и те 10-15 флагманов также используют в основном стереозрение, а ToF-сенсор служит лишь как дополнительный инструмент.
Многие аппараты (Samsung Galaxy S20/Note20, Huawei P40, iPhone 11 Pro и прочие), легко обходятся основными камерами (широкоугольной, ультраширокоугольной или телеобъективом). Другие же устанавливают дополнительную камеру за три копейки исключительно в маркетинговых целях без малейшей технической необходимости.
А некоторые и вовсе идут на серьезный обман — устанавливают 2-Мп низкокачественную камеру а-ля «сенсор глубины», а сами используют широкоугольную камеру, так как ее качество гораздо выше.
Как смартфон определяет глубину, используя стереозрение и 2 камеры?
Итак, мы определились, что никакого «сенсора глубины» нет. Это обычная (и зачастую — лишняя) камера. Но что же такое стереозрение и как оно работает? Зачем нам нужны две камеры, ведь есть смартфоны, которые умеют размывать фон даже с одной камерой?
Наш мозг использует множество техник для определения глубины и объема сцены, например:
- Перекрытие. Когда один объект перекрывает другой, мы понимаем, что первый находится ближе к нам, чем второй.
- Линейная перспектива. Например, когда рельсы сужаются, мы понимаем, что они уходят вдаль, в глубину.
- Фокус. Если какой-то объект не в фокусе, мы понимаем, что он находится дальше того объекта, который в фокусе.
- Тени. Тени помогают нам почувствовать объем даже на плоской картинке.
- Относительный размер. Если мы видим человека размером с дом, то понимаем, что дом находится гораздо дальше человека, так как знаем относительные размеры разных объектов.
Можно продолжать этот список, но главная причина, по которой мы ощущаем объем, заключается в другом.
У каждого из нас есть два глаза, размещенных на небольшом расстоянии друг от друга. Причем один из них — не запасной и не для красоты или симметрии. Если мы будем смотреть на что-то поочередно то одним, то другим глазом, тогда те объекты, что расположены ближе к нам, будут смещаться в стороны гораздо сильнее тех объектов, что расположены дальше.
Очевидно, что так происходит потому, что правый глаз видит всю сцену как бы с правой стороны, а левый — с левой:
На картинке выше в левом глазу дерево немного сместилось влево, а цветок — вправо. А в правом глазу получилось наоборот — цветок оказался немного левее дерева.
Теперь мозг берет «картинки» из двух глаз и анализирует смещение каждой «точки». Возьмем левый глаз. Чем сильнее точка сместилась вправо (относительно такой же точки в правом глазу), тем ближе она находится к нам и наоборот, чем сильнее сместилась влево — тем она дальше от нас.
Это хорошо видно на следующей анимации, где поочередно меняются картинки, которые увидел левый и правый глаз:
Обратите внимание, как камни в левом нижнем углу смещаются вправо (значит, находятся ближе), в то время, как деревья в правом верхнем углу уходят влево (находятся дальше). Получается, даже меняя поочередно две картинки, мы уже можем ощутить объем.
Вот еще одна наглядная анимация:
Вроде бы всё просто и понятно. Но как же это делает смартфон? Как конкретно он строит карту глубины всей сцены, используя две камеры?
Чтобы разобраться с этим, давайте рассмотрим простой пример.
Итак, у нас есть какая-то точка в пространстве и смартфон с двумя камерами. Свет от точки проходит через объектив каждой камеры и попадает на матрицу. Мы получили два плоских снимка этой точки и не можем определить расстояние до нее:
Думаю, вы обратили внимание на одну странность — почему матрица камеры находится перед самой камерой, хотя должна находиться за объективом? На самом деле, мы просто разместили ее так схематически для простоты понимания. Это ни на что не влияет и принцип работы сохраняется.
Нам нужно узнать расстояние до красной точки. Мы знаем только расстояние между двумя камерами (производитель разместил их на определенном расстоянии друг от друга). Также нам известно фокусное расстояние камер, то есть, расстояние от центра линзы до матрицы, на которую она проецирует изображение:
На первый взгляд кажется, что сделать это невозможно и нам ничего не дает знание расстояния между камерами.
К слову, если мы используем камеры с разными фокусными расстояниями (например широкоугольную и телеобъектив), тогда нужно просто сделать кроп на снимке с более широким углом (вырезать часть кадра) и дальше уже работать, как с идентичным фокусным расстоянием:
Итак, давайте посмотрим, как свет от красной точки P упадет на наши матрицы и превратится в точки на снимках:
Обратите внимание на то, что точка на левом снимке оказалась справа от центра матрицы, а на правом снимке эта же точка оказалась левее центра. Если бы мы приняли центр за начало отсчета, тогда точка слева ушла бы по горизонтальной оси в плюс (вправо), а справа — в минус (так как центр — это 0):
И как все эти рисунки помогут нам найти расстояние Z (от камеры до точки в пространстве)?
Думаю, вы уже давно заметили, что все эти точки образовывают треугольники. В частности, здесь можно увидеть два подобных треугольника. Один проходит через наши красные точки на двух снимках и точку в пространстве (зеленый треугольник слева), а другой проходит через центры объективов и точку в пространстве (синий треугольник справа):
Эти треугольники подобны, а значит, их стороны соответственно пропорциональны и все углы соответственно равны. И вот уже из этого подобия мы можем легко определить расстояние от камеры до любой точки в пространстве, то есть, найти величину Z.
Я упущу несложные математические расчеты и просто запишу конечный результат:
Z = F * D/(d1-d2)
Здесь F — это фокусное расстояние объектива (известная заранее характеристика нашей камеры), D — расстояние между камерами (также известно), а d1 и d2 — смещение конкретной точки (пикселя) на снимках с левой и правой камер.
Другими словами, смартфон делает ровно то же, что и наш мозг — определяет глубину сцены только по смещению (несоответствию) пикселей на левой и правой фотографии (или на «картинке» в левом и правом глазу).
Получается, всё, что нам нужно — это две (любые) камеры и больше ничего. Соответственно, третья камера («сенсор глубины») совершенно бесполезна.
Но мой смартфон делает превосходные портреты даже с одной камерой!
Некоторые смартфоны действительно могут определять глубину сцены даже с одной камерой. И делается это при помощи искусственного интеллекта.
Опять-таки, смартфон пытается копировать работу нашего мозга. Когда мы смотрим на сцену одним глазом (или двумя глазами смотрим на плоскую фотографию), то легко определяем, какой объект находится дальше, а какой — ближе.
Смартфоны также учатся сегментировать фотографии и выделять на снимках людей. Для этого нужно обучить нейронную сеть отличать человека от других объектов.
Но даже в случае с одной камерой, нейросеть берет дополнительную информацию с двух снимков. Двух снимков?! Но откуда же берется второй снимок, если камера всего одна?
Дело в том, что очень многие современные матрицы имеют фазовый автофокус Dual Pixel. То есть, фактически каждый пиксель на матрице состоит из двух отдельных «пикселей» (фотодиодов), каждый из которых собирает информацию только с половины линзы. Скажем, левый пиксель берет информацию с правой половины линзы, а правый — с левой половины:
Можно сказать, что у нас появляются две камеры (две части одной линзы) с небольшим расстоянием. Да, это крошечное расстояние, но его достаточно, чтобы уже заметить какое-то смещение пикселей.
Вот два примера таких снимков, полученных с двух половин линзы (Dual-Pixel 1 и Dual-Pixel 2) одной камеры:
Как видите, смещение на примере слева более ярко выражено, так как лампочка находится гораздо ближе к камере, нежели человек на втором снимке.
Использование двух камер (то, о чем мы говорили выше) будет давать гораздо большее смещение, чем использование одной камеры с фазовым автофокусом Dual Pixel. Это можно наглядно увидеть на следующем примере (слева — одна камера, но разные части линзы, а справа — две камеры на небольшом расстоянии друг от друга):
Но некоторые смартфоны умудряются делать портретные режимы даже без двух камер или двух изображений с разных половин одной линзы. Правда, качество такого размытия заметно уступает традиционному стереозрению.
Всё, о чем я говорил выше, касается только пассивной технологии определения глубины сцены, когда смартфон просто «смотрит» на мир через камеру/камеры и никак не пытается с ним взаимодействовать.
Однако существует и более продвинутая активная технология, когда смартфон изучает сцену при помощи лазера (ToF-сенсоры и лидары). Но об этом я подробно расскажу как-нибудь в другой раз.
Алексей, глав. редактор Deep-Review
P.S. Не забудьте подписаться в Telegram на наш научно-популярный сайт о мобильных технологиях, чтобы не пропустить самое интересное!
Обычно, когда упоминают, что у смартфона есть датчик глубины (ToF), подразумевается, что он нужен для размытия фона при фотосъемке. Но на самом деле у него есть еще несколько функций, о которых далеко не все знают.
Мы уже подробно рассказывали, как работает датчик измерения глубины? в том числе при съемке портретов: он замеряет время, которое свет тратит, чтобы отразиться от объекта, и вычисляет расстояние до последнего.
Да, нельзя просто взять и включить датчик глубины для каких-то целей, но программные алгоритмы используют его не только для размытия фона. Вот еще несколько сценариев его применения:
- Измерение расстояния. У некоторых смартфонов есть уже встроенные приложения с виртуальной рулеткой, а иногда их можно установить из магазина приложений. Суть одна — при помощи датчика измерения глубины (и камеры) они помогают измерить размеры реальных предметов в пространстве. При хорошем освещении замеры довольно точные.
- Некоторые смартфоны используют ToF-датчик для распознавания жестов, хотя эта функция и не очень распространена.
- Создание 3D-моделей. В настоящее время нам уже предлагают Animoji и аналоги, которые с помощью ToF-камеры повторяют ваше выражение лица. Кстати, продвинутые модели смартфонов используют датчик глубины для распознавания лица при разблокировке.
- Дополненная реальность тоже задействует датчики ToF, и это направление сейчас активно развивается — игр и приложений на основе AR становится все больше. И именно камера глубины позволяет в полной мере ощутить все прелести дополненной реальности.
- Для смартфонов существуют приложения, имитирующие камеру ночного видения — и это тоже благодаря датчику ToF. Все дело в том, что он использует инфракрасный свет и может создать точную карту окружения, в отличие от обычной ИК-камеры.
- Иногда ToF-камера используется в качестве датчика приближения (например, именно он отвечает за блокировку дисплея во время телефонного разговора) — она работает точнее обычного ИК-датчика.
Но все-таки будьте внимательны. Не всегда в смартфонах используется настоящий ToF-датчик: производители могут красиво рассказывать о «сенсоре глубины», но на деле из экономии просто комплектуют свои аппараты сомнительными датчиками разрешением 2 Мп. В таком случае для размытия фона (прямо скажем, не очень точного) алгоритм задействует дополнительную широкоугольную камеру.
Источник: //zoom.cnews.ru/b/post/tehnoblog/75761
Данный материал является частной записью члена сообщества Club.CNews.
Редакция CNews не несет ответственности за его содержание.
Особенности и использование сенсора глубины резкости в телефоне.
Датчик глубины резкости — это сенсор, который во время съемки на камеру определяет глубину и дальность расположения объектов относительно смартфона и друг друга. Обычно датчик является отдельным модулем в блоке камер телефона, но в более современных моделях его встраивают в другие типы объективов, например, в широкоугольные или телеобъективы.
Зачем нужен датчик глубины резкости в телефоне?
Единственная функция датчика глубины резкости заключается в преобразовании области, которая попадает в объектив камеры, в трехмерную карту. Предавая объектам размер и форму, датчик автоматически определяет их местоположение. Он понимает, какие предметы находятся ближе, а какие дальше. Таким образом сенсор может правильно определить глубину резкости, чтобы получился качественный снимок.
Отделяя объекты заднего плана от объектов переднего, датчик может создать эффект малой глубины резкости. Это означает, что большая часть изображения будет отнесена к заднему плану и размыта. В фокусе останется только небольшой объект в центре фотографии: человек, предмет на столе и т.д. Этот эффект дает ощущение, будто изображение было сделано на профессиональную камеру или тщательно обработано редактором фотографий.
На практике, датчик глубины резкости часто некачественно выполняет свою работу. У трехмерного объекта в фокусе зачастую размыты границы, потому что его глубина на границе будет отличаться от той, что в самом центре фокусировки. Также размытие может казаться неестественным, так как на смартфонах обычно применяется равномерное размытие, а не усиливающееся в зависимости от расстояния до точки фокуса.
Кроме того, что датчик глубины резкости определяет положение объектов и обеспечивает эффектное размытие на фотографиях, он необходим для следующих функций:
- Размыть задний фон на изображении можно не только во время съемки, но и тогда, когда фотография уже готова. Датчик позволяет выделить объект в фокусе или его часть и наложить на них другой цветовой фильтр или эффект.
- Датчик позволяет размывать задний план во время съемки видеороликов, хотя это может выглядеть недостаточно аккуратно.
- Датчик глубины — сенсор, превращающий изображение в 3D-карту. Его используют для создания трехмерных моделей, измерения расстояния и размеров предметов.
- Датчик может использоваться для сохранения конфиденциальности. Например, во время видеоконференций или звонков пользователь может вручную скрыть задний план от посторонних.
Датчик используется не только для определения глубины резкости во время съемки — его возможности намного шире. Определяя расположение предметов, он поддерживает технологию виртуальной реальности для мобильных пользователей. И если сейчас сенсор работает неидеально, в будущем датчик глубины на телефоне может стать таким же эффективным, как и VR-очки.
Рекомендуем прочитать материал с советами, которые помогут делать красивые снимки на камеру смартфона.
Большинство современных смартфонов имеют несколько основных камер, предназначенных для разных целей. Возможно, вы знакомы с широкоугольными камерами и макрообъективами, но некоторые телефоны также имеют «камеру глубины» или «датчик глубины». Но что именно является камера глубины, и действительно ли это имеет значение?
Что такое камера глубины?
Камеры глубины, также известные как камеры времени пролета (ToF), представляют собой датчики, предназначенные для определения разницы между камерой и объектом изображения, обычно измеряемой с помощью лазеров или светодиодов. Технология времени полета используется во многих различных областях, где важно отслеживать объекты, например, роботы, собирающие объекты на автоматизированных фабриках, и в ныне несуществующем аксессуаре Microsoft Kinect для Xbox 360 и Xbox One.
Камеры глубины на смартфонах не похожи на большинство других камер на телефонах. Вы не можете сделать снимок только с помощью камеры глубины, как с ультрашироким, макро или телеобъективом — камера глубины просто помогает другим объективам оценивать расстояния. Обычно он используется в сочетании с программными алгоритмами для определения контура объекта (человека, животного или другого объекта) и применения эффекта размытия к остальной части изображения.
Некоторые модели iPhone также имеют камеру «TrueDepth», которая в основном используется для распознавания лиц Face ID. В документе поддержки Apple говорится: «Face ID обеспечивает интуитивно понятную и безопасную аутентификацию, обеспечиваемую современной системой камер TrueDepth с передовыми технологиями для точного отображения геометрии вашего лица». Единственный раз, когда TrueDepth используется для фотографии, — это портретный режим на фронтальной камере.
Нужна ли мне камера глубины?
Итак, стоит ли вам искать телефон с камерой глубины? Есть простой ответ: нет. Выделенные задние камеры глубины отсутствуют на большинстве смартфонов флагманского класса, включая iPhone и устройства Samsung Galaxy S, потому что портретный режим и другие подобные эффекты глубины могут быть достигнуты с помощью другого оборудования.
Например, iPhone X и iPhone 7 Plus были первыми телефонами Apple с портретным режимом, и у них не было специальных камер глубины — эффект был возможен с помощью данных с телеобъектива и основных камер, смешанных с небольшим количеством программной магии. С тех пор Apple продолжает использовать ту же технологию с дополнительными эффектами, возможными на моделях с большим количеством задних камер. Samsung ненадолго включила специальную камеру глубины в свои флагманские телефоны, такие как Galaxy S20+ и S20 Ultra, но она была удалена с S21 и более новыми телефонами. Как и iPhone, большинство устройств Samsung теперь используют другие объективы и программное обеспечение для создания эффекта глубины.
Использование других линз для эффектов глубины имеет одно существенное преимущество — другие линзы более полезны. Как упоминалось выше, камера глубины на самом деле не может делать фотографии (поэтому некоторые компании называют ее просто «датчиком», чтобы избежать путаницы), она просто предоставляет данные о расстоянии для других камер. Тем не менее, телеобъектив или сверхширокоугольная камера могут работать как датчик глубины. а также захватывать фотографии с их целевым назначением. Телефон с обычным широкоугольным объективом и камерой глубины может делать фотографии только на обычном расстоянии, с эффектом глубины или без него, но телефон с широкоугольным объективом и телеобъективом может делать то же самое с добавлением улучшенного зума. .
Итак, если другие (более полезные) камеры могут служить той же цели, что и камера глубины, почему камеры глубины все еще широко распространены? Чаще всего это связано с психологией. Гонка вооружений для смартфонов привела к тому, что двойные, тройные или четверные камеры стали продаваться как премиальные функции. Некоторые телефоны пытаются упаковать как можно больше камер, даже если они ограничены или не используются в реальном мире — особенно популярная тактика для бюджетных телефонов.
Одним из примеров этой тенденции является Galaxy A03s, бюджетный телефон от Samsung. У него три камеры, но полезна только основная на 50 МП. Один из других объективов представляет собой 2-мегапиксельную камеру глубины, а другой — 2-мегапиксельный макрообъектив, который имеет слишком низкое разрешение, чтобы быть чем-то большим, чем новинка. Замена обоих этих объективов на сверхширокоугольный или телеобъектив была бы более полезной, но это также означало бы меньшее количество камер (возможно, снижение продаж) и/или более высокую цену.
В заключение, камеры глубины могут быть полезны, но вы не должны отказываться от телефона только потому, что у него его нет. Многие телефоны и планшеты могут создавать эффекты глубины с помощью других объективов и программного обеспечения, а мобильные редакторы, такие как Photoshop Express, могут создавать аналогичный вид (хотя и не так хорошо) со стандартными фотографиями.
Одним из главных трендов в мире смартфонов в 2017 году стали двойные камеры. Это уже далеко не инновация, поскольку впервые использовать одновременно два модуля камер в смартфонах решила компания HTC в Evo 3D (2011 год) и позднее в One M8 (2014 год). Реализация тайваньцев не обрела широкой популярности на рынке. И вот, в 2017 году производители решили снова сделать ставку на двойные камеры.
На сей раз все получилось. После выпуска LG G5 и Huawei P9 в 2016 году Apple решила ответить конкурентам — iPhone 7 Plus стал первым флагманом компании с двойной камерой. В итоге к двойным камерам пришли практически все известные компании — сейчас их используют Samsung, Apple, Huawei, LG, Nokia, Xiaomi, Meizu, Lenovo (Motorola), Essential, ZTE и даже небольшие китайские вендоры типа UMIDIGI, Doogee, Vernee и прочих.
HTC Evo 3D с двойной камерой, 2011 год
Все они используют различные системы двойных камер: кто-то делает акцент на монохромный датчик, кто-то на широкоугольный, а кто-то — на телеобъектив. Трешбокс решил разобраться, что предлагает тот или иной дуэт фотомодулей, как это работает, а также в чем преимущества и недостатки используемых производителями решений.
Датчик глубины
Мы начнем с датчика глубины, поскольку это самая простая форма возможной системы двойной камеры. В данном случае основная камера сопровождается вторым датчиком, единственной функцией которого является создание трехмерной карты области снимаемого объекта. Как вы, возможно, знаете, человек видит трехмерный мир в двухмерной проекции, но способен составлять полное представление о расстоянии, форме, размерах и глубине окружающих объектов. За это отвечают наши глаза, имеющие стереоскопическую способность благодаря разным перспективам.
Датчик глубины в системе двойной камеры работает аналогично основной камере. Используя вторичный модуль, двойная камера может приблизительно рассказать, насколько далеко перед ней стоят объекты относительно друг друга. Затем эта информация используется для отделения объекта переднего плана от фона.
Пример работы датчика глубины на HTC One (M8)
Главная фишка двойной камеры с этим датчиком заключается в создании реалистичного эффекта глубины резкости. Технология в своем виде пришла из DSLR-камер с их большими сенсорами и объективами, однако воссоздать эффект такой же мелкой глубины резкости смартфоны не могут. Датчик глубины сначала определяет границы объекта переднего плана, а затем применяет эффект размытия на все окружающее. Отмечу, что получаемый результат — очень близок, но иллюзорен.
В теории и на практике датчик глубины имеет свои подводные камни. Если снимаемый объект не имеет глубины (например, вы можете снимать что-то плоское), камера не сможет это определить и вместе с задним фоном размоет края объекта. Даже если датчик глубины отлично справляется со своей задачей, итог в любом случае не выглядит естественным. В DSLR-камерах интенсивность размытия увеличивается с расстоянием от точки фокусировки. В смартфонах этого нет.
Системы двойных камер со специальным датчиком глубины — один из самых редких дуэтов фотомодулей. Впервые такая система была установлена во флагмане HTC One (M8) — это самый популярный пример. В наши дни датчик глубины используется в таких смартфонах, как Huawei Honor 6X или Lenovo K8 Plus, то есть не во флагманских моделях.
Монохромная камера
Несколько более популярная реализация вторичного фотомодуля — монохромная камера. В такой системе основная камера дополняется аналогичным датчиком, особенность которого заключается в монохромной съемке. Обе камеры обычно имеют одинаковые сенсоры, светосилу, линзы и фокусирующие системы. Единственное различие между ними состоит в том, что у второй камеры отсутствует цветной RGB-фильтр. Это означает, что монохромный датчик не может фиксировать информацию о цвете, однако он может захватывать больше света, чем обычная камера.
Двойная камера с монохромным датчиком делает одновременно две фотографии. Принцип работы такой системы — объединение снимков с обеих камер в одно изображение. Как итог — два совмещенных изображения имеют более подробную информацию и уменьшенный уровень шумов. Кроме того, вы можете делать исключительно черно-белые фотографии на монохромную камеру и получать наиболее высокое качество изображения. Цветной модуль не может обеспечить такого результата даже после применения ЧБ-эффекта.
ЧБ-режим монохромной камеры на Huawei P9
Одним из первых смартфонов с дополнительной монохромной камерой можно назвать флагман Huawei P9. С тех пор китайская компания продолжает улучшать свою двойную камеру и сегодня у нее лучшая система с монохромным датчиком. Стоит отметить, что в разработке двойных камер и алгоритмов обработки Huawei участвует Leica — популярный немецкий производитель, выпускающий фотокамеры и оптику премиум-класса.
Широкоугольная камера
Впервые двойная камера с широкоугольным объективом дебютировала в смартфоне LG G5 в начале прошлого года. LG установила в свой новый флагман 16-мегапиксельный первичный сенсор (29 мм) со светосилой f/1.8 и дополнительный 8-мегапиксельный датчик (12 мм) со светосилой f/2.4. Фокусное расстояние 12 мм придает второстепенной камере значительно более широкое поле зрения, которое захватывает гораздо более широкую область сцены без необходимости намеренного отдаления от объекта.
В основном широкоугольная камера применяется во флагманах LG. Недавно Motorola оснастила такой системой свой новый смартфон Moto X4. Широкоугольный объектив представляет уникальную перспективу для мобильной фотографии, которую не может предложить ни одна другая камера для смартфонов. Помимо своей практической ценности (к примеру, захвата большой группы людей с близкого расстояния), широкоугольный датчик также позволяет создавать красивые пейзажи за счет захвата полной или хотя бы большей части сцены.
Широкоугольный и ультра широкоугольный режимы на LG G5
Первые поколения широкоугольных камер имели свои недостатки. Пользователи G5 и V20 жаловались на низкое качество изображения с ультрашироким углом обзора и сильное искажение сцены по углам. Тем не менее, LG продолжает неуклонно улучшать свою двойную камеру с широкоугольным объективом. В последнем флагмане V30 вторичная линза лишилась главных недостатков — качество изображения заметно подтянули, а искажений на снимках стало существенно меньше.
С хорошей реализацией такая система двойной камеры может быть действительно очень полезной, если говорить об определенных сценариях съемки. LG идет своим путем, и это хорошо.
Телефотокамера
Мы подошли к последнему и самому распространенному варианту из всех систем с двумя камерами — телефото. В данной конструкции первичный модуль соединен со вторым датчиком с телеобъективом. «Телевик» является полной противоположностью широкоугольной системы камер. Он фактически позволяет увеличить только масштаб снимаемого объекта, а не масштаб всей сцены целиком.
Начиная с релиза iPhone 7 Plus (первого смартфона Apple с двойной камерой) производители обратили внимание на телеобъектив в качестве второй камеры для фирменных смартфонов. В настоящее время телефото предлагает двукратное оптическое увеличение, то есть вторичный датчик в такой системе имеет увеличенное вдвое фокусное расстояние. Компания OPPO на выставке MWC 2017 в Барселоне представила инновационную систему двойной камеры с рекордным 5-кратным оптическим зумом, однако этому решению еще далеко до коммерческого выхода.
Широкоугольный режим (сверху) и телефото (снизу) на iPhone 7 Plus
У телеобъектива много преимуществ. Во-первых, что наиболее очевидно — это получение двукратного оптического зума без потерь в качестве изображения. Масштабирование фотографии на смартфонах в значительной степени было цифровым до сих пор, но с телеобъективом вы можете быстро «приблизиться» к снимаемому объекту с минимальной потерей качества. И потому как теперь цифровой зум применяется поверх двукратного оптического зума, получаемые результаты — намного более эффективные.
Портретный режим с функцией студийного освещения на iPhone 8 Plus
Съемка с использованием телеобъектива имеет и другие плюсы. Телефотокамеры отлично подходят для портретов, поскольку обеспечивают минимальное искажение и снимают объект сглаженнее, чем широкоугольный объектив. Большинство производителей сегодня также реализует эффект размытости фона. Комбинация телеобъектива и фонового размытия выводит классические портретные фотографии почти на уровень «зеркалок» — результат настолько впечатляет, что не каждый сможет увидеть разницу. Конечно, не стоит забывать о современных алгоритмах обработки.
Какие недостатки
Единственный недостаток для большинства систем двойных камер — пока ни один из производителей не смог достигнуть полного паритета для обоих модулей. Дополнительные датчики имеют меньшую светосилу по сравнению с основной камерой (от f/2.4 до f/2.8, в то время как для обычных камер уже достигнута рекордная отметка f/1.6) и не оснащаются оптической стабилизацией изображения. В этом году только два флагмана получили OIS одновременно для двух камер — это Samsung Galaxy Note 8 и Apple iPhone X.
Из-за такого различия в характеристиках двойных камер наблюдается заметное расхождение в качестве, если речь идет о съемке при помощи конкретного модуля (только широкоугольный или только телефото). Тем не менее, уровень фотовозможностей, который сегодня предлагают такие мобильные устройства, как Galaxy Note 8 или iPhone X — невероятно высок.
Какие перспективы
Развитие камер в смартфонах за последние пару лет действительно превзошло все ожидания. Нет никаких сомнений в том, что технология двойных камер — это будущее мобильной фотографии. Уже сейчас ими оснащаются не только флагманы, но и устройства среднего класса, а также даже некоторые бюджетные модели. Новая жизнь для черно-белых фотографий, портретный режим с размытым фоном прямиком из «зеркалок», качественный зум без потерь, более высокая детализация — все это теперь могут делать и смартфоны благодаря двойным камерам.