iPhone 12 Pro / Maxだけの「LiDARスキャナ」とは。デプスマップでARや暗所撮影に威力

10月14日のイベントで、アップルが iPhone 12全4モデルを発表しました。うち上位の iPhone 12 Pro と iPhone 12 Pro Max は、他のモデルにない「LiDARスキャナ」を iPhone では初めて搭載します。

背面カメラと並んで配置された LiDARスキャナは、赤外線を使い奥行きを計測するセンサ。iPad Pro 第四世代にも載っています。

カメラを向けた範囲の奥行き、つまり三次元形状を高精度で把握できることで、現実と仮想を重ねるARアプリが高速に、高精度になるのが効果のひとつ。

さらに従来のカメラでは難しかった暗い場所のオートフォーカスが6倍速くなったり、暗所撮影時でも背景を綺麗にボケさせるナイトモード ポートレートが使えるなど、写真撮影にも威力を発揮します。

LiDARスキャナとは。ARが素早く、現実的に

LiDAR (ライダー)は「Light Detection and Ranging」、光を使った探知と測距の略。要はレーダーの光版です。iPhone の場合は赤外線を前方の一定範囲に発射して、対象物に反射して戻ってくるまでの時間をナノ秒単位で計測するToF (Time of Flight)方式により、各点の奥行き＝前方一定範囲の三次元形状(デプスマップ)を測定します。

(余談ながら、マイクロソフトのゲーム機 Xbox One が全身で操作するゲームの掛け声で搭載していたものの、方針転換で抹消された Kinect V2 センサも同じ赤外線パルスToF方式でした)

前方の三次元形状が分かって何がうれしいかといえば、まず現実と仮想を重ねる AR アプリケーションで役に立ちます。従来のARでは、通常のカメラで撮影した二次元の映像とスマホ側の姿勢センサなどを組み合わせ、床や垂直面などを複雑な演算で推定していました。

ポケモンGOで部屋にポケモンを召喚して記念撮影したり、iPhoneの標準アプリ「計測」で長さや面積を図るとき、まず「 iPhone をゆっくりと円を描くように動かしてください」「もっと明るい場所に移動してください」などと謎の儀式が必要なのも、このカメラ画像から床面など基準を検出するのが難しいため。

一方、すでに LiDARスキャナを搭載している第四世代 iPad Pro では、カメラを向けた途端にほとんど待つことなく奥行きを認識してARを重ねたり、計測を開始できます。

また従来の AR アプリでは、床や垂直面の認識はできても、家具や立体物の認識は苦手で、ARが現実の物体にめり込んだり前後関係が破綻して一気に嘘くさく分かりにくくなる問題がありました。

現実の物体はありとあらゆる不規則な形状をしているうえに、元からの色や模様なのか、たまたま照明でそう見えているのか、静止画や動画だけから正確に、高速に認識するのは非常に難しい処理です。一方 LiDARならば、カメラ画像とは独立して直接形状を認識できます。(赤外線の反射を使うため、素材や照明環境によって苦手な場合もありますが)。

LiDAR で高精度に3D形状が認識できるようになれば、たとえばARのキャラクターが現実の物体の向こう側から顔を覗かせたり、家具によじ登ったりといった表現がよりリアルにできるようになります。

実用ARアプリとして定番の模様替え / インテリアデザイン / 家具プレビュー系でも、ただサイズをあわせた仮想家具を置けるだけでなく、すでにある家具や壁との距離を正確に測ったり、前後関係を自然にプレビューすることが可能になります。

暗所撮影などカメラ機能も強化

例年の「Pro」モデルと同様、今年の iPhone 12 Pro / 12 Pro Max も、無印の iPhone 12 よりもカメラとしての性能が高く、機能が豊富なことを売りのひとつとしています。

アップルによれば、iPhone 12 Pro / 12 Pro Max は LiDAR の搭載により暗所でのオートフォーカス速度が6倍に高速化。暗い場所でも素早く、ピンボケしにくい写真が撮影できるようになります。

さらにデプスマップが取得できることで、従来は非対応だったナイトモードのポートレート撮影も可能に。夜景や暗い室内などでも、前景の被写体は正確に、背景はそれらしくボケ味を加えた写真が撮れることになります。

iPhone の「大きいほう」は伝統的に通常モデルより高いカメラ性能を備えていますが、iPhone 12 Pro Max は撮像素子(イメージセンサ)が従来モデルより47％大きくなり、暗所撮影性能が87％向上。

ほか一眼レフカメラで使われるセンサーシフト方式を新たに採用し光学手振れ補正を毎秒5000調整に強化、2.5倍光学ズームレンズ(超広角から数えて5倍)、広角(標準)カメラのレンズは新設計の7エレメント f/1.6で明るくなるなど、「フォトグラファーのiPhone」「常に持ち歩く高性能カメラ」としての側面をさらに強化しました。

Pro と Pro Max はどちらも LiDARを載せており、暗所ポートレートやオートフォーカスの高速化はどちらも利用できます。

Pro Maxだけのカメラ機能は、広角(標準)カメラに1.7㎛ピクセルの大きなセンサ(Proは1.4μm)、センサーシフトOIS、望遠が2.5倍 (Proは2倍)など。

また 光が足りない場所で細部のディテールを捕らえる Deep Fusion も、従来はいつどの条件で有効になるのか無効になるのかユーザーには分からず、Just Works の念仏を唱えながら効くことを祈る機能でしたが、iPhone 12 Pro では超広角から望遠まですべてのカメラで効くようになりました。

カメラ性能といえば、光学系と並んで重要になった演算能力も、iPhone 12 世代ではニューラルエンジンのコア数が増え前世代より80％高速化、イメージシグナルプロセッサも新しくなるなど、大きく向上しています。

Deep Fusion をはじめ、ニューラルエンジンやイメージプロセッサの演算を通じて最終的な画像を得るComputational Photography 系の機能は、イメージセンサの情報を生のまま出力して他のアプリで現像する RAWフォーマットと相性がよくありませんでしたが、アップルはRAWに画像処理パイプラインの諸情報も加えた Apple ProRAW フォーマットを近日中に提供することも予告しました。

新機種が登場するたび、見る人によっては目新しさも革新もない、「本質」を見失って行き詰った、不必要なところばかり変えている、性能よりユーザー体験の訴求が云々といわれるのは iPhone に限ったことではありませんが、ことカメラやAR機能、つまりスマホの外の現実世界を捉え、理解するデバイスとしては、まだまだいくらでも進歩の余地があるようです。

Apple iPhone 12発表。5G対応・スマホ最速性能・4倍強いセラミックシールドや有機EL画面に進化