Appleが今年後半にリリースすると約束していたiPhone 7 Plusのソフトフォーカスポートレートモードが、iOS 10.1の開発者向けリリースで登場しました。パブリックベータ版も近日中に公開予定です。この新モードでは、iPhone 7 Plusの両方のレンズを用いて被写体を識別し、奥行きのレイヤーを計算し、最も近いレイヤーをシルエット化し、残りのレイヤーをぼかします。（iPhone 7のカメラの変更点について詳しくは、「iPhone 7と7 Plusが『さあ、出発だ、ジャック！』と叫ぶ」（2016年9月7日）をご覧ください。）
ポートレートモードは、カメラアプリ内でパノラマやスローモーションなどのモードと並んで表示されますが、ベータ版では初めて選択すると説明が表示され、「ベータ版を試す」リンクをタップします。その後は、単なる選択肢の一つとして扱われます。（TidBITSは通常、開発者向けベータ版については報道しませんが、Appleは一部のメディアにポートレート機能のテストと記事掲載を許可したため、この機能は公平な扱いを受けています。）
このソフトフォーカスのポートレート手法は、「ボケ」（発音は「boh-keh」）と呼ばれるものを組み合わせたものだ。これは日本語からの借用語で、画像の中で焦点が深くぼけている部分と、近くで浅い被写界深度（画像の中で焦点が合っている部分）を表現する。この手法は、私たちの目が近くで見た人物や物を処理する方法を模倣したもので、構図次第で美しくも奇抜にも見える一種の視覚的なスナップ感を加える。（iPhone 7 Plus を持っていない人、あるいは持っていて Portrait モードが待ちきれない人のために、ボケをシミュレートする既存のアプリがある。2014 年 2 月 28 日の記事“FunBITS：焦点の合っていない写真が芸術作品になる方法”を参照。）
ポートレート撮影におけるボケ効果は、ミラーレスカメラやデジタル一眼レフカメラに望遠レンズを組み合わせることで最も簡単に得られ、スマートフォンに搭載されているような広角単焦点レンズでは最も難しい。Appleのシミュレーションは、4mmの広角レンズ（35mm判換算で28mm相当）と6.6mmの「望遠」（56mm判換算）レンズを搭載したiPhone 7 Plusの小型レンズシステムで、高価な撮影画像のような臨場感を再現しようとしている。（Appleが6.6mmレンズを望遠と呼ぶのは技術的には正確だが、多くの写真家は70mm以上のレンズを望遠レンズとみなしている。）
Appleの新しいポートレートモードは、ベータ版でもかなり優れています。私が短時間試してみたり、他の人が投稿した写真を見たりする限りでは、物体よりも人物や動物の方がうまく機能するようです。これは当然のことです。画像内の物体を認識する必要があるからです。Appleは明らかに、このモードをポートレートという名称にふさわしいものに最適化しています。
カメラアプリは、撮影時に便利なヒントを提供します。近すぎる場合（1フィート以内）または遠すぎる場合（8フィート以上）は、画面にラベルが表示され、移動するように指示されます。また、撮影に必要な光量が不足している場合にも警告が表示されます。望遠レンズの絞り値はf/2.8と、
この小型レンズとしては比較的小さい値ですが、広角レンズはf/1.8です。ハイダイナミックレンジ（HDR）撮影と同様に、ポートレートモードでは、補正前の画像と補正後の画像の両方が写真アプリに保存されるため、ソフトフォーカス効果がうまくいかなくても撮影した写真を失うことはありません。
ポートレートモードの計算は実に巧妙です。奥行きを計算するのに全く同じレンズが2つ必要というわけではありません。ソフトウェアがそれぞれのレンズの正確な特性、例えばレンズ間の角度やレンズの歪みの種類などを把握していれば、それで十分です。
深度検出ソフトウェアは、各レンズで撮影した写真を比較し、Appleの進化し続ける機械学習機能を用いて画像全体に共通する特徴を特定します。これらの共通特徴を用いて2枚の画像間の点を比較し、カメラに関する知識に基づいて調整することで、距離を概算します。深度測定は正確ではないため、立体視ソフトウェアは各特徴を正確な距離に配置するのではなく、複数の平面に分割します。これらの平面には、シーン内のあらゆる要素の輪郭線が含まれています。（詳細については、
2012年に公開されたこの手法に関する非常に分かりやすい技術概要をご覧ください。）
デュアルカメラによるボケ機能はAndroidスマートフォンに以前から搭載されており、全く新しい技術ではありません。しかし、初期のデュアルカメラ搭載スマートフォンで撮影した画像は、私のテストや公開された初期サンプルで見たものよりもはるかに大きなばらつきを示しています。より高度な機械物体認識技術と、iPhone 7 Plusの画像信号プロセッサと超高速A10プロセッサの組み合わせにより、効果を正確にプレビューし、瞬時に撮影することが可能になりました。
ポートレートモード以外でも、iPhone 7 Plusは広角レンズといわゆる望遠レンズで撮影した写真を合成して1枚の画像を生成するという、すでにいくつかのトリックを実行しています。この合成画像は合成ではあるものの、人工的なものではありません。ディテールを追加するのではなく、別々に同時に撮影された各画像の要素を合成します。iPhoneがこの手法を使用するのは主に明るい条件で、望遠レンズでシーンを捉え、広角レンズで輝度情報を追加する場合であることが分かりました。広角レンズのより大きな絞りにより、暗い部分の詳細をよりよく捉え、望遠レンズの画像センサーが十分な光を受け取らないために発生する斑点を減らすことができます。（これは、
ポートレート写真の構図を決める際に光量不足の警告が表示されるのと同じ理由です。）
これらの組み合わせとポートレートモードはすべて、コンピュテーショナルフォトグラフィーと呼ばれる進化を続ける分野に属します。HDR画像は最もよく知られた例で、露出の異なる複数の連続写真を1枚の画像に合成し、時に超自然的なトーンレンジを持つ画像を生成します。Light L16カメラは、その可能性を示す極端な例です。出荷時には、 3つの焦点距離にわたる16個のレンズを搭載し、巨大で高品質、高解像度の画像を作成します。Lytroという名前を聞いたことがあるかもしれません。同社は、画像センサーを使用して入射光線の角度を計算し、撮影後に画像の再フォーカスを可能にするコンシューマー向けおよびプロ向けカメラを製造していました。この
アプローチは少々限定的で奇抜だったため、同社はこれらのカメラの製造を中止しました（現在はバーチャルリアリティハードウェアに注力しています）。
現時点では、Appleはこの深度検出出力をサードパーティ開発者に提供しておらず、開発者は両方のカメラに別々のストリームとして同時にアクセスして独自の処理を行うこともできません。サードパーティ製アプリは、画像センサーデータをRAW Digital Negative形式のファイルとして取得でき、すでにいくつかのアプリがこの形式に対応しています。ただし、RAWファイルは片方のレンズからしか取得できません。開発者が両方のレンズを使いたい場合、AppleはJPEG画像を生成します。（RAW画像のサポートは、iPhone 6s、6s Plus、SE、7、7 Plus、そして9.7インチiPad Proでのみ利用可能です。）
Appleのポートレートモードは、iPhone 7 Plusで見られる最初の計算手法に過ぎないと私は予想しています。リアルタイムで深度を計算できる機能を使えば、iPhoneをモーションキャプチャやゲームコントロールの入力として使ったり、物体の3Dスキャンに使ったりと、できることはもっとたくさんあります。そして、開発者の運が良ければ、Appleはデュアルストリームやデュアルイメージキャプチャのオプションを公開し、さらに多くの新しいアイデアが生まれるかもしれません。