コンピュテーショナルフォトグラフィは、カメラで取得した画像を計算処理と組み合わせ、通常の撮影だけでは得にくい画像や情報を作る技術である。撮影後の画像処理だけでなく、撮影方法、センサ、複数画像の合成、奥行き推定なども含めて考える。
通常のカメラは、光をレンズと撮像素子で記録して画像にする。一方、コンピュテーショナルフォトグラフィでは、複数枚の画像、異なる露出、異なる焦点、複数の視点などを計算で統合し、画質改善や奥行き推定、後からのピント変更などを実現する。HDR画像、ノイズ低減、手ぶれ補正、ライトフィールドなどと関係が深い。単に写真を加工するのではなく、撮影と計算を一体で設計する点が特徴である。
CG制作では、実写素材の高品質化、HDR環境画像の取得、実写背景とCGの合成、3次元復元用の撮影などに関係する。実写から得た情報をCG制作に利用する入口になる。
ゲーム開発では、フォトグラメトリ用の素材撮影、AR用のカメラ入力、スマートフォンの写真処理、実写背景の活用などに関係する。撮影画像をそのまま使うのではなく、計算によってゲーム用データへ変換する発想が重要である。
スマートフォンの夜景撮影のように、複数枚の暗い画像を重ねてノイズを減らす処理は分かりやすい例である。撮影時の不足を後処理で補うだけでなく、最初から計算処理を前提に撮影する。
コンピュテーショナルフォトグラフィは、撮影と計算処理を組み合わせる技術である。単なる画像補正ではなく、カメラモデル、画像処理、コンピュータビジョンを横断する応用分野として押さえる。