非線形フィルタは、周辺画素の画素値を単純な加重和ではなく、並べ替え、比較、選択などによって処理するフィルタである。代表例はメディアンフィルタで、注目画素の周囲の値を並べ、その中央値を出力に使う。線形フィルタでは表しにくいノイズ除去や特殊な画像加工に使われる。
線形フィルタは、係数を掛けて足すという計算で出力を決める。一方、非線形フィルタは値の順序や条件によって出力を決めるため、同じ入力値の組でも処理の考え方が異なる。メディアンフィルタでは、極端に明るい点や暗い点があっても、並べた中央の値を採用するため、点状ノイズの影響を受けにくい。輪郭を保ったままノイズを抑えたい場合などに有効だが、処理の性質はフィルタの種類によって大きく変わる。
CG制作では、スキャン画像や写真素材の細かいノイズを抑えるときに非線形フィルタの考え方が役立つ。単純なぼかしでは輪郭まで弱くなることがあるが、メディアンフィルタのような処理では、孤立したノイズを減らしながら形の境界を比較的残しやすい。
ゲーム開発では、カメラ入力や生成画像を扱う処理、ノイズを含むマスク画像の補正などで非線形フィルタが使われることがある。リアルタイムに使う場合は、並べ替えや比較のコストが線形フィルタより高くなることに注意する。
3×3範囲のメディアンフィルタでは、9個の画素値を小さい順に並べ、5番目の値を出力する。このように、係数を掛けて合計するのではなく、値の選択で結果を決める点が非線形フィルタの特徴である。