平滑化フィルタやメディアンフィルタなどの注目画素の周辺画素を用いた画像フィルタ処理では、画像の外周部分が下図のように画像の外側を参照してしまうため、処理ができなくなります。
この外周部分を処理する方法はいくつかあるのですが、代表的な方法を紹介します。
以下、５×５サイズのカーネルを用いた場合の処理を例にとって紹介します。
■外周部分の輝度値を画像の外側にコピーして補間する方法
５×５サイズのカーネルの場合、画像の外側に２画素分、画像の輝度値を参照
してしまうので、この２画素分の輝度値を画像の外周部分の輝度値をコピーして
輝度値を参照します。
おそらく？この手法が一般的だと思います。
■外周部分を中心にして対称の位置にある輝度値を外側にコピーして補間する方法
例えば、カーネルが座標（－１、－２）の画素を参照する場合は座標（１、２）の画素の輝度値を参照するようにします。
他にも、単純に外周部分は処理をしないで黒（輝度値＝０）でマスクしたり、カーネルが画像の外側を参照する場合にカーネルを形を変えて画像の外側を参照しないようにしたりする方法などもあります。