【OpenCV-Python】アフィン変換（同次座標系を使用）

アフィン変換については、こちら↓のページ

画像の拡大縮小、回転、平行移動などを行列を使って座標を変換する事をアフィン変換と呼びます。 X,Y座標の二次元データをアフィン変換するには、変換前の座標を（x, y）、変換後の座標を（x',y'）とすると回転や拡大縮小用の２行２列の行列と、...

で、紹介していますが、回転や拡大縮小、平行移動などは３行３列の行列を使った同次座標系を用いるのが便利ですよ！

と言っているのですが、OpenCVでは、２行３列の行列を使ったアフィン変換となります。

アフィン変換では、平行移動だけ、回転移動だけ、拡大縮小だけ、などということも少なく、平行移動、回転、拡大縮小などのアフィン変換を組み合わせて、変換行列は行列の積で求めます。

しかしOpenCVで扱うアフィン変換は2行3列の行列なので、行列の積が計算できないので、個人的には少し不便に感じます。
特に平行移動がからむと、ちょっと難しくなります。

そこで、前半では標準的にOpenCVで出来る事を説明し、後半では３行３列の行列を使ったアフィン変換の方法を紹介したいと思います。

30°回転と0.8倍の縮小を行った例

import cv2
import affine

# 画像を読み込む
img = cv2.imread("image.bmp", cv2.IMREAD_UNCHANGED) 

height, width, _ = img.shape

# 回転行列の取得
affineMatrix = cv2.getRotationMatrix2D((width/2, height/2), 30, 0.8)
print(affineMatrix)

# アフィン変換
img = cv2.warpAffine(img, affineMatrix, (width, height))

# 画像の表示
cv2.imshow("Image", img)

# キー入力待ち(ここで画像が表示される)
cv2.waitKey()

実行結果


アフィン変換前	アフィン変換後

OpenCVによるアフィン変換
warpAffine()
1. 補間モード(flag)について
2. borderMode（画像の外側の表示方法）について
getRotationMatrix2D()
getAffineTransform()
３行３列の行列を使ったアフィン変換
例題）３ｘ３画素の画像を１００倍に拡大する
関連記事

OpenCVによるアフィン変換

OpenCVでは2行３列の行列を指定して、画像をアフィン変換するwarpAffine()関数と、

回転の中心座標、回転角度、倍率を指定してアフィン変換行列（２行３列）を取得するgetRotationMatrix2D()関数、

変換前の３点の座標と、対応する変換後の３点の座標を指定してアフィン変換行列（２行３列）を取得するgetAffineTransform() 関数が用意されています。

warpAffine()

画像のアフィン変換を行います。

warpAffine( src, M, dsize[, dst[, flags[, borderMode[, borderValue]]]] ) -> dst

引数	説明
src	変換前の画像データ
M	２行３列のアフィン変換行列
dsize	出力画像のサイズ (幅, 高さ)
dst	borderMode = cv2.BORDER_TRANSPARENTのとき、背景画像を指定します。ただし、dsizeとdstの画像サイズは同じにする必要があります。
flags	補間方法を指定します。 cv2.INTER_NEAREST cv2.INTER_LINEAR cv2.INTER_CUBIC cv2.INTER_AREA cv2.INTER_LANCZOS4
borderMode	ボーダー(画像からはみ出した部分)の設定を行います。 cv2.BORDER_CONSTANT　（初期値） cv2.BORDER_REPLICATE cv2.BORDER_REFLECT cv2.BORDER_WRAP cv2.BORDER_TRANSPARENT
borderValue	borderModeにcv2.BORDER_CONSTANTを指定したときの画像のはみ出した部分の輝度値を指定します。　初期値：０
(戻り値)dst	アフィン変換後の画像データ

補間モード(flag)について

cv2.INTER_NEAREST	ニアレストネイバー
cv2.INTER_LINEAR	バイリニア
cv2.INTER_CUBIC	バイキュービック
cv2.INTER_AREA	縮小のときにモアレが発生しないモード公式ドキュメントには拡大のときはINTER_NEARESTと同じと書いてありますが、実際にやってみると、INTER_LINEARと同じと思われます。
cv2.INTER_LANCZOS4	ランチョス

（元画像）目の部分を拡大したときの比較


INTER_NEAREST	INTER_LINEAR	INTER_CUBIC

INTER_AREA	INTER_LANCZOS4

個人的な使い分けですが、画像処理結果を画像で見たいときはINTER_NEAREST、

画像処理の画像データとして、拡大縮小したいときはINTER_LINEAR、

写真のように見た目が大事なときはINTER_CUBIC

と、することが多いです。

（参考）

画素の補間(Nearest neighbor,Bilinear,Bicubic)の計算方法

画像を拡大や回転する場合など、画像の画素と画素の間の輝度値を参照する必要が出てきますが、その参照方法を紹介します。この画素を画素の間を参照する事を一般に補間や内挿（Interpolation）と言います。最近傍補間（ニアレストネイバー　...

borderMode（画像の外側の表示方法）について

cv2.BORDER_CONSTANT	borderValueで指定した色で埋めます。（初期値は黒）
cv2.BORDER_REPLICATE	画像の一番外側の色で埋めます。
cv2.BORDER_REFLECT	画像を上下、左右方向にミラー反転して画像で繰り返し埋めます。
cv2.BORDER_WRAP	画像で繰り返し埋めます。
cv2.BORDER_TRANSPARENT	dstに出力画像と同じ大きさの画像を指定すると、画像の外側は透過して、画像の上に画像を配置します。


BORDER_CONSTANT	BORDER_REPLICATE	BORDER_REFLECT

BORDER_WRAP	BORDER_TRANSPARENT

getRotationMatrix2D()

基点（中心）周りに回転、拡大縮小を行うアフィン変換行列（２行３列）を取得します。

取得する行列は以下のようになります。

$$\begin{bmatrix}\alpha & \beta & (1-\alpha)\cdot center.x-\beta \cdot center.y \\-\beta & \alpha & \beta \cdot center.x + (1-\alpha )\cdot center.y \end{bmatrix}$$

ただし、

$$\begin{cases}\alpha=scale\cdot cos(angle)\\ \beta =scale\cdot sin(angle)\end{cases}$$

getRotationMatrix2D( center, angle, scale ) -> retval

引数	説明
center	回転、拡大縮小の基点（中心）となる(x,y)座標
angle	回転角度を度で指定します。　反時計周りが正
scale	拡大縮小する倍率を指定します。
(戻り値)retval	(x,y)座標を基点に回転、拡大縮小したときの2行3列のアフィン変換行列を取得します。

getAffineTransform()

アフィン変換前の３点の座標と、それに対応したアフィン変換後の３点の座標を指定して、アフィン変換行列を求まます。

getPerspectiveTransform( src, dst) -> retval

引数	説明
src	アフィン変換前の３点の(x,y)座標
dst	アフィン変換前の点に対応したアフィン変換後の３点の(x,y)座標
(戻り値)retval	２行３列のアフィン変換行列

３行３列の行列を使ったアフィン変換

OpenCVでは、２行３列の行列を用いてアフィン変換を行うので、同次座標系の特徴でもある、平行移動も含めて行列の積でアフィン変換の行列を求めることができません。

そこで、回転、拡大縮小、平行移動の３行３列の行列は自作で作って、実際に画像をアフィン変換する部分はwarpAffine()関数のアフィン変換行列の部分に３行３列の行列をスライスして２行３列の行列として渡す方針でやってみたいと思います。

３行３列のアフィン変換行列を求める部分はファイル(affine.py)にまとめました。

# affine.py

import cv2
import numpy as np

def scaleMatrix(scale):
    '''拡大縮小用アフィン変換行列の取得(X方向とY方向同じ倍率)'''
    mat = identityMatrix() # 3x3の単位行列
    mat[0,0] = scale
    mat[1,1] = scale

    return mat

def scaleXYMatrix(sx, sy):
    '''拡大縮小用アフィン変換行列の取得(X方向とY方向の倍率をぞれぞれ指定)'''
    mat = identityMatrix() # 3x3の単位行列
    mat[0,0] = sx
    mat[1,1] = sy

    return mat

def translateMatrix(tx, ty):
    '''平行移動用アフィン変換行列の取得'''
    mat = identityMatrix() # 3x3の単位行列
    mat[0,2] = tx
    mat[1,2] = ty

    return mat

def rotateMatrix(deg):
    '''回転用アフィン変換行列の取得'''
    mat = identityMatrix() # 3x3の単位行列
    rad = np.deg2rad(deg) # 度をラジアンへ変換
    sin = np.sin(rad)
    cos = np.cos(rad)

    mat[0,0] = cos
    mat[0,1] = -sin
    mat[1,0] = sin
    mat[1,1] = cos

    return mat

def scaleAtMatrix(scale, cx, cy):
    '''点(cx, cy)を基点とした拡大縮小用アフィン変換行列の取得'''

    # 基点の座標を原点へ移動
    mat = translateMatrix(-cx, -cy)
    # 原点周りに拡大縮小
    mat = scaleMatrix(scale).dot(mat)
    # 元の位置へ戻す
    mat = translateMatrix(cx, cy).dot(mat)

    return mat

def rotateAtMatrix(deg, cx, cy):
    '''点(cx, cy)を基点とした回転用アフィン変換行列の取得'''

    # 基点の座標を原点へ移動
    mat = translateMatrix(-cx, -cy)
    # 原点周りに回転
    mat = rotateMatrix(deg).dot(mat)
    # 元の位置へ戻す
    mat = translateMatrix(cx, cy).dot(mat)

    return mat

def afiinePoint(mat, px, py):
    '''点(px, py)をアフィン変換行列(mat)で変換した後の点を取得'''

    srcPoint = np.array([px, py, 1])

    return mat.dot(srcPoint)[:2]

def inverse(mat):
    '''行列の逆行列を求める'''
    return np.linalg.inv(mat)

def identityMatrix():
    '''3x3の単位行列を取得'''
    return np.eye(3, dtype = np.float32) # 3x3の単位行列

使い方としては、上記のプログラムをaffine.pyというファイルに保存して、使う側のプログラムと同一フォルダに配置し、

import affine

のようにすれば、使えるようになります。

例えば、OpenCVのgetRotationMatrix2D()関数で行っていることは、

中心座標を原点へ平行移動
↓
拡大縮小
↓
回転（マイナス方向）
↓
原点から中心へ平行移動

となっていて、この順番でアフィン変換の行列の積を行えば、行列が求まります。

getRotationMatrix2D()関数と同じアフィン変換行列を求めるサンプル

import cv2
import affine # affine.pyファイルを同一フォルダに置くこと

# 中心座標
cx = 100
cy = 5
# 回転角度
angle = 30
# 拡大縮小
scale = 0.8

# アフィン変換行列を求める
matAffine = affine.translateMatrix(-cx, -cy)                # 原点へ平行移動
matAffine = affine.scaleMatrix(scale).dot(matAffine)        # 拡大縮小
matAffine = affine.rotateMatrix(-angle).dot(matAffine)      # 回転
matAffine = affine.translateMatrix(cx, cy).dot(matAffine)   # 中心へ戻す
print(matAffine)
#[[ 0.6928203  0.4       28.717972 ]
# [-0.4        0.6928203 41.5359   ]
# [ 0.         0.         1.       ]]

matAffine_cv = cv2.getRotationMatrix2D((cx, cy), angle, scale)
print(matAffine_cv)
#[[ 0.69282032  0.4        28.7179677 ]
# [-0.4         0.69282032 41.53589838]]

あとは、ここで求めたアフィン変換の行列を２行３列の行列にスライスして、warpAffine()関数へ渡せば、画像のアフィン変換ができます。

img = cv2.warpAffine(img, affineMatrix[:2,], (width, height))

例題）３ｘ３画素の画像を１００倍に拡大する

画像を拡大するとき注意が必要なのが、画素の中心が、小数点以下が０になる座標(X.0, X.0)だという事に注意してください。詳しくは以下のページを参照ください。

画像の拡大

例えば、下図のように２ｘ２画素の画像を４ｘ４の画像に拡大する場合、アフィン変換を使えばいいんでしょ！と、安易に考えていると、思わぬ落とし穴があったりもします。大事なポイントとして、 ●画像の座標の原点は左上の画素の中心が原点（0.0、0....

この事を知らずに、OpenCVのgetRotationMatrix2D()関数で3×3画素の市松模様の画像の拡大を行うと・・・

import numpy as np
import cv2

# 画像データ
img = np.array(
    [[0,   255,   0],
     [255,   0, 255],
     [0,   255,   0],
    ],
    dtype = np.uint8
    )

# OpenCVでアフィン変換行列を求める
matAffine = cv2.getRotationMatrix2D(center=(0,0), angle=0, scale=100)

# アフィン変換
img = cv2.warpAffine(img, matAffine, (300, 300), flags = cv2.INTER_NEAREST)

# 画像の表示
cv2.imshow("Image", img)

# キー入力待ち(ここで画像が表示される)
cv2.waitKey()

実行結果

上図のように左上の画素の中心に拡大されるため、ズレた画像になってしまいます。

この１００倍の拡大を３行３列のアフィン変換を使って行うには、どのように考えるかというと、

(+0.5, +0.5)の平行移動（画像の角を原点に合わせる）
↓
１００倍の拡大
↓
(-0.5, -0.5)の平行移動（左上の画素の中心を原点に合わせる）

というように変換を行います。

import numpy as np
import cv2
import affine # afiine.py のファイルが同一フォルダにあること

# 画像データ
img = np.array(
    [[0,   255,   0],
     [255,   0, 255],
     [0,   255,   0],
    ],
    dtype = np.uint8
    )

# OpenCVでアフィン変換行列を求める
matAffine = affine.translateMatrix(0.5, 0.5)            # 平行移動
matAffine = affine.scaleMatrix(100).dot(matAffine)      # １００倍の拡大
matAffine = affine.translateMatrix(-0.5, -0.5).dot(matAffine) # 原点の位置へ移動

# アフィン変換
img = cv2.warpAffine(img, matAffine[:2,], (300, 300), flags = cv2.INTER_NEAREST)

# 画像の表示
cv2.imshow("Image", img)

# キー入力待ち(ここで画像が表示される)
cv2.waitKey()

実行結果