視覚の幾何学１呉海元和歌山大学参考書佐藤淳コンピュータビジョン視覚の幾何学コロナ社 Single

視覚の幾何学１呉海元＠和歌山大学参考書佐藤　淳：「コンピュータビジョン　－視覚の幾何学－」コロナ社

Single view geometry Camera model Single view geom.

カメラモデル（Camera model）画像内の一点と 3次元空間中の光線の関係 ? 投影・射影関係によって決定

投影（ Projections ） u 投影：m次元からn次元への変換 (m>n) • CV： 3 D to 2 D 平行投影・正射影透視投影

理想的なカメラ ● 3次元空間のある点から発せられた光はレンズによって一点に集光される ●光がレンズに入射する角度に応じて集光される位置が変わる ●どのような角度で入射した平行な光もすべてある一つの平面上に集光される ☆この平面上に撮像素子を置いておけば，ピントの合った画像が得られる

ピンホール･カメラ(pinhole camera) ●視覚を情報処理として考える場合には必ずしも実際のカメラの物理的な投影をそのまま考える必要はない ●カメラの幾何学的な性質のみを考えるのであれば、レンズの中心の一点のみに注目し、撮像素子に至る光はすべてこの一点を通過してくるものと考えるほうが扱いやすい ●このようなカメラをピンホール･カメラと呼ぶ

ピンホール･カメラ f Pinhole Object Image plane ●撮像素子が置かれる面を画像面(image plane) ●すべての光が通過する点(pinhole)を光学中心 (optical center) ●光学中心と画像面との間の距離を焦点距離ｆ (focal length)

ピンホール･カメラ Pinhole Object Image plane 　●ピント合わせの必要がない　●投影の幾何学的な性質がそのまま保存されている　●視覚の幾何を考えるうえで理想的な性質を持つ

ピンホール･カメラ ●仮想的に画像面(Virtual image plane)を光学中心の前(対象物側)に置くと、まったく同じ像が上下逆転せずに投影される ●画像面を光学中心の前に出すことによって投影がより扱いやすくなる ●普通、画像面を対象物側に置いて考える Pinhole Image plane Virtual Object image plane

Pinhole camera image Amsterdam : what do you see in this picture? lstraight line lsize lparallelism/angle lshape of planes ldepth Photo by Robert Kosara, robert@kosara. net http: //www. kosara. net/gallery/pinholeamsterda m/pic 01. html

Pinhole camera image Amsterdam üstraight line lsize lparallelism/angle lshape of planes ldepth Photo by Robert Kosara, robert@kosara. net http: //www. kosara. net/gallery/pinholeamsterda m/pic 01. html

Pinhole camera image Amsterdam üstraight line ´size lparallelism/angle lshape of planes ldepth Photo by Robert Kosara, robert@kosara. net http: //www. kosara. net/gallery/pinholeamsterda m/pic 01. html

Pinhole camera image Amsterdam üstraight line ´size ´parallelism/angle lshape of planes ldepth Photo by Robert Kosara, robert@kosara. net http: //www. kosara. net/gallery/pinholeamsterda m/pic 01. html

Pinhole camera image Amsterdam üstraight line ´size ´parallelism/angle ´shape lshape of planes ldepth Photo by Robert Kosara, robert@kosara. net http: //www. kosara. net/gallery/pinholeamsterda m/pic 01. html

Pinhole camera image Amsterdam üstraight line ´size ´parallelism/angle ´shape lshape ü of planes parallel to image ldepth Photo by Robert Kosara, robert@kosara. net http: //www. kosara. net/gallery/pinholeamsterda m/pic 01. html

Pinhole camera image Amsterdam: what do you see? üstraight line ´size ´parallelism/angle ´shape lshape ü of planes parallel to image l. Depth ? lstereo - We see spatial shapes rather than individual pixels lmotion lsize lstructure … - Knowledge: top-down vision belongs to human - Stereo &Motion most successful in 3 D CV & application - You can see it but you don't know how…

透視投影 (Perspective Projection) Pinhole Virtual image plane Image plane 簡略されたモデル： z y y’ O x x’ Object

透視投影 (Perspective Projection) u u n Ho o riz 消失点 u u 点⇒点線⇒線面⇒面ポリゴン⇒ポリゴン遠い物体が小さい奥行き情報が得られない

透視投影モデル y y’ (x’, y’, z’) (x, y, z)から(x’, y’, z’)へ投影: （相似三角関係より） z z’ z x’ O x x’ 仮定：　原点をレンズの中心に　Z軸と光軸と同じ（f = Z’） ●透視投影はZに関し非線形である ★幾何関係だけ考える理論系の人はよくｆ＝１とする x

同次座標系 Homogenous Coordinates

カメラのパラメータ Camera Parameters u 画像座標系Image coordinates 　　　(ximage, yimage) u 画像中心Image center 　　　　(ox, oy) u カメラ座標系Camera coordinates 　　(xcamera, ycamera) u u u ワールド座標系Real world coordinates (X, Y, Z) 焦点距離Focal length　　　　　 f 画素の有効サイズEffective size of pixel in millimeter 　　　　　　　　　　　

カメラのパラメータ

カメラの内部パラメータ Intrinsic Camera Parameters y u fx u u u ox oy x Y u fy X Z p (x, y, f) O Size: (x, sy) (0, 0) oy yim ox xim Pixel (xim, yim) 内部パラメータはワールド座標系内のカメラの位置と姿勢と依存しない

カメラの内部パラメータＩＩ (x, y) u レンズのひずみ Lens Distortions k 1 , k 2 (xd, yd)

カメラの内部パラメータＩＩ (x, y) u u レンズのひずみ Lens Distortions k 1 , k 2 Modeled as simple radial distortions • r 2 = xd 2+yd 2 • (xd , yd) distorted points • k 1 , k 2: distortion coefficients • A model with k 2 =0 is still accurate for a CCD sensor of 500 x 500 with ~5 pixels distortion on the outer boundary (xd, yd)

カメラの外部パラメータ Extrinsic Camera Parameters u 外部パラメータはワールド座標系内のカメラの位置と姿勢によって決定される • 平行移動Translation (3 x 1ベクトル) • 回転Rotation (3 x 3行列) Y xim (xim, yim) yim X O y x Z p R t P Zw Pw Xw O Yw

平行移動（Translation） u (tx, ty, tz) Translation vector

平行移動（Translation） u Inverse translation

回転（Rotation） Y u Z-軸周り (X’, Y’, Z’) ) (X, Y, Z) ) X Z

回転（Rotation） u X-軸周り u Y-軸周り u Z-軸周り u 回転なし

回転（Rotation） u u Inverse rotation 回転行列は直交行列!!

回転行列とEuler角 u u u 回転行列: 3 x 3 • 直交行列Orthogonal : , • 9 elements => 3+3 constraints (orthogonal) => 2+2 constraints (unit vectors) => 3 DOF 自由度 (degrees of freedom) Y , はX, Y, Z軸周りの回転角 X O 注意： Z g Zw • 一回一つの角度しか回転できない • 順番と関係がある Xw b Yw a

回転行列とEuler角 Y u If angle is small, then cos =1 and sin = O X Z g Zw Xw b Yw a

カメラのパラメータ u u ワールド座標系とカメラ座標系の下 tx, ty, tz と r 1, 1…r 3, 3 はカメラ外部パラメータ

カメラのパラメータ u ワールド座標系と画像座標系の下で

ピンホールカメラモデル

透視投影モデル y y’ (x’, y’, z’) (x, y, z)から(x’, y’, z’)へ投影: （相似三角関係より） z z’ z x’ O x x’ 仮定：　原点をレンズの中心に　Z軸と光軸と同じ（f = Z’） ●透視投影はZに関し非線形である ★幾何関係だけ考える理論系の人はよくｆ＝１とする x

正射影 (orthographic projection) ●正射影画像面に垂直な軸に沿って投影するもの ●Z軸方向の情報が失われ, X軸とY軸方向の座標はそのまま保存される ●正射影はZに関し線形であり数学的にははるかに扱いやすい ●正射影は実際のカメラによる投影とは掛け離れたものであり, この投影モデルがＣＶの分野に応用できる場合は稀である　　

正射影モデル y (x’, y’, z’) (x, y, z) z O x Projection from (x, y, z) to (x’, y’, z’): or

弱透視投影(weak perspective projection) ●透視投影は現実のカメラによる投影にきわめて近いが、非線形であり数学的には扱いにくい ●正射影は線形であるが、実際のカメラによる投影とは程遠い ●弱透視投影はこれら二の投影の中間的なものであり、正射影と透視投影を組み合わせた投影である

弱透視投影 1) 対象物を画像面pに平行な平面Pに正射影する　　　この投影は正射影 => 線形 2) その投影像をさらに画像面pへ透視投影する　この投影は平面Pから平行な平面pへの投影 => 均一に拡大或は縮小を行っている => 線形　★弱透視投影は線形

弱透視投影の式 ●対象物を画像面pに平行な平面Pに正射影することは、対象物上の各点のX座標とY座標を保存したままZ 座標のみ一定の値即ち、平面PのZ座標であるZ°に変更することに等しい ●この投影は次のように表せる：　　　X’=X 　　　Y’=Y 　　　Z' =Z°　　　　　　 (5. 3)

弱透視投影の式 ●正射影されたものをさらに透視投影される　=> 弱透視投影は次のように表せる　　　x = X’/Z’ = X/Z° 　　　y = Y’/Z’ = Y/Z° (5. 4) 　　Z°は定数である ●これらの式はXとYに関して線形である　=> 投影が線形化された

弱透視投影が成り立つ条件 ●弱透視投影は透視投影の近似である ●この近似の有効範囲は限られている ●弱透視投影では対象物上の各点までの距離Zが一定値Z°で近似できることを前提としている ●対象物のZ軸方向の厚みDがカメラから対象物までの距離Zと比較して十分小さければよい ●D: Zが1: 10以上であればこの近似が有効であると考えてよい

平行透視投影(paraperspective projection) ●透視投影を線形近似するもう一つの方法 ●弱透視投影では透視投影の前に画像面pに平行な平面Pへの正射影を行った ●これを一般化し透視投影の前にPへ平行投影を行う　　　=> 正射影のように各点をある直線Lに平行に投影するが、この直線Lが必ずしもPに垂直ではない弱透視投影平行透視投影

平行透視投影 ●平行投影の方向 = 対象物の平均的な方向 ●平行投影は線形な投影であり、平行な平面間の透視投影も線形な投影であるから、これらを組み合わせた平行透視投影も線形な投影となる

平行透視投影の式 ●対象物の平均的な方向を(△X, △Y, 1)とし　この方向に平行投影する：　　X’ = X + ( Z°- Z)△X 　　Y’ = Y + ( Z°- Z)△Y 　　Z’ = Z° 　 ●さらに透視投影する　平行透視投影は以下のように表せる：　　　x = X’/Z’ = 1/Z°・X - △X/Z°・ Z + △X 　　　y = Y’/Z’ = 1/Z°・Y - △Y/ Z°・Z + △Y

平行透視投影 ●前式のX, Y, Zにかかる1/ Z°, △x/ Z°, △Y/ Z°, △x, △Yなどはいずれも定数 => X, Y, Zに関して線形 ●平行透視投影も透視投影の線形近似 ●対象物の平均方向が光軸に一致する場合には平行透視投影は弱透視投影となる

弱透視投影と平行透視投影 ●弱透視投影も平行透視投影も画像面pに平行な平面Pに平行投影した後、透視投影する ●弱透視投影は平面Pに垂直に平行投影する ●平行透視投影は対象物の平均的な方向に向けて平行投影する ●平行透視投影の方がより透視投影に近い

E. g. , Shape Reconstruction Left Right ★射影モデルが異なる→同じ画像から復元された３ D情報が異なる

Affine cameras 焦点距離ｆを増加物体とカメラの距離を増加

実際のカメラ ●実際に使用するテレビカメラは対象物からの光を受ける受光部( 撮像素子)と、受光により発生する微弱な電気信号を処理する信号処理部からなっている　　★イメージセンサーに受光部と信号処理部を含まれる ●受光部の前にはレンズが置かれ、光はこのレンズによって集光され、絞りを通して撮像素子(イメージセンサー）に至る ●レンズ系と撮像素子によって、3 D空間から2 D画像への投影が起こる

実際のカメラ ●実際のカメラではレンズ収差や歪みが生じるため、複数のレンズを組み合わせて、レンズ収差や歪みなどを取り除く

ズームレンズの内部構造・レンズの配置を変わると　焦点距離を変わる

出席チェック１．弱透視投影の原理図を描き、その原理と成り立つ条件について述べなさい

平行移動

拡大・縮小

回転（原点中心）

2次元アフィン変換平行移動拡大・縮小一般化！アフィン変換回転せん断

アフィン変換をもっと簡単な形に~ 同次座標 (homogeneous coordinates) １つ次元を上げると・・・積 u u 和積のみ！図形の変換を全て行列の乗算 1回で処理可能複雑な座標変換がすべて行列の形で処理できる

同次座標の基本２Ｄ変換 u Basic 2 D transformations as 3 x 3 matrices Translate Rotate Scale Shear

行列の合成 u 複雑な座標変換の行列は各処理の行列の掛け算から合成 p’ = T(tx, ty) R(Q) S(sx, sy) p

同次座標　（3次元） u 3次元座標値を，一つ次元を上げて 4次元空間の中で処理 ( x, y, z ) u u ( x, y, z, f ) (x/f, y/f, z/f) が三次元座標値となる f=1のときはそのまま(x, y, z)が座標値 2次元アフィン変換と同じく、座標変換をまとめて表記できる！

3次元アフィン変換 2次元３次元 P(x, y, z) からP(x’, y’, z’) へのアフィン変換（同次座標による表現）（A：　アフィン変換行列）

同次座標導入の利点 u 同次座標を使わない場合 • 一回目のアフィン変換 • 二回目のアフィン変換 u 同次座標を導入した場合 H 1, H 2：　2 D -> 3 x 3 のアフィン変換行列 H 1, H 2：　3 D -> 4 x 4 のアフィン変換行列

同次座標系導入の利点 f=w=1 直線上の点はすべて同じ座標を持つものとする (点と線が同一視される) 無限遠点は？

無限遠要素　無限遠点無限遠直線無限遠平面

Two-view geometry 3 D reconstruction Epipolar geometry E-matrix comp. F-matrix comp. H-matrix comp. Structure comp.

立体視Stereo Vision (Stereopsis) u Main problem – recover 3 D depth from two (or more) image views ●一台のカメラから得られた画像のみからでは、３Ｄ物体の形状を一意に決定することができない ●２つ以上の異なる視点で得られた画像からはこのような不定性を取り除き、形状を決定することができる ●静止シーンの場合、一台のカメラから異なる視点で得られた 2枚の画像でもＯＫ

立体視の原理三角計測法に基づいて、視線の交点が注視点の空間位置平行ステレオ差(disparity)

立体視の原理 u Algorithm • Rotate both left and right camera so that they share the same X axis : Or-Ol = T • Define a rotation matrix Rrect for the left camera • Rotation Matrix for the right camera is Rrect. RT Xl • Rotation can be implemented by image X’l transformation P Pl Yl p Pr p l Zl Or R, t Xl’ = T, Yr Zr Ol t 光軸は平行ではない場合 r Yl’ = Xl’x. Zl, Xr Z’l = Xl’x. Yl’

立体視の原理 u Algorithm • Rotate both left and right camera so that they share the same X axis : Or-Ol = T • Define a rotation matrix Rrect for the left camera • Rotation Matrix for the right camera is Rrect. RT Xl • Rotation can be implemented by image X’l transformation 光軸は平行になるように変換（R, tが既知） P Pl Yl p Pr p l Zl Yr Zr Ol t Or R, t Xl’ = T, r Yl’ = Xl’x. Zl, Xr Z’l = Xl’x. Yl’

Correlation Approach LEFT IMAGE u (xl, yl) For each point (xl, yl) in the left image, define a window centered at the point

Correlation Approach RIGHT IMAGE u (xl, yl) … search its corresponding point within a search region in the right image

Correlation Approach RIGHT IMAGE u (xr, yr) dx (xl, yl) … the disparity (dx, dy) is the displacement when the correlation is maximum

特徴に基づいた立体視 u 特徴検出 • 特徴コーナー、点、エッジ • 対応を見つける（相関評価による）　　　　⇒奥行き計算 u 残りの部分は表面内挿 corner line structure

相関評価のアルゴリズム u u u 距離マップは特徴間の相関評価によって構成伝統的な方法更に距離マップの連続性を考慮すると

Examples Left Image Right Image Depth Map

２眼視の幾何: Two-View Geometry x 3 x 2 x 1 x’ 2 x’ 3 x’ 1 courtesy of F. Dellaert 画像間の点（xi to x’i ）の対応関係は　・カメラ間の剛体変換（カメラ行列）　・シーンの構造により決定　⇒　対応点の探索を絞ることができるか

エピボラ幾何(Epipolar geometry）複数の視点における相対的なカメラの位置や姿勢の情報をエピポーラ幾何（Epipolar geometry）と呼ばれる画像特有の幾何によって記述できる O O’

エピボラ幾何（Epipolar Geometry） u Baseline: カメラ中心C, C’を繋がる直線 u Epipolar plane p: baselineとシーンの中の点 Xより決定された平面 baseline from Hartley & Zisserman

Epipolar Lines u u Epipolar lines l, l’: epipolar plane p と画像面との交線 Epipoles e, e’: baselineと画像面との交点 C C’ from Hartley & Zisserman

Epipolar Pencil u X の位置を変化すると、epipolar planes はbaseline の周りに“rotate” • このような平面集合を epipolar pencilとよぶ u Epipolar lines はepipole から“radiate” • これは pencil of epipolar lines from Hartley & Zisserman

エピボラ制約（Epipolar Constraint） u エピボラ幾何より、片方の画像内の一点はかならずもう一方の画像内のエピボラ直線（１Ｄ）上存在 x’ C C’ from Hartley & Zisserman

例：Epipolar Lines for Converging Cameras Left view epipolar linesの交線 = Epipole ! 他方のカメラ中心の位置を表す Right view from Hartley & Zisserman

特例: Translation Parallel to Image Plane カメラの運動が画像面と平行する場合、　　・epipolar linesは平行　　・対応点は対応 epipolar line上に存在 (全種類のカメラ運動)

特例: Translation along Optical Axis カメラの運動が画像平面と垂直する場合 u Epipolesはfocus延長線上に一致 u 一般的に、無限遠点と異なる e’ e

透視カメラのエピポーラ幾何 u 複数のカメラの関係や対象物との関係を考えるために、何か基準となる座標系を考えなければならない（各のカメラ座標系を元に考えるのではない） u すべてのカメラや対象物に対して共通に決められた座標のことをワールド座標(world coordinates) と呼ぶ（ワールド座標を一つ決める） u ワールド座標を基準に考えなければならない

Transfer: epipolar transfer Using more cameras to remove match ambiguity

3眼視

Coordinate Transformations 座標変換 u u If we want to measure something (size of an object, depth of image points, distance between features……), we need to understand the geometry from image to world Coordinate system transformations • Image (i) camera (c) world (w) object (o) yc yo yi zo yw zc xc xo zw xi xw

行列・ベクトルの外積

幾何変換 Geometric transformation

基本行列 (Essential matrix) ２カメラ間の姿勢と位置： • R : 3*3 rotation matrix • t : 3*1 translation vector pとp’が対応点同士なら： u u ⇒ 前提： pとp’は画像座標から計算された物理(カメラ)座標である（カメラの内部パラメータ既知）即ち：同一平面内の三つのベクトルから二つのベクトルの外積と残るもう一つのベクトルの内積は０となるエピボラ方程式基本行列（Ｅ行列） ★　Ｅが求まれば、tとＲに分解することができる

基礎行列（Fundamental matrix） u 内部パラメータが未知、画像座標xしか分からない • 画像座標xと物理（カメラ）座標pの関係：　　　x=Kp , x’=K’p’ ⇒ p=K-1 x, p’=K’-1 x’ 　　　 (K, K’ are the camera calibration matrix) 基本行列から : p’TEp=0 ⇒ x’TK’-TEK-1 x=0 ⇒ x’TFx=0 　F= K’-TEK-1　基礎行列　（Ｆ行列） u ●基礎行列はカメラの内部パラメータと外部パラメータの双方を含んでいる

基礎行列Fの性質 x’TFx=0 u x=eの場合 (e is epipole) : x’TFe=0, ∀x’ (∵全てのepipolar linesはepipoleの所に交叉) 　⇒ Fe = 0 u x’=e’の場合(e’ is epipole) : e’TFx =0, ∀x ⇒ e’TF = 0 ⇒ FTe’ = 0 u ●Ｆ行列が与えられれば、eとe’はそれぞれＦTFとＦＦTの最も小さい固有値に対応する固有ベクトルとして求められる

The Fundamental Matrix F u 片方の画像内の点xがもう一方の画像内epipolar line l’ 上に対応付けることは： line point 　　　　　　l’ = F x u このpoint-on-lineの関係は l’TFx れ、l’T Fx = 0より決定さ = (Fx)T l’ = 0の関係も成り立つ u F is 3 x 3, rank 2 (逆行列が求められない）

Homography 空間中の対象点がすべてある平面内の上にある場合

Homography 空間中の対象点がすべてある平面内の上にある場合 u x’=Hx　空間内平面と画像間の投影 u ホモグラフィ行列Hの自由度： 8

Compute H u 一対の対応点 ((x, y, 1)⇔(x’, y’, 1))が分かれば、二つの方程式が得られる (linear in hij) u 4組み以上の対応点(n>=4)が分かれば、Ｈが唯一に決定できる

Applying Homographies to Removing projective distortion select four points in a plane with know coordinates (linear in hij)

Homographies for Bird’s-eye Views from Hartley & Zisserman

Homography between images of planes u u u x=H 1 xπ , x’=H 2 xπ=H 2 H 1 -1 x=Hx 4組み以上の対応点(n>=4)が分かれば、Ｈが唯一に決定できる

Homographies for Mosaicing from Hartley & Zisserman

Stereo

Wider Baseline

Multi-Camera Stereo

Stereo

Multi-Camera Stereo

Object Detection and Recognition u Model, detect, and recognize objects in images u Main issues • Object representation, feature extraction, matching, learning from data

Optical Flow and Motion u Compute local image motion (optical flow field) and then estimate object/scene/camera motion (motion field) u Problems with local flow computation Aperture problem

Aperture Problem Example

Examples of Commercial Vision Systems Toshiba Hand Motion Processor Point Gray Research Eyematic Interfaces

Viisage

JLI Vision Aluminum foil container inspection LC Technologies Eye tracking

The Cup is Half Full… u Vision is a hard problem! • It is an inverse, ill-posed problem • Much of your very complex brain is devoted to doing vision • It involves cognition, navigation, manuiplation and learning • Not just simple “match a feature vector to a database” tasks u However… • Some commercial successes

Vision Based Interaction (VBI) Hand tracking Hand gestures Arm gestures Body tracking Activity analysis Head tracking Gaze tracking Lip reading Face recognition Facial expression

VBI applications can enable: u 3 D interaction u Accessibility, hands-free computing u Game input u Social interfaces u Teleconferencing u Improved speech recognition (speechreading) u User-aware applications

What makes VBI hard? u User • appearance size, sex, race, hair, skin, make-up, fatigue, clothing color & fit, facial hair, eyeglasses, aging…. u Environment • lighting, background, movement, camera u Multiple people u Intention of actions u Speed and latency u Calibration, FOV, camera control, image quality u Robustness u Real time

Real-Time Vision Processing Needs u Algorithms typically require generalpurpose computing u Low resolution/quality: 300 MHz • 15 fps * 20 K pix/frm * 1000 ops/pix u Fair resolution/quality: 75 GHz • 30 fps * 200 K pix/frm * 10 K ops/pix u High resolution/quality: 8 THz • 100 fps * 2 M pix/frm * 40 K ops/pix

Some VBI Examples

Myron Krueger

MIT Media Lab

Videos u u u u u Color tracking Hand tracking 1 Hand tracking 2 Hand tracking 3 Magicboard 1 Magicboard 2 Draw. Board Segen 1 Segen 2 Segen 3 u u u u u Face tracking 1 Face tracking 2 Dyna 1 Dyna 2 Davis 1 Davis 2 Davis 3 ALIVE / Silas V-TOYS

The Kids. Room u. A fully-automated, interactive narrative playspace for children u The room itself actively participated in the story, guiding and reacting to the children's choices and actions u Used images, lighting, sound, and computer vision action recognition technology u Hardware: • Six computers, 2 high-res video projectors and

Kids. Room u Interactive, engaging, social, and fun u Worlds: bedroom, forest, river, monster u Input: vision, sound u Output: images, animations, sound, narrative, music, lighting

Homography given plane point on plane project in second view

Homography given plane and viceversa

Calibrated stereo rig

homographies and epipolar geometry points on plane also have to satisfy epipolar geometry! HTF has to be skew-symmetric

homographies and epipolar geometry (pick lp =e’, since e’Te’≠ 0)

Homography also maps epipole

Homography also maps epipolar lines

Compatibility constraint

plane homography given F and 3 points correspondences Method 1: reconstruct explicitly, compute plane through 3 points derive homography Method 2: use epipoles as 4 th correspondence to compute homography

degenerate geometry for an implicit computation of the homography

Estimastion from 3 noisy points (+F) Consistency constraint: points have to be in exact epipolar correspodence Determine MLE points given F and x↔x’ Use implicit 3 D approach (no derivation here)

plane homography given F, a point and a line

application: matching lines (Schmid and Zisserman, CVPR’ 97)

epipolar geometry induces point homography on lines

Degenerate homographies

plane induced parallax

6 -point algorithm x 1, x 2, x 3, x 4 in plane, x 5, x 6 out of plane Compute H from x 1, x 2, x 3, x 4

Projective depth r=0 on plane sign of r determines on which side of plane

Binary space partition

Two planes H has fixed point and fixed line

Narrow Baseline Wider Baseline

Multi-Camera Stereo

Stereo

Multi-Camera Stereo

コンピュータビジョン特論の復習 ●画像・映像の処理、認識、理解研究の歴史と現状 ●デジタル濃淡画像と画質改善 ●エッジの検出 ●投票と多数決原理に基づく幾何学的対象の検出と識別 ●色彩学とカラービジョン ●視覚の幾何学

画像・映像の処理、認識、理解研究の歴史と現状 ●コンピュータビジョンの歴史 ●「コンピュータビジョン」と「画像処理」の区別

デジタル濃淡画像と画質改善 ●画質に影響を与える情報の計算　　　諧調性、コントラスト、雑音（S/N、ｄB） ●画質の改善　　　濃度変換、平滑化、鮮鋭化それぞれどんな方法があるか、特徴、利点、欠点 ●ヒストグラム　　●　ヒストグラムとは　　●　ヒストグラムの求め方　　●　ヒストグラムの応用

エッジの検出 ●差分型エッジ検出オペレータ ●零交差法 ●テンプレート型エッジ検出オペレータ・それぞれのオペレータの代表名、・あるオペレータを用いて、画像上のエッジの大きさ、方向の計算・なぜ(2 n+1)*(2 n+1)画素のフィルタを使うか

投票と多数決原理に基づく幾何学的対象の検出と識別 ●直線検出用Hough変換の基本原理　　　　　　　　と簡単なアルゴリズム

色彩学の基礎 ●顕色系と混色系 ●マンセル表色系　　　色相、彩度、明度 ●RGB表色系とXYZ表色系 ●均等色度図　　　Mac. Adamの色弁別楕円より説明

投影とカメラモデル ●ピンホール・カメラ ●透視投影 ●正射影 ●弱透視投影 ●平行透視投影それぞれのイメージ図と投影方程式

エピボラ幾何・エピポーラ線・エピポーラ平面・ペンシル

試験日時： 2月４日　10: 50～場所：A 20４

質問時間

カメラ座標系(camera coordinate system) ●カメラ座標系はカメラを中心として定義した座標系 ●光軸(optical axis)：光学中心から画像面に垂直に引いた直線l｡ ●画像中心(principal point)：光軸と画像面との交点xc ●ピンホール･カメラ：　・X軸とY軸を画像面上のx軸とy軸に平行　・Z軸を光軸l｡に対し平行　・光学中心を座標原点Cにとる

Coordinate Transformations 座標変換 u u If we want to measure something (size of an object, depth of image points, distance between features……), we need to understand the geometry from image to world Coordinate system transformations • Image (i) camera (c) world (w) object (o) yc yo yi zo yw zc xc xo zw xi xw

透視投影（Perspective projection） u 3*4の透視投影行列より３Ｄ→２Ｄの変換を表現

Concatenating the three matrix 三つの行列を繋がると、新しい投影行列を定義　 3*4 　　　　　 ⇒ x=PX P=K[R| t] u ワールド座標系における 3次元空間の点 Xは 2次元画像上の点 xに投影される u

Perspective Projection (透視投影) u use homogeneous coordinates（同次座標系）

Goals of Computer Vision CVの目標 u Computer vision aims to • Automate visual perception 　視知覚の自動化 • Construct scene descriptions from images 　画像からシーンの記述を構築 • Interpret the content of images 　画像の中身を解釈 • Support tasks that require visual information 　視覚情報を必要なタスクを提供 • ……

Goals of Computer Vision u Computer vision aims to • Automate visual perception • Construct scene descriptions from images • Make useful decisions about real physical objects and scenes based on sensed images • Produce symbolic (perhaps task-dependent) descriptions from images • Produce from images of the external world a useful description that is not cluttered with irrelevant information • Interpret the content of images • Support tasks that require visual information

透視投影 ● 3次元空間中で(X, Y, Z)の座標を持つ点X= [X, Y, Z]^Tが, 2次元画像上で(x, y)の位置の点x= [x, y]^Tに投影されている ●この画像上の点を 3次元空間中の点と考えるとその位置は(x, y, ｆ)である ●ピンホール･カメラによる投影では、画像上の点のxとf の比が3次元空間中の点のXとZの比に等しく、またyと fの比がYとZの比に等しい

透視投影 (perspective projection) ● 3次元空間中の点とその投影像との間：　　　　　　x = f * X/Z 　　y = f * Y/Z の関係が成り立つ ●透視投影はZに関し非線形である

Perspective Projection (透視投影) u u Can we compute this in a 3 x 3 matrix? • No, it’s not linear (透視投影はZに関し非線形である) Instead, use homogeneous coordinates（同次座標系）

Calculating Camera Calibration Original planar pattern Corrected for radial lens distortion Edges Zhang method: • Grab images of this pattern at at least two random orientations • Closed-form solution then non-linear refinement • Result: Camera extrinsic and intrinsic parameters

The fundamental matrix F algebraic representation of epipolar geometry we will see that mapping is (singular) correlation (i. e. projective mapping from points to lines) represented by the fundamental matrix F

The fundamental matrix F geometric derivation mapping from 2 -D to 1 -D family (rank 2)

The fundamental matrix F algebraic derivation (note: doesn’t work for C=C’ F=0)

The fundamental matrix F correspondence condition The fundamental matrix satisfies the condition that for any pair of corresponding points x↔x’ in the two images

The fundamental matrix F F is the unique 3 x 3 rank 2 matrix that satisfies x’TFx=0 for all x↔x’ (i) Transpose: if F is fundamental matrix for (P, P’), then FT is fundamental matrix for (P’, P) (ii) Epipolar lines: l’=Fx & l=FTx’ (iii) Epipoles: on all epipolar lines, thus e’TFx=0, x e’TF=0, similarly Fe=0 (iv) F has 7 d. o. f. , i. e. 3 x 3 -1(homogeneous)-1(rank 2) (v) F is a correlation, projective mapping from a point x to a line l’=Fx (not a proper correlation, i. e. not invertible)

The epipolar line geometry l, l’ epipolar lines, k line not through e l’=F[k]xl and symmetrically l=FT[k’]xl’ (pick k=e, since e. Te≠ 0)

Fundamental matrix for pure translation

Fundamental matrix for pure translation example: motion starts at x and moves towards e, faster depending on Z pure translation: F only 2 d. o. f. , x. T[e]xx=0 auto-epipolar

General motion

Geometric representation of F Fs: Steiner conic, 5 d. o. f. Fa=[xa]x: pole of line ee’ w. r. t. Fs, 2 d. o. f.

Geometric representation of F

Pure planar motion Steiner conic Fs is degenerate (two lines)

Projective transformation and invariance Derivation based purely on projective concepts F invariant to transformations of projective 3 -space unique not unique canonical form

Projective ambiguity of cameras given F previous slide: at least projective ambiguity this slide: not more! ~~ Show that if F is same for (P, P’) and (P, P’), there exists a projective transformation H so that ~ ~ P=HP and P’=HP’ lemma: (22 -15=7, ok)

Canonical cameras given F F matrix corresponds to P, P’ iff P’TFP is skew-symmetric F matrix, S skew-symmetric matrix (fund. matrix=F) Possible choice: Canonical representation:

The essential matrix ~fundamental matrix for calibrated cameras (remove K) 5 d. o. f. (3 for R; 2 for t up to scale) E is essential matrix if and only if two singularvalues are equal (and third=0)

Four possible reconstructions from E (only one solution where points is in front of both cameras)

試験日時： 2月４日　10: 50～場所：A 20４

視覚の幾何学１ 呉海元 和歌山大学 参考書 佐藤 淳 コンピュータビジョン 視覚の幾何学 コロナ社 Single

視覚の幾何学１呉海元和歌山大学参考書佐藤淳コンピュータビジョン視覚の幾何学コロナ社 Single