三维地物自动提取 ——传统方法 测绘遥感信息 程国家重点实验室 江万寿 Emai: idpjws@163. com
城市三维地物提取的任务 n 全人 模式 n 半自动模式 n 全自动模式 n 2
建筑物提取的主要任务 What 输入建筑物编码 作业员 Where How 角点输入、圆弧 点输入等… 影像观测值 闭合、直角化、 圆、弧拟合… 等平差计算 观测值 建筑物模型 3 数字测图 软件
半自动的方法 选择房屋类型 输入 房屋类型 初始点 几何模型 确定提取范围 边缘检测 特征提取 同高条件 直线段提取 垂直条件 线段自动编组 直线 边缘 模板 初始几何模型（2 D->3 D） 最小二乘匹配精确定位（2 D->3 D） 建筑物三维模型平差 4 平行条件 系统参数 相机模型 定向参数
总体发展趋势 n 从单影像、双视立体影像 多视影像处理 n 从灰度信息 彩色、多光谱信息的利用 n 从2 D和3 D的独立处理->两者的互动 • 由单片的影像信息提取和编组 多片信息的相互验证和互补。 n n 成像几何、目标知识与空间推理的利用更加全面和深入 建筑物的几何模型：矩形、人字形 面片组合模型 • 简单、规则的建筑物 一般的复杂的建筑物 n 单纯影像信息处理 多源信息的融合处理 • LIDAR数据 • 矢量地图数据 n 从特征提取到模式学习 5
城市三维模型重建方法的发展 6
基于多视影像的传统项目简介 n 美国麻省大学(UMASS) • http: //vis-www. cs. umass. edu/projects/ascender. II/index. html n 苏黎世高等 业大学(ETHZ)大地测量与摄影测量研究所（IGP) • http: //www. photogrammetry. ethz. ch/research/projects. html n ETIS ENSEA n 波恩大学摄影测量研究所(IPB) • http: //www. ipb. uni-bonn. de/ipb/projects. html n USC 7
UMASS的建筑提取方案 n RADIUS : Ascender I • Research and Development for Image Understanding Systems n APGD ：Ascender II • Knowledge directed aerial image understanding for site reconstruction • 从影像提取兴趣区： （where) • 利用DSM匹配模型库 （what) n DARPA IUP（影像理解项目)资助 8
RADIUS: Ascender I System for Automatic Site Modelling Multiple Images Geometric Models F 2 D polygon detection l line extraction l corner detection l perceptual grouping Fepipolar matching Fmulti-image triangulation l geometric constraints l precise photogrammetry Fextrusion to ground plane Fprojective texture mapping 9
Ascender I Works Ascender Results Ground Truth 10
110 n 100 • Good detection but high false alarms • Good geometric accuracy 90 80 Detection Rates Combined, 89% 73 Ground Truth Polygons Number of Polygons 70 Combined, 95% 60 50 713 40 711 30 927 525 20 10 . 1 . 2 . 3 . 4 . 5 11 . 6 . 7 . 8 . 9
Ascender II Knowledge Base RCDE Control System Bayes Network Socket I/O ASCENDER I System and Strategies CP: Control Policy Available Data Basic Principles n n n New Reconstruction Strategies CP Rooftop Model Matching CP Ascender II IU Algorithms work within correct context. Domain knowledge provides constraints. Choose good strategy from many alternatives. 12 Imagery Elevation data Site Model
推理子系统与视觉子系统 13
a) 从影像提取的矩形 从DSM提取兴趣区高程信息 缺点： • 只能处理规则兴趣区 • 对复杂模型无能为力 14 c) DSM法向量参数空间 d) 模型库
实验结果 n n n 15 Two Overlapping Optical Images (60% sideward) Corresponding DEM Calibration provided by ETH 200 x 220 meter ? Boatyard? Ground Sample Dist: ~ 0. 13 meters Reference model provided by ETH
实验结果 16
实验结果 17
ETH IGP n 半自动道路网提取： • Semi-Automatic Road Network Extraction from Digital Images n AMOBE I & II: • Automation of Digital Terrain Model Generation and Man-Made Object Extraction from Aerial Images n ATOMI: • Automated reconstruction of Topographic Objects from aerial images using vectorized Map Information 18
半自动道路网提取（李海鸿博士） 19
半自动道路网提取（李海鸿博士） 20
Adobe项目的策略 n利用多视彩色影像 n尽早生成三维信息 n采用通用三维模型 n利用一般性目标知识，如 几何，表面 n 2 D和3 D处理中的互动 n建筑物检测与重建分开 21
建筑物提取线索 22
Adobe项目（2001）：多影像，复杂模型 23
ATOMI: 利用矢量地图进行地物自动重建 2 D矢量地图 3 D地物 n 道路自动重建 n 建筑物自动重建 n 24
ATOMI: 道路更新 25
2 D矢量地图 3 D地物 n 道路自动重建 n 建筑物自动重建 n 26
ETIS@ENSEA的方案 n IMPACT项目 • DSM和影像分割提取建筑物兴趣区 27 (where）
ETIS: 基于DEM和影像分类 28
ETIS: 基于DSM的兴趣区提取 缺点： • 难以处理建筑物密集的地区的DSM • 难以处理与树交接的建筑物 29
波恩大学摄影测量研究所(IPB) n Building Extraction using Semantic Modeling • 语义模型 n n Image Processing for Automatic Carthographic Tools (IMPACT) Semi-automatic Building Acquisition 30
建筑物提取与重建策略 31
建筑物提取与重建策略 32
IMPACT项目：建筑物模型 33
IMPACT项目：拓扑关系的应用 34
USC方案 n Ph. D. Sanjay Noronha & Prof. Nevatia • Detection and Modeling of Buildings from Multiple Aerial Images(1999) • 从线段到建筑物的房顶假设 • 实用于平顶房和人字行房顶 n Ph. D. Kim Zu. Wang & Prof. Nevatia • 基于不确定推理和机器学习的多视三维目标描述(2001) 35
USC: 多视影像建筑物检测与建模 View 1 View 2 Line detection View n Junction detection Parallel detection U-contour Detection Parallelogram detection match Line detection Junction detection Parallel detection U-contour Detection match Parallelogram detection All Building Hypotheses Selection process Selected Hypotheses 36 verification process 3 D Building Hypothesis
影像对 37
检测得到的线段 38
线段匹配的核线约束 39
多线段匹配情况 40
匹配的线段 41
结点(Junction) 匹配的多义性 • Junction: • • （垂直）线段的交点 核线约束：匹配的结点在一条核线上 线匹配约束：构成 2结点的4条线段，两两匹配（有2种情况） 三维正交性约束：夹角在 80 到 90 （三维线段有匹配线段计算得到） Trinocular Constraint: 多视匹配约束 42
匹配的结点 43
线段延长构成平行线段 44
平行线段匹配的多义性 • 约束： • 构成 2平行线段的4条线段，两两匹配（有2种情况） 45
匹配的平行线段 46
U Contours和Parallelograms 如果两条平行线段之间存在第三条线段通过 结点相连接 n 平行四边形的存在是矩形房顶的存在强烈信 号 n 47
平顶矩形房顶假设的生成 平行闭合结构的搜索 n Accumulating Selection Evidence n 高程范围 n 48
Search for parallel closures 49
Score computation for parallel closures 50
Search for U-contour completions 51
检测得到的平行四边形假设 52
Accumulating Selection Evidence n Positive roof evidence: • 平行四边形房顶的三维表示投影到各个视图时所覆盖的平行 线段的边长的累积（角度约束，距离约束） n Negative roof evidence • 平行四边形房顶的三维表示投影到各个视图时所覆盖的不平 行线段的边长的累积（角度约束，距离约束） n Height inference • Hypotheses have a user-determined range of heights that they must lie within. 53
Positive and negative line evidence 54
假设选择的结果 55
Formation of gable-roof rectangular hypotheses Two views of an aerial scene with symmetric gable-roof buildings 56
Cases of triple formation from a parallel 57
Triples formed 58
Generation of symmetric gable-roof hypotheses 59
Displacement of the spine of a gable in the direction of the projection of the vertical 60
Gable-roof hypotheses 61
Positive and negative line evidence 62
Selected gable-roof hypotheses 63
假设验证 verification process for flat-roof hypotheses n verification process for gable-roof hypotheses n 64
verification for flat-roof hypotheses Roof Evidence n Wall Evidence n Shadow Evidence n 65
verification for flat-roof hypotheses Roof Evidence n Wall Evidence n Shadow Evidence n 66
Wall evidence of flat-roof 67
Shadow Evidence of flat-roof 68
verification for flat-roof hypotheses 69
Verified hypotheses 70
verification for gable-roof hypotheses Roof Evidence n Wall Evidence n Shadow Evidence n 71
Shadow Evidence of gable roof 72
Verified gable-roof hypotheses 73
USC: 基于不确定推理和机器学习的多视三维目标描述 74
A two-layer feed-forward neural network 75
A causal Bayesian network. 76
多视复杂建筑物重建(USC：Kim) 77
Hip模型表示 78
ABERS: Automatic Building Extraction and Reconstruction System 79
匹配生成的密集DSM 80
Rough building cues generated 81
“Linear” features extracted（1726） 82
Length-weighted histogram of line angles. The dominant angles ： the two highest peaks at 2° and 90°. 83
Linears filtered by location and angles(320) 84
Junctions grouped ( 128 ) 85
Junctions grouped ( 128 ) 86
Pair-wise line matching 87
3 -D lines generated (163 lines) actual height of the building. 88 3 -D linears generated from five images of the building
3 -D linears verified with DEM(94 lines) 89
邻近 3 D线段合并后（44 lines） 90
3 -D linears verified with DEM 91
Suggested closures (dashed lines) (a) parallels with the same polarity; (b) parallels with opposite polarities; (c) collinears; (d) closed L; (e) open L, and; (f) general L. 92
Wall vertical line evidence 93
shadow darkness evidence 94
Hips (diagonal lines). Square boxes are the search windows. 95
Searches for the ridges. The sizes of the search windows are in determined by the endpoints of 3 -D hip linears. 96
A complex rooftop generated 97
USC方法小结 n 线索 • • n 平行关系 垂直关系 结点 U形结构 阴影 竖直线段 DSM分割 统计方法 • 线段的方向直方图 n 约束 • 高程范围 98
建筑物几何模型的平差 n 成像条件 • n 投影中心、像点、三维直线共面 模型条件 • • • 2 D/3 D平行: 方向向量的比值相等 2 D/3 D共线：平行且空间线段距离为 2 D/3 D垂直：方向向量的内积为零 等高条件：高程坐标相等(隐含共面条件） 共面条件：一个面片上的点三维坐标共面 99
几何特征优化 利用建筑物知识提供的规则，如平行、正交、对称性、 相似性等 角度 相同 正交 高度 相同 100
参数化模型与模型条件 n 条件的参数化 • 减少未知数和条件数 • 参数化的条件相当于权为无穷大的条件（当条件按带权 虚拟观测值列方程时） Pi+1 len 2 Pj Pj+1 Pi len 1 101 Pi-1
三维直线段的多片最小二乘平差 空间直线方程 (X 1, Y 1, Z 1) t (X 0, Y 0, Z 0) 共面条件 102
(ui, vi, wi)为像点(xi, yi)的像空间辅助坐标 共面条件的简化 误差方程 103
模型条件 Pi+1 Pj Pj+1 Pi Pi-1 Pi－1 Pi与Pi. Pi＋1在XY平面的投影垂直，Pi－1 Pi与Pj、Pj＋1在XY平面的投影平行， Pi与Pj等高。 104
模型条件 (1) 垂直条件： (2) 平行条件： (3) 等高条件： 105
模型条件的三维形式 (1) 垂直条件： (2) 平行条件： 106
目标本身的共面条件 假设已知平面上的一点(XC, YC, ZC)和法线(A, B, C)已知，则平面上的点(Xi, Yi, Zi)，满足平面 方程： 107
边缘点的重新观测 n n 带状缓冲区梯度方向垂直于投影线的极大值点 基于边缘模板的定位方法：对带状缓冲区进行重采样， 在投影线的垂直方向寻找相关系数最大点 y x' y' d θ 模板的搜索方向 x 边缘的模板搜索（胡翔云, 2000） 投影线缓冲区(Babak, A. 2000） 108
条件作为带权虚拟观测值 按条件平差 n 按虚拟观测值进行间接平差 n • 权的确定 109
Скачать презентацию 三维地物自动提取 传统方法 测绘遥感信息 程国家重点实验室 江万寿 Emai idpjws 163 com
a17a39d4586d06f455893a061b9723cd.ppt